英国の医療機器規制当局は、VCが支援するAIチャットボットメーカーのバビロンヘルスに懸念を抱いていることを認めています。 それは、2017年以来患者の安全と企業統治に対するバビロンのアプローチについて警鐘を鳴らしている臨床医に送られた手紙で認められました。
HSJ 昨日、デビッド・ワトキンス博士に宛てたMHRAの手紙について報告しました。 TechCrunchは4年2020月XNUMX日付けの手紙(下記参照)をレビューした。 また、書簡で参照されている会議で議論されたことについての追加のコンテキストを見たり、ワトキンスと規制当局との間の他の通信をレビューしたりして、彼はさまざまな懸念事項について詳しく説明しています。
彼はインタビューで、規制当局が共有する懸念は、チャットボットの安全性の(重要ではあるが)単一の問題よりも「はるかに広い」と強調した。
「問題は、会社のコーポレートガバナンス、つまり安全上の懸念にどのように取り組むかに関係しています。 安全上の懸念を提起する人々にどのようにアプローチするか」とワトキンス氏はTechCrunchに語った。 「それが懸念事項です。 そして、医療機器の誤った宣伝に関する倫理のいくつか。
「全体的な話は、彼らが危険な欠陥のある何かを宣伝したということです。 彼らは、[チャットボット]の使用方法(意図された使用法)に関して誤解を招く主張をし、[バビロンCEO]アリパルサはそれを「診断」システムとして宣伝しましたが、決してそうではありませんでした。 チャットボットは「診断」のために承認されたことはありません。」
「私の意見では、2018年にMHRAはバビロンに対してより堅固な立場を取り、主張が虚偽であり、バビロンのように技術の使用が承認されなかったことを一般に明らかにすべきでした。それを促進する」と彼は続けた。 「それは起こるべきだったし、当時の規制が目的に合わなかったので起こらなかった。」
「実際には、これらのテクノロジーに対する規制上の「承認」プロセスはなく、法律は企業が倫理的に行動することを要求していません」とワトキンス氏も私たちに語った。 「私たちは、責任を持って行動する医療技術セクターに依存しています。」
コンサルタントのオンコロジストは、早くも2017年XNUMX月に英国の医療規制当局(CQC / MHRA)とバビロンについての危険信号を出し始めました。 しかし、バビロンが問題を否定し、批評家に対する攻撃を続けることを選んだことで、彼の懸念は高まりました。
医療機器規制当局による、ワトキンスの懸念はすべて「有効」であり、「私たちが共有するもの」であると認めることは、バビロンの偏向的なPR戦術を水から吹き飛ばします。
「バビロンは、常に規制要件を順守しているとは言えません。時には、規制要件を順守していないこともあります。 ワトキンス氏はまた、システム開発のさまざまな時点で、次のように述べています。「バビロンは、安全上の懸念を本来あるべきほど真剣に受け止めたことはありませんでした。 したがって、この問題はXNUMX年以上にわたって続いています。」
この間、同社は世界中の医療提供者と幅広い「デジタル化」契約を結ぶことを推進してきました。これには、英国の都市ウォルヴァーハンプトンとの10年間の契約が含まれます。 昨年 300,000万人にリーチすることを目的とした統合アプリを提供します。
また、デジタル対応のトリアージを介するなど、医療システムのデジタル化をサポートするために、ルワンダ政府と10年間の契約を結んでいます。 それが巻き込まれている他の市場には、米国、カナダ、サウジアラビアが含まれます。
バビロン 現在、20万人以上の患者を対象としており、世界中で8万件の相談と「AIインタラクション」を行っていると述べています。 しかし、それは人々が医療機器会社に期待するであろう高水準で運営されているのでしょうか?
安全性、倫理およびガバナンスの懸念
昨年22月24日にワトキンスと英国の医療機器規制当局との間で行われたビデオ通話のXNUMX月XNUMX日付けの要約書で、彼は次のように議論されたことを要約しています。特に、ドキュメントで概説されているポイント。 誤解を招く主張、危険な欠陥、そして安全性の問題を否定/抑制しようとするバビロンの試み。」
この会議の説明の中で、ワトキンスは次のように報告しています。「バビロンの企業行動とガバナンスが医療機器/医療提供者に期待される基準を下回ったという一般的な合意があったようです。」
「バビロンヘルスは寛大さを示さないだろうと知らされました([英国保健大臣]マットハンコックとの関係を考えると)」と彼は要約の中で述べています—ハンコックがバビロンの「手元のGP」の公に熱狂的なユーザーであるという言及アプリ(彼は 2018年に閣僚コードを破ったとして非難).
ワトキンスが昨年編集して規制当局に送付した別の文書で、彼は14の懸念事項について詳しく説明しています。バビロンチャットボットのトリアージの安全性などの問題をカバーしています。 「誤解を招き、矛盾する」T&C —製品を誇大宣伝するために行った宣伝文句と矛盾すると彼は言います。 また、彼が「倫理的およびガバナンスに関する多数の懸念」と表現していることも含まれます。これには、テクノロジーの安全性と有効性について懸念を表明する人への積極的な対応も含まれます。
これには、ワトキンス自身に対する公の攻撃キャンペーンが含まれています。 昨年報告; 彼が文書に「精査と不利なメディア報道を避けるための法的脅威」としてリストしているものと同様に。
ここで彼は、2018年に提起した安全上の懸念に対するバビロンの対応(HSJによって報告された)も攻撃を続けることであり、同社は「既得権益」が「虚偽の主張」を広めていると主張していると述べています。 「私たちが失敗するのを見る」試み。
「主張は誤りではなく、バビロンがHSJを誤解させることを選んだことは明らかです 読者層は、患者自身の評判を守るために、患者を危害の危険にさらすことを選択しました」と、規制当局への関連する解説でワトキンスは書いています。
彼はさらに、2018年XNUMX月に、MHRAは、チャットボットの安全性に関連するXNUMXつのインシデント(心臓発作の症状の見逃し、DVTの症状の見逃し)について、独立してバビロンヘルスに通知したと指摘しています。まだ公にゴミを捨て続けました HSJのレポート 翌月(タイトルは「バビロンの「チャットボット」に関する懸念を調査している安全規制当局」).
ワトキンスが文書で提起するより広範なガバナンスと運用上の懸念には、バビロンによるスタッフNDAの使用が含まれます。これは、スタッフが安全上の懸念について話すことができないと感じる社内の文化につながると彼は主張します。 そして、彼が「不十分な医療機器の警戒」と呼んでいるもの(これにより、バビロンボットはトリアージ後の患者の転帰に関するフィードバックを定期的に要求しないと述べ、「堅牢なフィードバックシステムがないことは、有害な転帰を特定する能力を著しく損なう」と主張します。 )。
Re:ニスを塗っていないスタッフの意見、興味深いことに注意してください バビロンのGlassdoor評価 執筆時点では星はわずか2.9で、友人に会社を勧めると言っているレビューアはごく少数であり、CEOとしてのParsaの承認率も合計でわずか45%です。 (「テクノロジーは時代遅れで欠陥があります」と、プライバシー規制当局がカナダのバンクーバーで臨床運用アソシエイトとして働いている現在のバビロンヘルスの従業員としてリストされているGlassdoorレビューアのXNUMX人は書いています。 オープンな調査をする そのアプリに。 XNUMXつ星のレビューに記載されている短所の中には、次のような主張があります。 ヘルスケアへの本当の冗談。 避けるのが最善です。」)
ワトキンスのMHRAとのオンライン会議の報告によると、規制当局はNDAが「問題」であり、従業員が安全性の問題について発言する能力に影響を与えることに同意したと述べています。
彼はまた、バビロンの従業員が法的脅威のために発言することを恐れる可能性があることが認められたと書いています。 彼の議事録はさらに次のように記録しています。「MHRAは匿名で提起された懸念を調査できるというコメントがなされました。」
バビロンに関する懸念の要約の中で、ワトキンスは、チャットボットを宣伝するためにロンドンで開催された2018年のイベントにもフラグを立てています。その間、AIが健康に関するアドバイスを生成するなど、多くの「誤解を招く主張」を行ったと書いています。それは「一流の実践的な臨床医と同等」です。
派手な主張は、ボットの機能についての大げさな見出しにつながりました。これは、投資家に資金調達を促す可能性が高い時期に、バビロンが誇大広告を生み出すのに役立ちました。
ロンドンを拠点とするスタートアップは、 2019 サウジアラビアのパブリックインベストメントファンドや米国を拠点とする大規模な(名前のない)健康保険会社、保険大手のミュンヘン再保険のERGOファンドなどの投資家から、550億XNUMX万ドルの大規模なシリーズCラウンドを調達したとき、当時の調達額はデジタルヘルスデリバリーに関して、ヨーロッパまたは米国で史上最大。
「バビロンヘルスは、AIテストイベントで行われた誤解を招く主張を撤回したり、修正しようとしたことは一度もないことに注意してください[特定の法域でウェブサイトのプロモーションツールとして引き続き使用されている報道を生み出しました]」とワトキンスは規制当局に書いています。 。 「したがって、国民がバビロンの未検証の医療機器に過度の信頼を置くという継続的なリスクが残っています。」
彼の要約には、バビロンで働いている(または働いたことがある)と主張する多くの人々からの匿名の手紙もいくつか含まれています。 「投資家からは、リターンを実証するという大きなプレッシャーがあります」と、これらのXNUMXつは書いています。 「それを遅くするものはすべて回避可能であると見られています。」
「バビロンヘルスに対してなされた主張は誤りではなく、患者の安全のために誠意を持って提起されました」とワトキンスは規制当局への要約で続けています。 「バビロンの「繰り返される」試みは、個人として私を積極的に信用を傷つけようとし、彼らの企業文化と医療提供者としての信頼性に関して深刻な疑問を投げかけます。」
ワトキンスへの手紙(以下のスクリーングラブ)で、MHRAは彼に次のように述べています。「あなたの懸念はすべて有効であり、私たちが共有するものです。」
さらに、「自分自身にかなりのリスクを負って」問題を個人的および公的に提起してくれた彼に感謝します。
MHRAからDavidWatkins博士への手紙(スクリーンショット:TechCrunch)。
バビロンは、MHRAによるワトキンスの懸念の検証への対応について連絡を受けました。 これを書いている時点では、コメントの要求には応答していませんでした。
スタートアップはHSJに対し、事業を展開している国の規制機関のすべての地域要件を満たしていると語り、「バビロンは患者の安全に関して最高水準を維持することに尽力しています」と付け加えました。
前述のXNUMXつで 昨年の攻撃的な事件、バビロンは、ワトキンスを「トロール」として攻撃し、チャットボットによって実行されたトリアージの安全性の問題を強調するために行っていた作業の信用を傷つけようとしているプレスリリースを発表しました。
また、その技術は「安全なサービス10回」として「NHS検証済み」であると主張しました。
バビロンがそこでどの検証プロセスを参照していたかは明確ではありません。また、ワトキンスはMHRAとの通信で主張するフラグとクエリにもフラグを立て、次のように書いています。プレスリリースは誤解を招く恐れがあります。」
一方、MHRAの書簡は、ソフトウェアベースの医療機器製品に関する英国の現在の規制制度が、バビロンのチャットボットなどのソフトウェアを利用した「医療技術」機器を適切にカバーしていないことを明らかにしています。
ワトキンスによると、現在、承認プロセスはありません。 このようなデバイスはMHRAに登録されているだけですが、規制当局がデバイスを評価したり、開発に関連する文書を受け取ったりする法的要件はありません。 彼は、それらは独立して存在していると言います—MHRAが登録を保持しています。
「あなたは複雑な一連の問題を提起しましたが、私たちの既存の権限から外れるいくつかの側面があります」と規制当局は手紙の中で認めています。 「これは、私たちがさらに調査しているいくつかの問題を浮き彫りにします。これは、英国で医療機器の新しい規制の枠組みを開発する際に重要になる可能性があります。」
汎EU医療機器規制の更新は、ソフトウェアベースの医療機器に新しい要件をもたらし、当初は昨年XNUMX月に英国で実施される予定でしたが、国が去ったことを考えると、もはや行われません。ブロック。
代わりに、英国は医療機器規則に関する独自の規制更新を策定中です。 これは、ソフトウェアベースの「医療技術」の周りにまだギャップがあることを意味します—これは数年間完全にプラグインされるとは予想されていません。 (ワトキンスは、昨年の機密保持要件の部分的な解除など、体制にいくつかの調整があったと述べていますが。)
昨年のスピーチで、保健大臣のハンコック 議会に語った 政府は、「患者の安全を維持および強化」しながら、ヘルスウェアラブルやAIなどの技術を駆使した開発に対応するために「十分に機敏」な医療機器の規制システムを策定することを目指しました。 それには、MHRAに「デバイスに関する安全上の懸念を一般の人々に開示する新しい権限」を与えることが含まれます。
その間、既存の(時代遅れの)規制制度は、少なくとも安全上の懸念について公の場で言えることに関して、規制当局の手を結び続けているようです。 それをするためにワトキンスが彼にその手紙を公表するのにかかった。
MHRAはその手紙の中で、「残念ながら、特定の調査についてこれ以上話すことはできません」と書いていますが、「あなたの懸念は真剣に受け止められており、取るべき行動があれば、私たちは。」
「手紙の文言に基づいて、彼らが私たちにあなたの言うことを聞いているというメッセージを提供したいと思っていたことは明らかだったと思います。私たちはあなたの言っていることを理解しています。あなたが提起した懸念を認めますが、私たちは私たちができることによって制限されます」とワトキンスは私たちに語った。
彼はまた、規制当局が過去100年間に提起した懸念についてバビロンと関わっていると信じていると述べた。彼が特定の質問を提起した後、同社は多くの変更を加えたと述べた(当初は医療ではないと言っていたT&Cなど)。デバイスがその後撤回され、それを認めるために変更された、またはチャットボットが「XNUMX%安全」であると主張し、撤回された-その場合は広告基準局の介入後)。
ワトキンス氏によると、チャットボット自体も、結果としての診断を重視せず、トリアージの結果を重視するように調整されています。
「彼らは[チャットボットトリアージの安全性の問題に対処するために]断片的なアプローチを取っています。 だから私は[Twitter経由で公開して]問題にフラグを立て、彼らはその非常に具体的な問題だけを見るでしょう。 その年齢の患者は、その正確なトリアージ評価を実施します— 'わかりました、私たちはそれを修正します、私たちはそれを修正します' —そして彼らは[特定の修正]を実施します。 しかし悲しいことに、彼らはシステム内のより広範な基本的な問題に取り組むことに時間を費やすことはありませんでした。 したがって、安全性の問題が繰り返し発生するだろう」と述べ、規制当局とともに提起した心臓トリアージに関する複数の問題の例を挙げた。
「私がバビロンで働く人々と話したとき、彼らはこれらのハードフィックスをしなければならなかった…彼らがしなければならないのはちょっと「それをばかにする」ことだけである。 したがって、たとえば、胸の痛みがある人はすぐにA&Eに行くと言います。 彼らはそれに思考プロセスを奪うだろう」と彼は付け加えた。 (もちろん、規制当局への発言でも指摘しているように、医療リソースを浪費するリスクもあります。)
「こうして、彼らは時間の経過とともにこれらの問題を回避しました。 しかし、それはこれらのツールを開発する際の課題と困難を浮き彫りにします。 簡単ではない。 そして、あなたがそれを素早くやろうとして、それに十分な注意を払わないと、あなたはただ役に立たない何かになってしまいます。」
ワトキンスはまた、MHRAがバビロンに2018AIイベントに関連する特定の双曲線の販促資料をウェブサイトから削除させることに関与していると疑っています。
同じく2018年のイベントに関連するある奇妙なエピソードでは、バビロンのCEOは、「感情スキャン」AIと組み合わせた患者の言葉のリアルタイムの転写を示すように見えるAIを利用したインターフェースをデモしました。その人がどのように感じているかを評価する時間です。Parsaは聴衆に次のように伝えています。 それが私たちが構築したものです。 これはどれもショー用ではありません。 これらはすべて市場に出ているか、すでに市場に出ているでしょう。」
ただし、どちらの機能も実際にはまだバビロンによって市場に投入されていません。 先月このことについて尋ねられたスタートアップはTechCrunchに次のように語った。 「私たちの臨床ポータルデモの古いバージョンに見られる感情検出機能は、によって開発および構築されました バビロンのAIチーム。 バビロン 広範なユーザーテストを実施しているため、当社の技術は患者や臨床医のニーズを満たすために絶えず進化しています。 臨床医による市販前のユーザーテストを受けた後、サービスの運用面の改善に重点を置いて、感情認識機能よりも臨床ポータルの他のAI主導の機能を優先しました。」
「確かに[MHRAの手紙]は非常に心強いものでした。MHRAが過去XNUMX年間に特定された懸念に対処するために、バビロンと協力してきたことを強く疑っています」とワトキンスは本日私たちに語った。 「MHRAは問題を無視していないようですが、バビロンは単に問題を否定し、守秘義務条項の背後に座ることができます。」
英国におけるソフトウェアベースの医療機器の現在の規制状況に関する声明の中で、MHRAは次のように述べています。
MHRAは、医療機器の製造業者が2002年の医療機器規制(改正)に準拠することを保証します。 参照してください 既存のガイダンス.
2021年の医薬品および医療機器法は、現在開発されている新しい改善された規制の枠組みの基盤を提供します。 医療機器としてのソフトウェア(SaMD)に適用されるリスク分類ルールを含む、医療機器規制のすべての側面を考慮します。
英国は、1年2023月XNUMX日までCEマークの付いたデバイスを認識し続けます。それ以降は、UKCAマークの要件を満たす必要があります。 これには、現在開発中の新しいフレームワークの改訂された要件が含まれます。
2021年の医薬品医療機器法により、MHRAは、より高いレベルの透明性を備えた規制活動を実施し、患者の安全のために情報を共有することができます。
規制当局は、バビロンについて共有しているワトキンスへの手紙の中で述べている懸念についてのインタビューや質問への回答を拒否しました。MHRAはすべての懸念を調査しますが、個々のケースについてはコメントしません。」
「患者の安全は最優先事項であり、安全性について懸念がある場合は、報告者と話し合うことを含め、常に調査します」と付け加えました。
ワトキンスは、「最先端の」技術ツールの患者の安全性の問題についてもうXNUMXつの重要な点を提起しました。「実際の臨床データ」はどこにあるのでしょうか? これまでのところ、患者が行わなければならない研究は限られた評価であり、チャットボットメーカー自身によって行われることが多いと彼は言います。
「このセクターについて非常に重要なことのXNUMXつは、実際のデータがほとんどないという事実です」と彼は言いました。 「これらのチャットボットは数年前から存在しています…そして実際の臨床データを取得するのに十分な時間はありましたが、それは表示されていません。実際の設定では実際に存在しているためです。私たちが思っているほど役に立たないのですか?」
PrimeXBTをチェックアウト
ACミランの公式CFDパートナーとの取引
暗号を取引する最も簡単な方法。
出典:https://techcrunch.com/2021/03/05/uks-mhra-says-it-has-concerns-about-babylon-health-and-flags-legal-gap-around-triage-chatbots/