近年、人間の労働者と自動化されたソフトウェアの間の微妙な相互作用に依存する業界全体が出現しています。 Facebookのような企業は、悪意のある暴力的なコンテンツをプラットフォームから遠ざけるために、 自動フィルタリングと人間のモデレーターの組み合わせ。 医療分野では、MITなどの研究者が機械学習を使用して放射線科医を支援しています さまざまな形態のがんをより適切に検出する. 

これらのハイブリッドアプローチについて注意が必要なのは、人とプログラムの専門知識に依存するタイミングを理解することです。 これは常に、誰が「より良い」タスクを実行するかという問題だけではありません。 実際、人の帯域幅が限られている場合、システムが訓練を必要とする頻度を最小限に抑える必要があるかもしれません。

この複雑な問題に取り組むために、MITのComputer Science and Artificial Intelligence Lab（CSAIL）の研究者は、タスクについての予測を行うか、決定を専門家に任せることができる機械学習システムを開発しました。 最も重要なのは、チームメイトの可用性や経験レベルなどの要因に基づいて、人間の共同作業者にいつ、どのくらいの頻度で対応できるかです。

チームは、無気肺（肺虚脱）や心肥大（拡大した心臓）などの特定の状態を診断するために胸部X線を見るなど、複数のタスクについてシステムをトレーニングしました。 心肥大の場合、彼らは、彼らの人間とAIのハイブリッドモデルのパフォーマンスが、AU-ROCスコアに基づいて、どちらか一方のモデルよりも8％優れていることを発見しました。  

「医師が余計なサイクルを必要としない医療環境では、特定の患者のファイルからXNUMXつXNUMXつのデータポイントを見るように時間を使うのは最善の方法ではありません。」の フォンヘルムホルツ電気工学およびコンピューターサイエンス学部の医療工学准教授、国際機械学習会議で最近発表されたシステムに関する新しい論文の。 「そのようなシナリオでは、システムが彼らの時間に特に敏感であり、絶対に必要なときだけ彼らの助けを求めることが重要です。」

システムにはXNUMXつの部分があります。タスクの特定のサブセットを予測できる「分類子」と、特定のタスクを独自の分類子または専門家のどちらで処理するかを決定する「リジェクター」です。

チームは、医療診断とテキスト/画像分類のタスクの実験を通じて、彼らのアプローチがベースラインよりも優れた精度を実現するだけでなく、低い計算コストとはるかに少ないトレーニングデータサンプルで実現することを示しました。

「私たちのアルゴリズムでは、特定の予測精度であろうと、専門家の時間と労力のコストであろうと、どのような選択でも最適化できます」と、MITの医工学研究所のメンバーであるSontagは言います。 「さらに、学習した拒否者を解釈することにより、システムは、専門家がどのように意思決定を行うか、およびどの設定でAIがより適切であるか、またはその逆かについての洞察を提供します。」

不快なテキストや画像を検出するのに役立つシステムの特定の機能も、コンテンツの管理に興味深い影響を与える可能性があります。 Mozannerは、Facebookなどの企業で、モデレーターのチームと組み合わせて使用​​できると示唆しています。 （彼は、そのようなシステムが人間のモデレーターが毎日見直さなければならない憎悪的またはトラウマ的な投稿の量を最小化できることを望んでいます。）

Sontagは、チームがまだシステムを人間の専門家とテストしていないことを明らかにしましたが、代わりに一連の「合成専門家」を開発して、経験や可用性などのパラメーターを微調整できるようにしました。 これまでにない新しい専門家と協力するために、システムは、個人の特定の長所と短所について訓練を受けるために、最小限のオンボーディングを必要とします。

今後の作業では、X線診断のために放射線科医などの実際の人間の専門家とのアプローチをテストする予定です。 また、偏ったエキスパートデータから学習できるシステムの開発方法や、一度に複数のエキスパートと連携して機能するシステムの開発方法についても学びます。 たとえば、Sontagは、さまざまな患者集団でより経験のあるさまざまな放射線科医とシステムが連携できる病院のシナリオを想定しています。

「信頼と説明責任の問題を含む、臨床現場での完全な自動化を当然のことながら禁止する多くの障害があります」とSontagは言います。 「私たちの手法が機械学習の実践者を刺激し、リアルタイムの人間の専門知識をアルゴリズムに統合する際の創造性を高めることを願っています。」 

Mozannerは、CSAILとMITデータ、システム、および社会のためのMIT研究所（IDSS）の両方に所属しています。 チームの作業は、部分的には全米科学財団によってサポートされました。