人工智慧 (AI) 新創公司 Woebot Health 最近因人工機器人對模仿心理健康危機的簡訊做出的一些災難性的反應而成為新聞焦點。 Woebot 在 B 輪融資中籌集了 90 萬美元，該公司回應稱，它不適合在危機期間使用。公司領導層遺憾地期望患者（他們可能沒有完全理性地思考）能夠認識到停止使用他們典型的溝通方式並尋求替代系統。
雖然醫生要對治療過程中對患者造成的傷害負責，但尋求進入這一領域的新創公司卻沒有遵守相同的標準。對於弱勢患者來說，更糟的是，這些系統也沒有遵守相同的隱私標準。進入人工智慧領域並直接與患者互動尤其複雜，因為許多患者經常經歷減弱的危機，低於需要撥打 911 的閾值，這使得不具備處理危機能力的機器人很可能無法很好地處理患者經歷的痛苦。每日一次。
儘管存在人為和無意中造成患者危機的風險，但進入這一領域的心理健康新創公司在1.3 年上半年總共籌集了2022 億美元。不幸的是，直接與患者溝通存在許多困難，人工智慧還沒有準備好為了這個任務。單字可以用在俚語中或具有其他意思。句子的意思可能會根據患者的病史、文化價值、手勢、韻律和語氣而改變。此外，在治療過程中考慮患者的潛意識動機也很重要，而人工智慧不容易闡明這一點。
儘管人工智慧可能能夠檢測單字的字面含義，但它無法像人類治療師那樣理解未說出的內容背後的含義。考慮到取代人類治療師的困難重重，人工智慧更有可能以其他方式在幕後產生影響。
儘管依靠人工機器人與患者互動時面臨許多挑戰，但人工智慧仍可以在某些領域增強決策能力。健康保險公司已經看到了人工智慧透過識別醫療保健服務高利用率患者來降低成本的價值。處方提供者經常收到健康保險公司關於不定期補充處方的通知，以鼓勵停止未最佳使用的處方。事實上，大型保險公司擁有大量數據集，目前正在分析這些數據集以預測阿茲海默症、糖尿病、心臟衰竭和慢性阻塞性肺病 (COPD) 的發病情況。實際上， AI已獲得FDA批准 目前，人工智慧在應用於非常具體的臨床問題時會大放異彩。人工智慧系統最初的目的是增強臨床判斷，而不是取代臨床判斷。理想情況下，人工智慧將透過處理日常任務並對可能模棱兩可且需要人類進一步調查的任務發出警報來提高臨床醫生的生產力。據保險公司 Optum 稱，排名前三的人工智慧應用是透過穿戴式裝置監控數據、加速臨床試驗以及提高醫療保健編碼的準確性。目前的目標不是增加數據量，而是以對臨床醫生有意義且可操作的方式呈現數據。
人工智慧將開始透過資訊提示和警報影響供應商，從而幫助增強決策並減少人為錯誤。醫學實踐充滿了死記硬背的任務，這些任務是轉移到電腦上的成熟機會。例如，人工智慧的一個常見應用是評估視網膜影像，這使得眼科醫師能夠專注於他們認為更有價值的其他醫學領域。隨著人工智慧進入醫療保健領域，臨床醫生不應該擔心他們是否會被取代，而應該擔心他們的實踐將如何隨著時間的推移而繼續發展——並希望變得更好。
將人工智慧應用於醫療服務提供者領域的一個困難是醫療記錄的結構不統一，而且不同醫療服務提供者的風格差異很大。醫療記錄也可能包含 固有偏見，取決於該實踐中最典型的患者群體。輸入人工智慧系統的偏差會產生偏差的結果。因此，人工智慧的「什麼」並不是其應用的唯一重要因素，如何應用以及如何處理結果對其產生的影響也非常有意義。當臨床醫生分心或習慣查看另一個螢幕時出現的提示和警報可能會被忽略。人工智慧的使用者體驗會對警報疲勞產生影響，這是最近眾所周知的現象，並導致了一些標誌性案例。因此，人工智慧的影響力取決於它所使用的媒介以及它呈現時使用者的狀態。
如果說我們從具有新聞價值的人工智慧錯誤中學到了什麼的話，那就是我們可能不會要求人工智慧遵守與人類相同的隱私標準，但我們確實要求它遵守比典型人類表現更高的標準。人工智慧系統傷害單一患者是完全不可接受的。我們期望人工智慧不僅表現得比人類更好，而且不會傷害任何患者。因此，就目前而言，人工智慧將繼續在後台發揮其煉金術魔力，悄悄地為其對醫療保健的影響承擔責任（或不承擔責任）。
