코로나19 팬데믹은 건강 불평등에 관한 충격적인 데이터를 드러냈습니다. 2020년에 국립보건원(NIH)은 다음과 같은 보고서를 발표했습니다. 신고 흑인 미국인은 인구에서 더 적은 비율을 차지함에도 불구하고 백인 미국인보다 더 높은 비율로 코로나19로 사망했다고 밝혔습니다. NIH에 따르면 이러한 격차는 치료에 대한 제한된 접근, 공공 정책의 부적절함, 심혈관 질환, 당뇨병 및 폐 질환을 포함한 동반 질환의 불균형한 부담으로 인해 발생했습니다.

XNUMXD덴탈의 NIH 또한 47.5만~51.6만 명의 미국인이 의사에게 갈 여유가 없다고 밝혔습니다. 역사적으로 서비스가 부족한 지역사회에서는 생성 변환기, 특히 자신도 모르게 검색 엔진에 내장된 변환기를 사용하여 의학적 조언을 요청할 가능성이 높습니다. 개인이 AI 에이전트가 내장된 인기 검색 엔진에 가서 "아버지는 더 이상 처방받은 심장약을 감당할 수 없습니다. 대신에 효과가 있을 수 있는 일반의약품은 무엇입니까?"

롱아일랜드 대학교 연구진에 따르면, ChatGPT는 75% 부정확합니다. 당시 CNN에 따르면 챗봇은 때때로 심각한 부작용을 일으킬 수 있는 두 가지 약물의 조합을 승인하는 등 위험한 조언을 제공하기도 했습니다.

생성적 변환기가 의미를 이해하지 못하고 잘못된 출력을 갖게 된다는 점을 감안할 때 전문적인 도움 대신 이 기술을 사용하는 역사적으로 서비스가 부족한 커뮤니티는 다른 커뮤니티보다 훨씬 더 큰 피해를 입을 수 있습니다.

보다 공평하고 신뢰할 수 있는 결과를 위해 AI에 어떻게 적극적으로 투자할 수 있습니까?

오늘날의 새로운 생성 AI 제품을 통해 신뢰, 보안 및 규제 문제는 정부 의료 관계자의 주요 관심사로 남아 있습니다. 바이오제약 회사, 의료 시스템, 의료 기기 제조업체 및 기타 조직을 대표하는 최고 경영진. 생성적 AI를 사용하려면 적절한 사용 사례에 대한 대화와 안전 및 신뢰에 대한 가드레일을 포함한 AI 거버넌스가 필요합니다(AI 권리 장전에 대한 AI 미국 청사진, EU AI ACT 및 백악관 AI 행정 명령 참조).

책임감 있게 AI를 큐레이팅하는 것은 전체적인 접근 방식이 필요한 사회기술적 과제입니다. AI 모델이 정확하고 감사 가능하며 설명 가능하고 공정하며 사람들의 데이터 개인 정보를 보호하는지 확인하는 것을 포함하여 사람들의 신뢰를 얻으려면 많은 요소가 필요합니다. 그리고 제도적 혁신이 도움이 되는 역할을 할 수 있습니다.

제도적 혁신: 역사적 기록

제도적 변화는 종종 격변적인 사건으로 인해 발생합니다. 식품, 약품, 화장품이 대중에게 안전한지 확인하는 것이 주요 역할인 미국 식품의약청(FDA)의 발전을 생각해 보십시오. 이 규제 기관의 뿌리는 1848년으로 거슬러 올라갈 수 있지만, 안전을 위한 약물 모니터링은 1937년까지 직접적인 관심사가 아니었습니다. 엘릭서 술파닐아미드 재해.

존경받는 테네시 제약 회사가 개발한 Elixir Sulfanilamide는 패혈성 인두염을 극적으로 치료하는 것으로 알려진 액체 약물이었습니다. 당시에는 흔히 그렇듯이 이 약은 시장에 출시되기 전에 독성 테스트를 거치지 않았습니다. 이는 치명적인 실수로 밝혀졌습니다. 엘릭서에는 부동액에 사용되는 독성 화학물질인 디에틸렌 글리콜이 포함되어 있었기 때문입니다. 100명 이상의 사람들이 독성 엘릭서를 복용하여 사망했으며, 이로 인해 FDA는 식품, 의약품 및 화장품법에 따라 약품에 안전한 사용을 위한 적절한 지침을 표시하도록 요구했습니다. FDA 역사상 이 중요한 이정표는 의사와 환자가 약물의 강도, 품질 및 안전성을 완전히 신뢰할 수 있도록 했으며, 이는 오늘날 우리가 당연하게 여기는 보장입니다.

마찬가지로, AI의 공평한 결과를 보장하려면 제도적 혁신이 필요합니다.

생성 AI가 서비스를 제공하는 커뮤니티를 지원하는지 확인하는 5가지 주요 단계

의료 및 생명과학(HCLS) 분야에서 생성 AI를 사용하려면 FDA가 요구한 것과 동일한 종류의 제도적 혁신이 필요합니다. 엘릭서 술파닐아미드 재해. 다음 권장 사항은 모든 AI 솔루션이 취약한 인구를 위해 보다 공평하고 정의로운 결과를 달성하는 데 도움이 될 수 있습니다.

1. 신뢰와 투명성을 위한 원칙을 운영합니다. 공정성, 설명 가능성 및 투명성은 큰 단어입니다. 그러나 AI 모델의 기능적 및 비기능적 요구 사항 측면에서 이는 무엇을 의미합니까? AI 모델이 공정하다고 세상에 말할 수 있지만 역사적으로 가장 서비스가 부족한 인구에게 서비스를 제공할 수 있도록 AI 모델을 훈련하고 감사해야 합니다. AI가 서비스를 제공하는 커뮤니티의 신뢰를 얻으려면 AI가 인간보다 더 나은 성능을 발휘하는 입증되고, 반복 가능하고, 설명되고, 신뢰할 수 있는 출력을 갖춰야 합니다.
2. 조직에서 AI 사용으로 인한 공평한 결과에 대해 책임을 질 개인을 임명하십시오. 그런 다음 그들에게 힘든 일을 수행할 수 있는 힘과 자원을 주십시오. 책임이 없으면 신뢰도 없기 때문에 해당 도메인 전문가가 작업을 수행하기 위한 충분한 자금을 지원받고 있는지 확인하십시오. 누군가는 거버넌스에 필요한 작업을 수행할 수 있는 힘, 사고방식 및 자원을 가지고 있어야 합니다.
3. 도메인 전문가가 모델 교육에 사용되는 신뢰할 수 있는 데이터 소스를 선별하고 유지할 수 있도록 역량을 강화하세요. 이러한 신뢰할 수 있는 데이터 소스는 LLM(대형 언어 모델)을 사용하여 신뢰할 수 있는 소스(예: 온톨로지 또는 의미 검색)에서 직접 나오는 답변에 대한 언어 변형을 제공하는 제품에 대한 콘텐츠 기반을 제공할 수 있습니다. 
4. 출력을 감사하고 설명할 수 있도록 요구합니다. 예를 들어, 일부 조직에서는 환자나 의사에게 의학적 조언을 제공하는 생성 AI에 투자하고 있습니다. 제도적 변화를 장려하고 모든 인구를 보호하기 위해 이러한 HCLS 조직은 책임과 품질 관리를 보장하기 위한 감사를 받아야 합니다. 이러한 고위험 모델의 출력은 테스트-재테스트 신뢰성을 제공해야 합니다. 출력은 증거와 함께 100% 정확하고 상세한 데이터 소스여야 합니다.
5. 투명성이 필요합니다. HCLS 조직은 생성 AI를 환자 치료에 통합함에 따라(예: 미국 병원에 체크인할 때 자동화된 환자 접수의 형태로 또는 임상 시험 중에 어떤 일이 일어날지 환자가 이해하도록 돕는 방식으로) 생성 AI 모델이 다음과 같다는 점을 환자에게 알려야 합니다. 사용. 또한 조직은 해당 모델의 책임과 정확성, 해당 모델에 대한 교육 데이터 소스 및 해당 모델의 감사 결과를 자세히 설명하는 해석 가능한 메타데이터를 환자에게 제공해야 합니다. 또한 메타데이터는 사용자가 해당 모델 사용을 거부할 수 있는 방법(및 다른 곳에서 동일한 서비스를 받을 수 있는 방법)도 보여야 합니다. 조직이 의료 환경에서 합성으로 생성된 텍스트를 사용하고 재사용할 때, 사람들은 합성으로 생성된 데이터와 생성되지 않은 데이터에 대해 알려야 합니다.

우리는 AI로 운영을 혁신하는 접근 방식을 제도적으로 혁신하기 위해 FDA로부터 배울 수 있고 배워야 한다고 믿습니다. 사람들의 신뢰를 얻기 위한 여정은 AI가 서비스를 제공하는 커뮤니티를 더 잘 반영하도록 시스템을 변경하는 것에서 시작됩니다.   

책임감 있는 AI 거버넌스를 비즈니스 구조에 통합하는 방법을 알아보세요.