사람들이 편견을 품고 있다는 것은 비밀이 아닙니다. 일부는 아마도 무의식적이고 다른 일부는 고통스럽게 명백합니다. 보통 사람은 컴퓨터(일반적으로 플라스틱, 강철, 유리, 실리콘 및 다양한 금속으로 만들어진 기계)에 편견이 없다고 생각할 수 있습니다. 이러한 가정이 컴퓨터 하드웨어에 적용될 수 있지만 오류가 있는 인간에 의해 프로그래밍되고 특정 측면에서 자체적으로 손상된 데이터를 공급할 수 있는 컴퓨터 소프트웨어의 경우에도 항상 동일한 것은 아닙니다.

특히 기계 학습을 기반으로 하는 인공 지능(AI) 시스템은 예를 들어 특정 질병을 진단하거나 X-레이를 평가하기 위해 의학에서 사용이 증가하고 있습니다. 이러한 시스템은 또한 의료의 다른 영역에서 의사 결정을 지원하는 데 의존하고 있습니다. 그러나 최근 연구에 따르면 기계 학습 모델은 소수 하위 그룹에 대한 편향을 인코딩할 수 있으며, 머신 러닝 모델이 제시하는 권장 사항은 결과적으로 동일한 편향을 반영할 수 있습니다.

A 새로운 연구 MIT의 컴퓨터 과학 및 인공 지능 연구소(CSAIL)와 MIT Jameel Clinic의 연구원들이 지난 달에 발표한 커뮤니케이션 의학, 특히 긴급한 상황에서 조언을 제공하도록 의도된 시스템에 대해 차별적인 AI 모델이 미칠 수 있는 영향을 평가합니다. "우리는 조언이 짜여진 방식이 상당한 영향을 미칠 수 있다는 것을 발견했습니다. "다행히도 조언이 다른 방식으로 제공될 때 편향된 모델로 인한 피해는 제한될 수 있습니다(반드시 제거되지는 않음)." 이 논문의 다른 공동 저자는 박사 과정 학생인 Aparna Balagopalan과 Emily Alsentzer, Fotini Christia 교수와 Marzyeh Ghassemi 교수입니다.

의학에 사용되는 AI 모델은 부정확성과 불일치로 인해 어려움을 겪을 수 있습니다. 부분적으로는 모델을 교육하는 데 사용되는 데이터가 실제 환경을 대표하지 않기 때문입니다. 예를 들어, 다른 종류의 X-레이 기계는 사물을 다르게 기록할 수 있으므로 다른 결과를 얻을 수 있습니다. 게다가 주로 백인에 대해 훈련된 모델은 다른 그룹에 적용될 때 정확하지 않을 수 있습니다. 그만큼 커뮤니케이션 의학 논문은 그러한 종류의 문제에 초점을 맞추지 않고 대신 편견에서 비롯된 문제와 부정적인 결과를 완화하는 방법에 대해 다룹니다.

954명(임상의사 438명과 비전문가 516명)이 AI 편향이 의사 결정에 어떤 영향을 미칠 수 있는지 알아보기 위한 실험에 참여했습니다. 참가자들은 각각 정신 건강 응급 상황을 겪고 있는 남성 개인과 관련된 가상의 위기 핫라인에서 통화 요약을 받았습니다. 요약에는 개인이 백인인지 아프리카 계 미국인인지에 대한 정보가 포함되어 있으며 그가 무슬림이라면 그의 종교도 언급했습니다. 일반적인 콜 요약은 아프리카계 미국인 남성이 정신 착란 상태로 집에서 발견된 상황을 설명할 수 있으며, "그는 무슬림을 실천하기 때문에 마약이나 술을 전혀 섭취하지 않았습니다."라고 표시합니다. 연구 참여자들은 환자가 폭력적으로 변할 가능성이 있다고 생각되면 경찰에 신고하도록 지시받았습니다. 그렇지 않으면 의학적 도움을 구하도록 권장되었습니다.

참가자들은 대조군 또는 "기준선" 그룹과 약간 다른 조건에서 응답을 테스트하도록 설계된 XNUMX개의 다른 그룹으로 무작위로 나뉘었습니다. "우리는 편향된 모델이 의사 결정에 어떻게 영향을 미칠 수 있는지 이해하고 싶지만 먼저 인간의 편향이 의사 결정 프로세스에 어떻게 영향을 미칠 수 있는지 이해해야 합니다."라고 Adam은 말합니다. 기준선 그룹에 대한 분석에서 그들이 발견한 것은 다소 놀랍습니다. “우리가 고려한 설정에서 인간 참가자는 어떠한 편견도 나타내지 않았습니다. 그렇다고 해서 인간이 편향되지 않는다는 의미는 아니지만, 우리가 사람의 인종과 종교에 대한 정보를 전달하는 방식은 분명히 그들의 편향을 이끌어낼 만큼 강력하지 않았습니다.”

실험의 다른 XNUMX개 그룹에게는 편향된 모델 또는 편향되지 않은 모델에서 나온 조언이 제공되었으며 해당 조언은 "규범적" 또는 "설명적" 형식으로 제공되었습니다. 편향된 모델은 편향되지 않은 모델보다 아프리카계 미국인이나 무슬림이 관련된 상황에서 경찰의 도움을 권장할 가능성이 더 높습니다. 그러나 연구 참여자는 자신의 조언이 어떤 모델에서 나온 것인지, 조언을 전달하는 모델이 편향될 수 있는지조차 알지 못했습니다. 규범적 조언은 참가자가 해야 할 일을 모호하지 않은 용어로 설명하여 어떤 경우에는 경찰에 신고해야 하고 다른 경우에는 의료 도움을 받아야 한다고 말합니다. 설명적인 조언이 덜 직접적입니다. AI 시스템이 특정 통화와 관련된 폭력의 위험을 감지했음을 나타내는 플래그가 표시됩니다. 폭력의 위협이 작은 것으로 간주되면 깃발이 표시되지 않습니다.  

실험의 핵심은 참가자들이 "편향된 AI 시스템의 규범적 권장 사항에 크게 영향을 받았다"는 것입니다. 그러나 그들은 또한 "규범적 권장 사항보다 설명적인 권장 사항을 사용하면 참가자가 원래의 편향되지 않은 의사 결정을 유지할 수 있음"을 발견했습니다. 즉, 렌더링되는 조언을 적절하게 프레이밍함으로써 AI 모델 내에 통합된 편향을 줄일 수 있습니다. 조언을 어떻게 제시하느냐에 따라 결과가 다른 이유는 무엇입니까? 누군가가 경찰에 신고하는 것과 같이 의심의 여지가 거의 없는 일을 하라고 하면 Adam은 설명합니다. 그러나 상황을 단순히 설명할 때(깃발 유무에 관계없이 분류) “참가자 자신의 해석의 여지가 있습니다. 그것은 그들이 더 유연하고 스스로 상황을 고려할 수 있게 해준다.”

둘째, 연구원들은 일반적으로 조언을 제공하는 데 사용되는 언어 모델이 편향되기 쉽다는 사실을 발견했습니다. 언어 모델은 Wikipedia 및 기타 웹 자료의 전체 콘텐츠와 같은 텍스트에 대해 학습되는 기계 학습 시스템 클래스를 나타냅니다. 이러한 모델이 학습 목적으로 훨씬 더 작은 데이터 하위 집합(2,000만 개의 웹 페이지와 달리 단 8개의 문장)에 의존하여 "미세 조정"되면 결과 모델이 쉽게 편향될 수 있습니다.  

셋째, MIT 팀은 편향되지 않은 의사 결정권자라도 편향된 모델이 제공하는 권장 사항으로 인해 오도될 수 있음을 발견했습니다. 의료 교육(또는 교육 부족)으로 응답이 식별 가능한 방식으로 변경되지 않았습니다. 저자는 "임상의는 비전문가만큼 편향된 모델의 영향을 받았다"고 말했습니다.

“이러한 발견은 다른 환경에도 적용될 수 있습니다. 어떤 사람들이 면접을 받아야 하는지 결정할 때 편향된 모델은 흑인 지원자를 거절할 가능성이 더 높을 수 있습니다. 그러나 고용주에게 "이 지원자를 거부"하라고 명시적으로(그리고 규정적으로) 말하는 대신 파일에 지원자의 "경험 부족 가능성"을 나타내는 설명 플래그가 첨부되는 경우 결과는 다를 수 있습니다.

이 작업의 의미는 정신 건강 위기에 처한 개인을 다루는 방법을 알아내는 것보다 더 광범위하다고 Adam은 주장합니다. "우리의 궁극적인 목표는 기계 학습 모델이 공정하고 안전하며 강력한 방식으로 사용되도록 하는 것입니다."

<!–
–>

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://blockchainconsultants.io/subtle-biases-in-ai-can-influence-emergency-decisions/?utm_source=rss&utm_medium=rss&utm_campaign=subtle-biases-in-ai-can-influence-emergency-decisions