지금은 Gemini라고 불리는 Google의 Bard가 제임스 웹 우주 망원경에 관한 질문에 답할 수 없습니다 출시 광고에서? 이 유명한 사례에 대해 기억해 보겠습니다. 이는 우리가 본 AI 환각의 가장 큰 사례 중 하나입니다.

무슨 일이 일어났나요? 광고 중에 Google Bard 데모에서는 "제임스 웹 우주 망원경의 어떤 새로운 발견을 9살짜리 아이와 공유할 수 있나요?"라는 질문을 받았습니다. 잠시 멈춘 후 Google Bard 데모는 두 가지 올바른 응답을 제공했습니다. 그러나 최종 답변은 올바르지 않았습니다. Google Bard 데모에 따르면 망원경은 우리 태양계 외부 행성의 첫 번째 이미지를 포착했습니다. 그러나 실제로는 유럽 남부 천문대(European Southern Observatory)의 초대형 망원경이 이미 NASA의 기록 보관소에 저장된 이러한 "외행성"의 이미지를 촬영했습니다.

~글쎄, 실제로는~ 멍청이가 아니라 Bard가 인상적일 것이라고 확신하지만 기록을 위해: JWST는 "우리 태양계 외부 행성의 첫 번째 이미지"를 촬영하지 않았습니다.

대신 첫 번째 이미지는 Chauvin et al. (2004) 적응 광학을 사용하는 VLT/NACO와 함께. https://t.co/bSBb5TOeUW pic.twitter.com/KnrZ1SSz7h

— 그랜트 트렘블레이(@astrogrant) 2023년 ２월 7일

Google과 같은 거대 기술 기업은 왜 그러한 실수를 예방하지 못하는 걸까요? 알아 보자!

AI 환각이란 무엇입니까?

AI 환각은 일반적으로 인공 지능(AI)으로 구동되는 컴퓨터 프로그램이 부정확하거나 무의미하거나 오해의 소지가 있는 출력을 생성할 때 발생합니다. 이 용어는 AI 모델이 완전히 궤도를 벗어나거나 제공된 입력과 관련이 없는 응답을 생성하는 상황을 설명하는 데 자주 사용됩니다. 이는 질문을 하고 이해가 되지 않거나 예상했던 것과 전혀 다른 답변을 얻는 것과 같습니다.

이해하다 AI 환각이 나타나는 이유 그렇다면 AI가 어떻게 작동하는지 살펴보겠습니다. 챗봇이나 이미지 인식 시스템과 같은 AI 모델은 패턴을 학습하고 예측하기 위해 대규모 데이터 세트를 학습합니다. 그러나 훈련 데이터에 결함이 있거나 불완전하거나 편향된 경우 AI 모델은 잘못된 패턴이나 연관성을 학습할 수 있습니다. 이는 AI가 잘못되었거나 잘못 이해된 정보를 기반으로 응답을 생성하는 환각적인 출력으로 이어질 수 있습니다. 그리고 눈치 채지 못하더라도 그런 일이 많이 발생합니다.

AI 환각은 다양한 형태로 나타날 수 있으며, 각각은 인공 지능 시스템 내의 다양한 과제와 복잡성을 강조합니다. AI 환각의 일반적인 유형은 다음과 같습니다.

• 문장 AI 환각:
  • 이 시나리오에서 AI 모델은 동일한 맥락 내에서 이전 문장과 충돌하는 문장을 생성합니다. 예를 들어:
    • 프롬프트: "캐릭터의 여정을 세 단어로 된 문장으로 설명하세요."
    • 결과: “그녀는 천천히 걸었습니다. 갑자기 그녀는 달렸다. 그런 다음 그녀는 걸었습니다.”

마지막 문장은 이전의 달리기 동작과 모순되어 서사의 일관성을 방해합니다.

• 즉각적인 AI 환각:
  • 이 유형은 AI 생성 응답이 의도한 프롬프트 또는 쿼리와 충돌할 때 발생합니다. 예를 들어:
    • 프롬프트: “초콜릿 케이크 레시피를 작성하세요.”
    • 출력: "여기 별에 관한 시가 있습니다."

생성된 콘텐츠가 요리 관련 프롬프트를 충족하지 않아 맥락을 파악하지 못했음을 나타냅니다.

• 사실적인 AI 환각:
  • AI 모델이 잘못된 정보를 정확한 것으로 제시하면 사실적 모순이 발생합니다. 예를 들어:
    • 프롬프트: “주기율표의 세 가지 원소를 나열하세요.”
    • 출력: “수소, 산소, 탄산염.”

"카보나이트"는 원소가 아니므로 응답 시 잘못된 정보를 제공할 수 있습니다.

• 관련성이 없거나 무작위적인 AI 환각:
  • 이러한 환각은 입력과 관련이 없거나 무의미한 정보의 생성을 포함합니다. 예를 들어:
    • 프롬프트: “해변에서의 하루를 설명해 보세요.”
    • 결과: “모래는 따뜻했습니다. 갈매기는 재즈를 불렀습니다. 펭귄들이 발레를 췄어요.”

펭귄과 발레에 대한 언급은 전형적인 해변 장면과 일치하지 않으며 생성된 내러티브의 일관성이 부족함을 보여줍니다.

이러한 유형의 환각은 AI 시스템이 정보를 정확하게 이해하고 맥락화하는 데 직면하는 과제를 강조합니다. 이러한 문제를 해결하려면 훈련 데이터의 품질을 개선하고, 언어 모델의 맥락에 대한 이해를 개선하고, AI 생성 출력의 일관성과 정확성을 보장하는 강력한 검증 메커니즘을 구현해야 합니다.

AI 환각은 특히 AI를 사용하여 의료 진단이나 금융 거래와 같은 중요한 결정을 내리는 애플리케이션에서 심각한 결과를 초래할 수 있습니다. AI 시스템이 이러한 맥락에서 환각을 일으키고 부정확한 정보를 제공하면 해로운 결과를 초래할 수 있습니다.

AI 환각에 대해 무엇을 할 수 있나요?

AI 환각을 줄이려면 AI 시스템을 더욱 정확하고 안정적으로 만들기 위한 몇 가지 주요 단계가 필요합니다.

첫째, AI를 훈련시키기 위해서는 양질의 데이터를 사용하는 것이 중요합니다. 이는 AI가 학습하는 정보가 다양하고 정확하며 편견이 없는지 확인하는 것을 의미합니다.

AI 모델을 단순화하는 것도 도움이 될 수 있습니다. 복잡한 모델은 때때로 예상치 못한 실수로 이어질 수 있습니다. 일을 단순하게 유지함으로써 오류 가능성을 줄일 수 있습니다.

명확하고 이해하기 쉬운 지침도 중요합니다. AI가 명확한 입력을 받으면 혼동하거나 실수할 가능성이 줄어듭니다.

정기적인 테스트를 통해 실수를 조기에 발견할 수 있습니다. AI가 얼마나 잘 수행되는지 확인함으로써 문제를 해결하고 개선할 수 있습니다.

AI 시스템 내에 검사를 추가하는 것도 도움이 될 수 있습니다. 이러한 점검을 통해 실수를 찾아내고 문제가 발생하기 전에 수정합니다.

가장 중요한 것은 인간의 감독이 필수적이라는 것입니다. 사람들이 AI가 생성한 출력을 다시 확인하게 하면 정확성과 신뢰성이 보장됩니다.

마지막으로 공격을 방어하도록 AI를 훈련하면 AI의 탄력성을 높일 수 있습니다. 이는 AI가 조작하거나 속이려는 시도를 인식하고 처리하는 데 도움이 됩니다.

이러한 단계를 따르면 AI 시스템의 안정성을 높이고 환각 출력 가능성을 줄일 수 있습니다.

AI를 환각 상태로 만드는 방법은 무엇입니까?

이 결함을 활용하고 재미있게 즐기고 싶다면 다음과 같은 몇 가지 작업을 수행할 수 있습니다.

• 입력 변경: AI에게 제공되는 정보를 조정할 수 있습니다. 작은 변화라도 이상하거나 잘못된 답변을 낳을 수 있습니다.
• 모델을 속이세요: AI를 속여 잘못된 답변을 제공하는 특수 입력을 만듭니다. 이러한 트릭은 모델의 약점을 이용하여 환각적인 출력을 생성합니다.
• 데이터를 엉망으로 만들다: AI의 훈련 데이터나 프롬프트에 오해의 소지가 있거나 잘못된 정보를 추가함으로써 AI가 잘못된 것을 학습하고 환각을 일으키게 할 수 있습니다.
• 모델 조정: AI의 설정이나 구조를 수정하여 결함이나 편견을 도입합니다. 이러한 변경으로 인해 이상하거나 무의미한 출력이 생성될 수 있습니다.
• 혼란스러운 입력 제공: AI에게 불분명하거나 모순되는 지시를 제공합니다. 이는 AI를 혼란스럽게 하고 부정확하거나 무의미한 응답을 초래할 수 있습니다.

아니면 그냥 질문하고 행운을 시험해 볼 수도 있습니다! 예를 들어 우리는 ChatGPT를 환각적으로 만들려고 시도했습니다.

ChatGPT는 날짜와 점수를 정확하게 기억하지만 승부차기의 득점자를 기억하는 데는 실패합니다. 갈라타사라이의 경우 에르군 펜베, 하칸 쉬퀴르, 위미트 다발라, 포페스쿠가 골을 넣었습니다. 아스날 측에서는 레이 팔러(Ray Parlor)가 유일하게 성공적인 페널티 득점자였습니다.

AI 환각을 만드는 것은 한계를 이해하는 데 도움이 될 수 있지만, 이 지식을 책임감 있게 사용하고 AI 시스템이 안정적이고 신뢰할 수 있는 상태를 유지하도록 하는 것이 중요합니다.

GPT 4는 환각을 덜 느끼나요?

예, 평가 Palo Alto에 본사를 둔 회사에서 환각 평가 모델을 사용하여 실시한 결과입니다. GPT-4 Intel Neural Chat 7B(97.2%)를 제외한 다른 대형 언어 모델에 비해 낮은 환각 비율을 보여줍니다. GPT-97는 정확도 3%, 환각률 4%로 문서를 요약할 때 정확도가 높고 환각이 발생하는 경향이 상대적으로 낮습니다. 이는 GPT-4가 평가에서 테스트된 다른 모델에 비해 부정확하거나 무의미한 출력을 생성할 가능성이 적음을 나타냅니다.

반면에, 가장 효과적인 모델 중 일부는 Google에서 나왔습니다. 구글 팜 2 90%의 정확도와 10%의 환각률을 보여주었습니다. 채팅으로 개선된 대응 제품은 정확도가 84.2%에 불과하고 리더보드에 있는 모든 모델 중 환각 점수가 16.2%로 가장 높은 성능을 보였습니다. 목록은 다음과 같습니다.

요약하자면, AI 환각은 AI 시스템이 훈련 데이터나 정보 처리 방식의 결함으로 인해 무의미하거나 부정확한 출력을 생성하는 실수입니다. 이는 연구자와 개발자가 해결하기 위해 노력하고 있는 AI의 매력적이고 도전적인 측면입니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://dataconomy.com/2024/04/11/what-exactly-is-an-ai-hallucination-and-why-does-it-matter/