Microsoft는 개발자가 악의적인 모델 조작 및 기타 새로운 위협에 대해 보다 안정적이고 탄력적인 생성 AI 앱을 구축하는 데 도움이 될 Azure AI Studio의 몇 가지 새로운 기능을 발표했습니다.

29월 XNUMX일 블로그 게시물에서 Microsoft의 책임 있는 AI 부문 최고 제품 책임자인 Sarah Bird는 위협 행위자가 다음을 사용하는 것에 대한 우려가 커지고 있음을 지적했습니다. 즉각적인 주입 공격 새로운 도구의 주요 추진 요인으로 AI 시스템이 위험하고 예상치 못한 방식으로 작동하도록 하는 것입니다.

“조직도 마찬가지다. 품질과 신뢰성에 관심” 새가 말했다. “그들은 AI 시스템이 오류를 생성하거나 애플리케이션의 데이터 소스에서 입증되지 않은 정보를 추가하여 사용자 신뢰를 약화시킬 수 없도록 하고 싶어합니다.”

애저 AI 스튜디오 조직이 자체 데이터를 기반으로 맞춤형 AI 보조자, 부조종사, 봇, 검색 도구 및 기타 애플리케이션을 구축하는 데 사용할 수 있는 호스팅 플랫폼입니다. 2023년 XNUMX월에 발표된 이 플랫폼은 Microsoft의 기계 학습 모델과 OpenAI를 포함한 여러 다른 소스의 모델도 호스팅합니다. 메타, 허깅페이스, 엔비디아. 이를 통해 개발자는 다중 모드 기능과 책임 있는 AI 기능을 모델에 신속하게 통합할 수 있습니다.

Amazon 및 Google과 같은 다른 주요 기업은 전 세계적으로 급증하는 AI 기술에 대한 관심을 활용하기 위해 지난 1년 동안 유사한 제품을 출시하며 시장에 돌진했습니다. 최근 IBM이 의뢰한 연구에 따르면 조직의 42 % 1,000명 이상의 직원이 이미 어떤 방식으로든 AI를 적극적으로 사용하고 있으며 이들 중 다수는 향후 몇 년 동안 기술에 대한 투자를 늘리고 가속화할 계획입니다. 그리고 그들 모두는 아닙니다 IT에게 말하고 있었어 AI 사용에 대해 미리 알려주세요.

프롬프트 엔지니어링으로부터 보호

Microsoft가 Azure AI Studio에 추가했거나 곧 추가할 5가지 새로운 기능은 다음과 같습니다. 접지 감지; 안전 시스템 메시지; 안전성 평가; 위험 및 안전 모니터링. 이 기능은 대규모 언어 모델 및 생성 AI 도구 사용과 관련하여 연구자들이 최근에 발견하고 일상적으로 계속해서 발견하고 있는 몇 가지 중요한 문제를 해결하도록 설계되었습니다.

프롬프트 쉴드 예를 들어 간접적인 프롬프트 공격 및 탈옥으로 알려진 것에 대한 Microsoft의 완화가 있습니다. 이 기능은 탈옥 위험에 대한 Azure AI Studio의 기존 완화를 기반으로 합니다. ~ 안에 즉각적인 엔지니어링 공격, 공격자는 해롭지 않고 명백히 해롭지 않은 프롬프트를 사용하여 AI 모델이 해롭고 바람직하지 않은 응답을 생성하도록 유도합니다. 신속한 엔지니어링은 점점 더 증가하고 있는 공격 유형 중 가장 위험한 것 중 하나입니다. 탈옥 AI 모델 또는 개발자가 내장한 필터 및 제약 조건과 일치하지 않는 방식으로 작동하도록 할 수도 있습니다.  

연구원들은 최근 공격자가 생성 AI 모델을 확보하기 위해 어떻게 즉각적인 엔지니어링 공격에 참여할 수 있는지를 보여주었습니다. 훈련 데이터 유출, 개인정보를 유출하기 위해, 잘못된 정보 생성 자동차를 핫와이어 연결하는 방법에 대한 지침과 같은 잠재적으로 유해한 콘텐츠도 포함됩니다.

Prompt Shields를 사용하면 개발자는 유효한 시스템 입력과 잠재적으로 신뢰할 수 없는 시스템 입력을 구별하는 데 도움이 되는 기능을 모델에 통합할 수 있습니다. 입력 텍스트의 시작과 끝을 표시하는 데 도움이 되는 구분 기호를 설정하고 데이터 표시를 사용하여 입력 텍스트를 표시합니다. Microsoft에 따르면 Prompt Shields는 현재 Azure AI Content Safety의 미리 보기 모드로 제공되며 곧 일반 공급될 예정입니다.

모델 환각 및 유해 콘텐츠에 대한 완화

한편, 마이크로소프트는 접지 감지를 통해 개발자가 AI 모델의 "환각" 위험을 줄이는 데 도움이 될 수 있는 기능을 Azure AI Studio에 추가했습니다. 모델 환각은 AI 모델이 그럴듯해 보이지만 훈련 데이터를 기반으로 하지 않거나 완전히 구성되지 않은 결과를 생성하는 경향입니다. 조직이 결과를 사실로 받아들이고 어떤 방식으로든 그에 따라 조치를 취한다면 LLM 환각은 큰 문제가 될 수 있습니다. 예를 들어 소프트웨어 개발 환경에서 LLM 환각으로 인해 개발자는 잠재적으로 취약한 코드를 응용 프로그램에 도입할 수 있습니다.

Azure AI Studio의 새로운 기능 접지 감지 기능은 기본적으로 잠재적으로 접지되지 않은 생성 AI 출력을 더 안정적이고 더 큰 규모로 감지하는 데 도움이 됩니다. 목표는 모델을 제품에 배포하기 전에 개발자에게 Microsoft가 근거 지표라고 부르는 것과 비교하여 AI 모델을 테스트할 수 있는 방법을 제공하는 것입니다. 또한 이 기능은 LLM 출력에서 ​​잠재적으로 근거가 없는 진술을 강조 표시하므로 사용자는 출력을 사용하기 전에 출력을 사실 확인해야 한다는 것을 알 수 있습니다. 접지 감지 기능은 아직 제공되지 않지만 Microsoft에 따르면 가까운 시일 내에 제공될 예정입니다.

새로운 시스템 메시지 프레임워크 개발자가 모델의 기능, 프로필 및 특정 환경에서의 제한 사항을 명확하게 정의할 수 있는 방법을 제공합니다. 개발자는 이 기능을 사용하여 출력 형식을 정의하고 의도된 동작의 예를 제공할 수 있으므로 사용자가 의도한 동작에서 벗어난 것을 더 쉽게 감지할 수 있습니다. 아직 사용할 수 없지만 곧 제공될 또 다른 새로운 기능입니다.

Azure AI Studio가 새로 발표되었습니다. 안전성 평가 능력과 그 위험 및 안전 모니터링 기능은 현재 미리보기 상태로 제공됩니다. 조직은 전자를 사용하여 탈옥 공격 및 예상치 못한 콘텐츠 생성에 대한 LLM 모델의 취약성을 평가할 수 있습니다. 위험 및 안전 모니터링 기능을 통해 개발자는 문제가 있고 환각 또는 예상치 못한 콘텐츠를 유발할 가능성이 있는 모델 입력을 감지하여 이에 대한 완화 조치를 구현할 수 있습니다.

Microsoft의 Bird는 “Generative AI는 모든 부서, 회사 및 산업에 힘을 배가할 수 있습니다.”라고 말했습니다. "동시에 기초 모델은 새로운 완화와 지속적인 학습이 필요한 보안 및 안전에 대한 새로운 과제를 도입합니다."

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai