RSA 컨퍼런스 RSA Conference Bingo 카드에 ChatGPT, AI 또는 LLM이 있는 사람은 모두 계속해서 등장하기 때문에 샌프란시스코에서 열리는 올해 행사에서 분명히 승리할 것입니다.

적절한 사례: 회의 둘째 날을 시작하는 화요일 AI 기조 연설은 윤리, AI 편견, 환각 및 AI 레드 팀이 정보 보안 팀에서 배울 수 있는 것에 중점을 두었습니다. AI 레드팀은 머신 러닝 시스템의 취약점을 조사하고 자극하는 팀입니다.

Microsoft의 Ram Shankar Siva Kumar는 "이 패널을 계획하기 시작했을 때 ChatGPT는 존재하지 않았습니다.

Azure Trustworthy ML 이니셔티브의 데이터 카우보이인 Kumar는 Redmond의 AI 레드 팀을 설립했습니다. 화요일 기조연설에서 그와 다른 ML 개척자들은 조직이 기계 학습 소프트웨어의 약점을 찾고 조사하기 위해 정보 보안 레드 팀의 페이지를 가져와야 한다고 주장했습니다.

대기업 또는 비즈니스 애플리케이션 및 운영에 대한 다운스트림 액세스 권한이 있는 범용 AI 시스템을 사용하는 모든 사람은 이러한 시스템 및 파이프라인에 대한 스트레스 테스트를 수행해야 한다고 Google DeepMind AI 연구소의 최고 정보 보안 책임자인 Vijay Bolina는 말했습니다. 이러한 AI 모델이 통신 플랫폼, 결제 프로세서, 온라인 주문 등에 연결된 애플리케이션 및 서비스를 통해 실제 세계에서 해를 입히도록 악용되거나 속지 않도록 하기 위해 필요합니다.

딥마인드의 AI 레드팀은 구글의 머신러닝 레드팀과 협력하고 "알고리즘 수준뿐만 아니라 시스템, 기술 인프라 수준에서도 우리가 구축하고 있는 것을 스트레스 테스트"하기 위해 노력하고 있다고 Bolina는 덧붙였습니다. 

Bolina에 따르면 공격자는 "아마도 기본 시스템에 대한 액세스 권한을 얻기 위해 다양한 방법과 공격을 사용할 것"이라고 합니다. 이 때문에 AI 레드 팀에는 취약성을 테스트하기 위해 Infosec 및 ML 전문가가 혼합되어 있어야 하며, 그 중 일부는 이제 막 발견하고 이해하기 시작했습니다.

시스템 취약성을 식별하는 것 외에도 AI 레드팀은 ML 모델의 편견이나 환각 유발 요인과 같은 것을 찾아야 합니다. 즉, AI가 상황에 따라 성가시거나 심지어 위험할 수 있는 내용을 자신 있게 꾸며내는 경우입니다.

Rumman Chowdhury는 Twitter의 기계 학습 윤리, 투명성 및 책임(META) 팀의 엔지니어링 이사였으며, 여기서 그녀는 최초의 편견 현상금. Twitter 팀은 플랫폼의 이미지 자르기 AI 알고리즘이 혜택을 받고있는 젊어 보이고 날씬해 보이고 피부가 하얗고 건장한 사람들.

물론 그것은 Elon Musk가 인수하여 윤리적 AI 팀을 제거하기 전이었습니다. 그 이후로 Chowdhury는 Bias Buccaneers라는 비영리 단체를 공동 설립했으며, 이 단체는 커뮤니티가 AI 도구에서 편견을 찾도록 장려하기 위해 일련의 버그 바운티 프로그램을 시작했습니다.

Chowdhury는 "정보 보안 및 AI 전문 지식의 영역이 아니라 실제로 사람들의 주제 전문 지식과 생생한 전문 지식이 있는 상황별 문제의 유용하고 참신한 핵과 편향을 어떻게 공개적으로 크라우드소싱합니까?"라고 질문했습니다.

AI 레드팀은 신경망에 악의적인 행동을 하는 악의적인 행위자를 예측하고 막아야 할 뿐만 아니라 안전하지 않은 방식으로 모델을 배포하는 사람들의 영향도 고려해야 합니다. 

그녀는 "실수로 나쁜 일을 구현하는 선의의 사람들"이 있으며 "그 문제를 해결하는 접근 방식이 바뀝니다."라고 말했습니다. 쉽게 악용될 수 없도록 API 또는 AI 제품을 강화하는 것도 중요하지만, 누군가 실수로 이러한 보호 기능을 취소하지 않도록 안전 조치를 추가하는 것을 잊지 마십시오. ®

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
• 출처: https://go.theregister.com/feed/www.theregister.com/2023/04/26/is_your_ai_hallucinating/