마이크로 소프트는 이번 주에 AI 모델을 조사하여 악의적 인 입력 데이터에 의해 악의적 인 공격을받을 수 있는지 확인하는 Python 도구를 출시했습니다.

즉, 공항의 물체 인식 시스템이 총이 머리 빗이라고 속일 수 있는지 또는 은행의 기계 학습 기반 사기 방지 코드를 만들어 사기 거래를 승인 할 수 있는지 조사하는 것입니다. 웹 포럼 중재 봇은 금지 된 증오심 표현을 허용하도록 속일 수 있습니다.

Counterfit이라고 불리는 Windows 거인의 도구는 GitHub의 MIT 라이센스에 따라 명령 줄로 제어됩니다. 기본적으로 스크립트는 테스트중인 특정 AI 모델에 대해 수천 개의 적대적인 입력을 자동으로 생성하는 프로그램의 상당한 도구 상자를 조사하도록 지시 할 수 있습니다. 모델의 출력이 입력에서 예상 한 것과 다른 경우 이는 성공적인 공격으로 기록됩니다.

예를 들어 모델에 약간 변경된 자동차 사진이 표시되고 보행자라고 예측하는 경우 Counterfit의 승리이며 식별 된 모델의 취약점입니다. 목표는 테스트중인 머신 러닝 시스템의 약점을 밝히는 것입니다.

직접 학습 한 모델 또는 네트워크 에지 장치, 모바일 애플리케이션 또는 학술 프로젝트에서 획득 한 블랙 박스 모델을 테스트 할 수 있습니다. 입력은 감정 분석 시스템과 같은 프로빙 용 텍스트 또는 전사 서비스 용 컴퓨터 비전 앱용 이미지 또는 오디오 일 수 있습니다.

예를 들어 Counterfit의 문서와 코드에는 지도 시간 손으로 쓴 숫자를 식별하도록 학습 된 사전 훈련 된 모델 MNIST 낙서 데이터베이스. 이 튜토리얼은 Counterfit을 설정하여 소위 홉-스킵-점프 기술, 구현 Adversarial Robustness Toolbox에서 숫자 5의 그림을 약간 수정하여 모델이 3이라고 생각하도록합니다.

"이 도구는 Microsoft의 책임감있는 AI 원칙과 책임감있는 AI 엔지니어링 전략 (RAISE) 이니셔티브에 따라 AI 서비스를 사전에 보호하려는 목적으로 Microsoft의 AI 시스템의 취약성을 평가해야하는 우리 자신의 필요에서 탄생했습니다."Redmond의 Will Pearce 및 Ram Shankar Siva Kumar 말했다 블로그 게시물 인치

"Counterfit은 개별 AI 모델을 표적으로하기 위해 특별히 작성된 공격 스크립트 모음으로 시작된 다음 일반 자동화 도구로 변형되어 대규모 AI 시스템을 공격했습니다."

테스트중인 특정 모델을 속이려는 성공적인 시도 기록이 기록되므로 개발자는 입력을 검사하여 소프트웨어를 강화해야하는 위치를 확인하거나 공격자와 침투 테스터가 프로그램을 공격하는 위치와 방법을 식별 할 수 있습니다.

마이크로 소프트는 자사의 AI 레드 팀이 Counterfit을 사용하여 생산중인 기술 대기업의 알고리즘을 조사하고 있으며, 배포 전에 취약점 모델을 자동으로 스캔 할 수 있도록 도구를 조정하는 방법을 찾고 있다고 밝혔다. ®

코인 스마트. 유로파 최고의 비트 코인-보르 스
출처 : https://go.theregister.com/feed/www.theregister.com/2021/05/05/microsoft_ai_security/