나중에 실제로 신경망을 가르치고 있는 것을 확인하고 싶을 수 있습니다.
독일의 Boffins는 신경망 프레임워크를 파괴하는 기술을 고안하여 변조의 흔적 없이 이미지를 잘못 식별합니다.
TU Braunschweig의 컴퓨터 과학자인 Erwin Quiring, David Klein, Daniel Arp, Martin Johns 및 Konrad Rieck는 기술 회의에서 발표할 예정인 한 쌍의 논문에서 그들의 공격을 설명합니다. 5 월 과 8 월 올해 – COVID-19 글로벌 보건 위기를 고려할 때 일어날 수도 있고 일어나지 않을 수도 있는 사건들.
"Adversarial Preprocessing: Understanding and Preventing Image-Scaling Attacks in Machine Learning"이라는 제목의 논문[PDF] 및 "이미지 스케일링 공격으로 신경망 백도어링 및 감염 [PDF],” 기계 학습과 관련된 전처리 단계가 어떻게 쉽게 감지되지 않는 방식으로 신경망 훈련을 만지작거릴 수 있는 기회를 제공하는지 살펴봅니다. 아이디어는 다음과 같습니다. 소프트웨어가 나중에 잘못된 결정과 예측을 하도록 교육 데이터를 비밀리에 독살합니다.
학계에서 제공한 고양이의 이 예시 이미지는 훈련을 위해 AI 프레임워크에 의해 축소될 때 개로 변하여 훈련 데이터 세트가 흐려지도록 수정되었습니다.
신경망이 부정확한 결과를 반환하도록 조작될 수 있음을 입증한 수많은 연구 프로젝트가 있었지만 연구원들은 그러한 개입이 감사를 통해 교육 또는 테스트 시간에 발견될 수 있다고 말합니다.
Quiring과 Rieck은 백도어링 백서에서 "우리의 연구 결과는 공격자가 전체 공격 성공률에 영향을 주지 않으면서 현재 백도어 공격과 클린 라벨 공격의 이미지 조작을 상당히 숨길 수 있음을 보여줍니다."라고 설명했습니다. "게다가 우리는 이미지 스케일링 공격을 감지하도록 설계된 방어가 포이즈닝 시나리오에서 실패한다는 것을 보여줍니다."
그들의 핵심 통찰력은 이미지 크기 조정을 위해 AI 프레임워크에서 사용하는 알고리즘(데이터 세트의 이미지 크기를 조정하여 모두 동일한 치수를 갖도록 하는 일반적인 전처리 단계)이 모든 픽셀을 동일하게 취급하지 않는다는 것입니다. 대신 Caffe의 OpenCV, TensorFlow의 tf.image 및 PyTorch의 Pillow의 이미징 라이브러리에 있는 이러한 알고리즘은 특히 픽셀의 XNUMX/XNUMX만 스케일링을 계산합니다.
"소스 픽셀의 이러한 불균형한 영향은 이미지 스케일링 공격을 위한 완벽한 근거를 제공합니다."라고 학자들은 설명했습니다. "적은 스케일링을 제어하기 위해 가중치가 높은 픽셀만 수정하면 되고 나머지 이미지는 그대로 둘 수 있습니다."
그들에 설명 웹사이트, 지식인들은 TensorFlow의 가장 가까운 크기 조정 알고리즘이 개를 출력하도록 하기 위해 눈에 보이는 변경 징후 없이 고양이의 소스 이미지를 어떻게 수정할 수 있었는지 보여줍니다.
기계 학습 시스템을 훈련하는 동안 이러한 종류의 중독 공격은 예기치 않은 출력과 잘못된 분류자 레이블을 초래할 수 있습니다. 적대적인 예 연구자들은 비슷한 효과를 낼 수 있지만 하나의 기계 학습 모델에 대해 작동한다고 말합니다.
이미지 스케일링 공격은 "모델 독립적이며 학습 모델, 기능 또는 훈련 데이터에 대한 지식에 의존하지 않는다"고 연구원들은 설명했습니다. "축소를 통해 대상 클래스의 완벽한 이미지를 생성할 수 있으므로 신경망이 적대적 사례에 대해 강력하더라도 공격은 효과적입니다."
이 공격은 사람을 다른 사람으로 식별할 수 있다는 점에서 안면 인식 시스템에 영향을 미칩니다. 또한 자율주행차의 신경망이 임의의 물체를 정지 신호와 같은 다른 것으로 보도록 만들 수 있도록 기계 학습 분류기와 간섭하는 데 사용할 수 있습니다.
그러한 공격의 위험을 완화하기 위해 많은 스케일링 라이브러리에 구현된 영역 스케일링 기능이 Pillow의 스케일링 알고리즘과 마찬가지로 도움이 될 수 있다고 보핀은 말합니다(Pillow의 가장 가까운 스케일링 체계가 아닌 한). 또한 이미지 재구성과 관련된 방어 기술에 대해서도 논의합니다.
연구원들은 1년 2020월 XNUMX일에 코드와 데이터 세트를 게시할 계획입니다. 그들은 그들의 작업이 이미지 스케일링 공격에 대한 보다 강력한 방어의 필요성을 보여주고 오디오 및 비디오와 같이 스케일링되는 다른 유형의 데이터가 취약할 수 있음을 관찰한다고 말했습니다. 기계 학습의 맥락에서 유사한 조작에. ®
