에 35mph (56kph) 도로 표지판에 붙어있는 단일 전기 테이프는 Tesla 차량의 자동 조종 장치 소프트웨어가 최대 85mph (136kph)의 속도를 내도록하기에 충분합니다.

취약점은 신고 수요일 수요일 McAfee 보안 연구소 인 McAfee Labs가 McAfee Advanced Threat Research 책임자 인 Steve Povolny와 같은 팀에서 일하는 데이터 과학자 인 Shivangee Trivedi는 2016 년에 구축 된 Tesla의 Model X 및 Model S 차량에 카메라 시스템을 조사했을 때의 공격을 발견했습니다.

두 자동차 모두 MobilEye의 EyeQ3 칩이스라엘에 기반을두고 있으며 Intel 소유의 컴퓨터 비전 회사로서 차량 주변 환경을 조사합니다. 그런 다음 이미지는 기계 학습 알고리즘에 입력으로 공급되어 차선 표시 및 표지판과 같은 것을 감지하여 Tesla의 자동 조종 소프트웨어가 자동으로 차선을 변경하고 속도 제한을 유지할 수 있도록 운전자가 설정 한 경우 속도 제한을 유지할 수 있습니다.

연구원들이 5mph (35kph) 제한 속도를 나타내는 도로 표지판에 길이가 약 56 인치 (85cm) 인 검은 색 전기 테이프를 약간 박았을 때 Model X의 MobilEye 카메라는이 기호를 136mph (XNUMXkph)로 잘못 인식하여 속도를 높이기 시작했습니다. 따라서.

XNUMX 인치 길이의 테이프는 XNUMX 번 위에 놓입니다. 이 유형의 공격은 아래 결과에서 유형 A로 설명됩니다.

아래 데모에서 운전자는 자동 조종 장치를 인수하고 차량이 약 50mph (80kph)에 도달하면 제동을 시작합니다.

YouTube 동영상

이 버그는 하드웨어 팩 3로 설명 된 MobilEye EyeQ1 카메라 시스템을 장착 한 구형 Tesla 차량에만 영향을 미칩니다. 또한 Tesla의 자동 조종 장치 소프트웨어에서 TACC (Traffic Aware Cruise Control)를 지원하는 경우에만 작동합니다. TACC 기능을 사용하면 앞 유리에 장착 된 카메라에서 감지 한 도로 표지판으로 차량 속도를 조작 할 수 있습니다.

“우리는 테스트를 여러 번 반복했지만 차량이 움직이는 동안 오 분류를 얻는 데 100 % 신뢰할 수는 없습니다. 잘못 분류 된 TACC 기능은 잘못된 목표 속도를 설정하는 데 100 % 신뢰할 수 있습니다.”라고 McAfee 대변인은 말했습니다. 등록.

연구원들은 테슬라의 카메라를 다른 방식으로 표지판에 전기 테이프를 배치하여 35mph 도로 표지판을 잘못 분류하려고 속였습니다. 그들은 125 일 동안 다양한 스티커 스타일로 Model X XNUMX 번 테스트를 거쳤습니다.

숫자 XNUMX의 XNUMX 인치 길이 테이프는 "Type A"로 표시됩니다. 결과. 타입 A는 43 번 테스트되었고 카메라는 35mph 표지판을 85mph로 25 번 58 번 XNUMX 번 잘못 인식했습니다. 따라서 시간의 약 XNUMX %가 성공했습니다.

성가신 대적 사례

변경된 도로 표지판은 AI biz에서 적대적인 사례로 간주됩니다. 기계 학습 알고리즘을 지속적으로 속이는 적대적인 예를 만들기 위해 연구원들은 먼저 이미지 분류기를 실험해야했습니다.

먼저, 그들은 여러 가지 적대적인 예를 가지고 이미지 분류기를 공격하여 가장 좋은 예를 찾습니다. 연구원들은 이미지 분류기의 작동 방식을 완전히 이용할 수 있기 때문에이 프로세스는 "화이트 박스"공격이라고합니다. 다음으로“블랙 박스”공격으로 알려진 이미지 인식 알고리즘의 작동 방식에 대한 자세한 지식없이 테슬라의 카메라로 공격을 미세 조정하고 전송했습니다.

“이것의 의미는 가장 간단한 형태로 오픈 소스 시스템이라고도하는 화이트 박스에 대해 훈련되고 실행되는 모델 해킹을 활용하는 공격으로 블랙 박스 또는 완전히 폐쇄 된 독점 시스템으로 성공적으로 전송됩니다. 공격의 특징과 특성은 충분히 비슷합니다.”라고 말했다.

블랙 테이프가 테슬라 자동차를 자동으로 속력에 빠뜨릴 수 있다는 것은 놀라운 일이지만 잠재적 위험은 상당히 제한적일 것입니다. 연구원들은 자동차의 자동 조종 장치 레버를 물리적으로 두 번 두드려 카메라를 속인 후 TACC 기능을 사용해야한다고 연구원들은 말했다. 그는 Reg.

“운전자는 아마도 자동차가 빠르게 가속하고 브레이크를 걸거나 TACC를 비활성화하고 있다는 것을 알고있을 것입니다. 충돌 방지 및 거리 추적과 같은 다른 기능은 충돌 가능성을 완화 할 수 있습니다.

"이 조사는 벤더와 소비자가 알아야 할 문제를 설명하고보다 안전한 제품 개발을 촉진하기 위해 수행되었습니다."

Boffins는 물체 인식 AI 카메라로 감지되지 않기 위해 1980 년대에 나쁘게 유행합니다.

자세히 보기

MobilEye의 EyeQ3 카메라 시스템이 40 천만 대 이상의 차량캐딜락, 닛산, 아우디 및 볼보 차량을 포함합니다.

연구원들은 구형 Tesla Model S 및 X 차량에서만 MobilEye의 카메라와 자동 조종 소프트웨어를 테스트했습니다. 최신 차량에는 MobilEye 카메라가 포함되어 있지 않습니다. 테슬라는 2016 년 이스라엘 비즈와 파트너십을 맺었다.

대적 사례가 실제로 테슬라 자동차를 속이는 것은 이번이 처음이 아닙니다. 작년에 Tencent의 또 다른 연구원 그룹은 자동차가 차선을 가로 질러 강제로 도로에 스티커를 붙여서

McAfee Labs 연구원들은“우리는 2019 년 XNUMX 월 말 MobilEye와 Tesla에게 조사 결과를 공개하고 관심을 표명했으며 연구에 대한 만족도를 표명했지만 현장에 배치 된 모델을 처리 할 계획은 제시하지 않았다”고 밝혔다. . 우리는 코멘트를 위해 Tesla에게 연락했다. ®

후원 : 중소 기업으로 사이버 공격 탐지