방에 있는 인간 의사에게 물어보는 것이 좋습니다.
심전도를 분석하는 신경망은 쉽게 속아 정상적인 심장 박동을 불규칙한 것으로 오인하거나 그 반대가 될 수 있다고 네이처 메디신(Nature Medicine)에 발표된 논문에서 연구원들이 경고했습니다.
ECG 센서는 스마트워치와 같은 웨어러블 장치에 내장되어 더욱 널리 보급되고 있으며 기계 학습 소프트웨어는 데이터를 자동으로 모니터링하고 처리하여 사용자에게 자신의 심장 박동에 대해 알려주기 위해 점점 더 많이 개발되고 있습니다. 미국 식품의약국(FDA)은 23년에만 의료용으로 2018개의 알고리즘을 승인했습니다.
그러나 이 기술은 완벽하지 않습니다. 모든 딥 러닝 모델과 마찬가지로 ECG 모델도 적대적 공격에 취약합니다. 범죄자는 알고리즘이 노이즈로 데이터를 조작하여 데이터를 잘못 분류하도록 할 수 있습니다.
뉴욕 대학교가 이끄는 연구원 그룹은 CNN(심층 합성곱 신경망)을 변조하여 이를 시연했습니다. 먼저, 그들은 정상, 심방 세동(가장 일반적인 유형의 불규칙한 심장 박동), 기타 또는 잡음의 네 가지 그룹으로 분류된 8,528개의 ECG 기록이 포함된 데이터 세트를 얻었습니다.
대부분의 데이터 세트에서 약 5,076개의 샘플은 정상으로 간주되었고, 758개는 심방세동 범주에 속했고, 2,415개는 기타로, 279개는 노이즈로 분류되었습니다. 연구원들은 데이터 세트를 분할하고 그 중 90%를 CNN 훈련에 사용하고 나머지 10%를 시스템 테스트에 사용했습니다.
"딥 러닝 분류기는 원시 데이터에서 생성되어 잘못된 클래스에 예를 할당하도록 분류기를 속이기 위해 생성되지만 인간의 눈으로는 감지할 수 없는 적대적 예에 취약합니다." 설명 종이에 (여기 무료 프리프린트 버전 arXiv의 논문에서.)
이러한 적대적인 예를 만들기 위해 연구원들은 테스트 세트에 사용된 샘플에 소량의 노이즈를 추가했습니다. ECG 판독의 균일한 최고점과 최저점은 인간의 눈에는 무해하고 정상으로 보일 수 있지만 약간의 간섭을 추가하는 것만으로도 CNN이 이를 심방세동(심계항진과 관련된 불규칙한 심장박동 및 뇌졸중 위험 증가)으로 분류하도록 속이기에 충분했습니다.
다음은 두 가지 적대적인 예입니다. 첫 번째는 불규칙한 심방세동(AF) 판독값이 정상으로 잘못 분류되는 방식을 보여줍니다. 두 번째는 불규칙한 것으로 오분류된 정상 판독값입니다. 이미지 크레디트: Tian et al. 및 자연 의학.
연구자들이 적대적인 예를 CNN에 제공했을 때 원래 올바르게 분류된 판독값의 74%가 나중에 잘못되었습니다. 즉, 모델은 판독값을 잘못된 레이블에 할당하여 판독값의 74%를 잘못 인식했습니다. 원래는 정상적인 판독값이 나중에는 불규칙해 보였고 그 반대도 마찬가지였습니다.
우리 기계 대군주들은 믿을 수 없어
운 좋게도 인간은 속이기 훨씬 더 어렵습니다. 두 명의 임상의에게 교란되지 않은 원본 샘플과 그에 상응하는 적대적 예의 쌍으로 판독값을 제공하고 둘 중 하나가 다른 클래스에 속하는 것처럼 보이는지 물었습니다. 그들은 판독값의 1.4%만 다르게 표시해야 한다고 생각했습니다.
원래 샘플과 적대적 샘플의 심장박동 패턴은 인간의 눈과 비슷해 보였으므로 정상적인 심장박동이 불규칙한 것으로 잘못 분류되었는지 여부를 쉽게 알 수 있습니다. 사실, 두 전문가 모두 시간의 약 62%에서 원래 판독값과 적대적 판독값을 구분할 수 있었습니다.
논문은 "적대적 사례를 만드는 능력은 심박조율기, 제세동기 등 ECG 해석에 의존하는 의료기기의 환경 소음에 대한 견고성, 보험 청구를 변경하기 위한 데이터 왜곡, 임상시험에 의도적인 편향 도입 등 미래에 영향을 미치는 중요한 문제"라고 말했다.
그러나 이러한 적의 공격이 실제로 현실 세계에서 얼마나 현실적인지는 확실하지 않습니다. 이 실험에서 연구원들은 공격하기 쉬운 모델에 대한 전체 액세스 권한을 가졌지만 이러한 유형의 공격이 예를 들어 누군가의 Apple Watch에 작동하는 것은 훨씬 더 어렵습니다.
등록 논평을 위해 연구원들에게 연락했습니다. 그러나 연구에서 입증된 것은 기계에만 의존하는 것은 신뢰할 수 없으며 전문가는 임상 환경에서 신경망을 사용할 때 결과를 실제로 다시 확인해야 한다는 것입니다.
"결론적으로, 이 작업을 통해 우리는 심전도 분석을 위한 딥 러닝의 유용성에 그림자를 드리우지 않을 것입니다. 이는 의심할 여지없이 가까운 미래에 처리가 필요한 대량의 생리 신호를 처리하는 데 유용할 것입니다."라고 연구원들은 썼습니다.
"대신 이 작업은 훈련 데이터 큐레이션 및 성능에 대한 입증 가능한 보증에 특히 중점을 두고 안전과 신뢰성을 염두에 두고 설계되어야 한다는 사실을 추가로 상기시키는 역할을 해야 합니다." ®
후원 : 스토리지 중독을 종료
출처: https://go.theregister.co.uk/feed/www.theregister.co.uk/2020/03/10/ai_models_electrocardiogram/
