오늘날 소프트웨어 공급망 보안 문제가 충분히 어렵다고 생각했다면 안전 벨트를 매십시오. 인공지능(AI) 사용이 폭발적으로 증가하면서 이러한 공급망 문제를 해결하기가 앞으로 기하급수적으로 어려워질 것입니다. 

개발자, 애플리케이션 보안 전문가, DevSecOps 전문가는 애플리케이션과 클라우드 인프라에 짜여진 오픈 소스와 독점 구성 요소의 끝없는 조합처럼 보이는 가장 위험한 결함을 수정하라는 요청을 받았습니다. 그러나 어떤 구성 요소가 있는지, 어떤 구성 요소가 취약한지, 어떤 결함으로 인해 가장 위험에 처해 있는지 이해하려는 노력은 끊임없는 싸움입니다. 분명히 그들은 이미 소프트웨어의 이러한 종속성을 있는 그대로 관리하는 데 어려움을 겪고 있습니다.

더욱 어려워지는 것은 AI가 상황에 추가하는 승수 효과입니다.

자체 실행 코드로서의 AI 모델

AI 및 머신러닝(ML) 지원 도구는 다른 종류의 애플리케이션과 동일한 소프트웨어이며 해당 코드도 공급망 불안정으로 인해 어려움을 겪을 가능성이 높습니다. 그러나 그들은 AI 소프트웨어 공급망의 공격 표면을 크게 증가시키는 또 다른 자산 변수인 AI/ML 모델을 혼합에 추가합니다.

Protect AI의 공동 창립자인 Daryan Dehghanpisheh는 “AI 애플리케이션이 다른 모든 형태의 소프트웨어와 다른 점은 어떤 방식으로든 머신 러닝 모델이라는 것에 의존한다는 것입니다.”라고 설명합니다. “결과적으로 머신러닝 모델 자체가 이제 인프라의 자산이 되었습니다. 인프라에 자산이 있는 경우 환경을 스캔하고 해당 자산의 위치, 포함된 내용, 권한이 있는 사람 및 수행하는 작업을 식별할 수 있는 기능이 필요합니다. 그리고 현재 모델로 그렇게 할 수 없다면 모델을 관리할 수도 없습니다.”

AI/ML 모델은 패턴을 인식하고, 예측하고, 결정을 내리고, 작업을 트리거하고, 콘텐츠를 생성하는 AI 시스템 기능의 기반을 제공합니다. 그러나 사실 대부분의 조직은 소프트웨어에 내장된 모든 AI 모델에 대한 가시성을 확보하는 방법조차 모르고 있습니다. 모델과 그 주변의 인프라는 다른 소프트웨어 구성 요소와 다르게 구축되었으며, 기존 보안 및 소프트웨어 도구는 AI 모델의 작동 방식이나 결함을 검색하거나 이해하도록 구축되지 않았습니다. Dehghanpisheh는 이것이 본질적으로 숨겨진 자체 실행 코드 조각이라고 설명하면서 이를 독특하게 만든다고 말합니다.

“모델은 설계상 자체 실행되는 코드 조각입니다. 어느 정도의 선택 의지가 있습니다.”라고 Dehghanpisheh는 말합니다. “인프라 전체에 볼 수 없고, 식별할 수 없고, 그 안에 무엇이 포함되어 있는지, 코드가 무엇인지 모르고, 자체 실행되는 자산이 있다고 말하면 그리고 외부에서 전화를 걸다니, 허가 바이러스처럼 의심스럽죠?”

AI 불안의 초기 관찰자

이 문제를 앞서가는 것이 그와 그의 공동 창업자들이 2022년에 Protect AI를 출시하게 된 큰 원동력이었습니다. 이는 AI 시대에 다가오는 모델 보안 및 데이터 계보 문제를 해결하기 위해 등장하는 수많은 새로운 회사 중 하나입니다. Dehghanpisheh와 공동 창립자인 Ian Swanson은 이전에 AWS에서 AI/ML 솔루션을 구축하면서 함께 일하면서 미래를 엿볼 수 있었습니다. Dehghanpisheh는 AI/ML 솔루션 설계자의 글로벌 리더였습니다.

"우리가 AWS에서 함께 지내는 동안 생성적 AI가 최고 경영진부터 의회에 이르기까지 모든 사람의 마음과 정신을 사로잡기 훨씬 전에 고객들이 믿을 수 없을 만큼 빠른 속도로 AI/ML 시스템을 구축하는 것을 보았습니다."라고 그는 설명합니다. 그는 다양한 엔지니어 및 비즈니스 개발 전문가뿐만 아니라 고객과도 광범위하게 협력했습니다. "그때 우리는 AI/ML 시스템 고유의 보안 취약점이 어떻게, 어디에 있는지 깨달았습니다."

그들은 사이버 보안의 미래에 놀라운 영향을 미치는 AI/ML에 대한 세 가지 기본 사항을 관찰했다고 그는 말했습니다. 첫 번째는 채택 속도가 너무 빨라 기업의 다른 모든 개발을 감독하는 종류의 거버넌스에서 벗어나 AI 개발 및 비즈니스 사용을 중심으로 섀도우 IT 엔터티가 얼마나 빨리 생겨나는지를 직접 목격했다는 것입니다.

두 번째는 상업용이든 오픈 소스이든 사용되는 도구의 대부분이 보안 개념에 대한 교육을 받은 적이 없는 데이터 과학자와 유망한 ML 엔지니어가 구축했다는 것입니다.

“그 결과 보안 우선 사고방식을 바탕으로 구축되지 않은 정말 유용하고 인기가 많으며 널리 분산되어 널리 채택되는 도구를 갖게 되었습니다.”라고 그는 말합니다.

AI 시스템은 '보안 우선'으로 구축되지 않았습니다

결과적으로 많은 AI/ML 시스템과 공유 도구에는 인증 및 권한 부여에 대한 기본 사항이 부족하고 파일 시스템에 너무 많은 읽기 및 쓰기 액세스 권한을 부여하는 경우가 많다고 그는 설명합니다. 안전하지 않은 네트워크 구성과 모델의 고유한 문제가 결합되어 조직은 매우 복잡하고 이해하기 어려운 시스템에서 연쇄적인 보안 문제에 얽매이기 시작합니다.

"이로 인해 우리는 기존 보안 도구, 프로세스, 프레임워크가 아무리 변화를 가져오더라도 기계 학습 엔지니어, 데이터 과학자, AI 빌더에게 필요한 컨텍스트가 누락되어 있다는 사실을 깨닫게 되었습니다."라고 그는 말합니다.

마지막으로, 그와 Swanson이 AWS 시절에 관찰한 세 번째 주요 관찰은 AI 침해가 발생하지 않는다는 것입니다. 그들은 이미 도착했습니다.

"우리는 고객이 포착했어야 했지만 포착되지 않은 다양한 AI/ML 시스템에 대한 침해를 목격했습니다."라고 그는 말합니다. “그것이 우리에게 말해주는 것은 사고 대응 관리 요소뿐만 아니라 세트와 프로세스도 AI/ML이 설계되는 방식에 맞춰 특별히 구축되지 않았다는 것입니다. 생성 AI가 추진력을 얻으면서 이러한 문제는 더욱 악화되었습니다.”

AI 모델은 널리 공유됩니다

Dehghanpisheh와 Swanson은 또한 모델과 교육 데이터가 소프트웨어 공급망의 나머지 부분만큼 심각하게 고려해야 할 고유하고 새로운 AI 공급망을 어떻게 생성하는지 알아보기 시작했습니다. 나머지 최신 소프트웨어 개발 및 클라우드 네이티브 혁신과 마찬가지로, 데이터 과학자와 AI 전문가는 AI 모델과 이를 훈련하는 데 사용되는 데이터를 포함한 오픈 소스 및 공유 구성 요소의 만연한 사용을 통해 AI/ML 시스템의 발전을 촉진했습니다. 학문적이든 ​​상업적이든 수많은 AI 시스템이 다른 사람의 모델을 사용하여 구축되었습니다. 나머지 현대 개발과 마찬가지로 AI 개발의 폭발적인 증가로 인해 공급망 전반에 걸쳐 새로운 모델 자산이 매일 엄청나게 유입되고 있으며, 이는 이를 추적하는 것이 점점 더 어려워지고 있음을 의미합니다.

예를 들어 포옹 얼굴을 생각해 보세요. 이것은 오늘날 온라인에서 가장 널리 사용되는 오픈 소스 AI 모델 저장소 중 하나입니다. 창립자들은 AI의 GitHub가 되고 싶다고 말합니다. 2022년 93,501월에 Hugging Face 사용자는 414,695개의 다양한 모델을 커뮤니티와 공유했습니다. 다음 527,244월에는 모델 수가 XNUMX개까지 늘어났습니다. 이제 불과 XNUMX개월 만에 그 숫자는 XNUMX명으로 늘어났습니다. 이는 날이 갈수록 그 범위가 눈덩이처럼 불어나는 문제입니다. 그리고 Dehghanpisheh는 소프트웨어 공급망 보안 문제를 "스테로이드화"할 것이라고 말했습니다.

A 최근 분석 그의 회사는 Hugging Face에서 공개적으로 공유되는 수천 개의 모델이 모델 로드 또는 추론 시 임의의 코드를 실행할 수 있다는 사실을 발견했습니다. Hugging Face는 보안 문제에 대해 저장소의 몇 가지 기본 스캔을 수행하는 동안 많은 모델이 누락되었습니다. 연구에서 발견된 위험도가 높은 모델 중 최소 절반은 플랫폼에서 안전하지 않은 것으로 간주되었으며 Hugging Face는 문서에서 이를 명확하게 설명합니다. 모델의 안전성을 결정하는 것은 궁극적으로 사용자의 책임입니다. 

AI 공급망을 해결하기 위한 단계

Dehghanpisheh는 AI 시대 사이버 보안의 핵심은 AI 계보에 대한 구조화된 이해를 구축하는 것부터 시작될 것이라고 믿습니다. 여기에는 기본적으로 이러한 자산의 출처와 내역, 자산이 변경된 방식, 이와 관련된 메타데이터인 모델 계보와 데이터 계보가 포함됩니다.

“그게 첫 번째 시작점이에요. 볼 수 없는 것, 알 수 없는 것, 정의할 수 없는 것은 고칠 수 없겠죠?” 그는 말한다.

한편 Dehghanpisheh는 일일 운영 수준에서 조직이 모델을 스캔하여 시스템 강화뿐만 아니라 출력의 무결성에 영향을 미칠 수 있는 결함을 찾는 기능을 구축해야 한다고 믿습니다. 여기에는 자율주행차가 보행자와 충돌하는 등 실제 물리적 피해를 초래할 수 있는 AI 편견 및 오작동과 같은 문제가 포함됩니다.

“먼저 스캔해야 한다는 것입니다.”라고 그는 말합니다. “두 번째는 해당 스캔을 이해해야 한다는 것입니다. 세 번째는 플래그가 지정된 항목이 있으면 기본적으로 해당 모델의 활성화를 중지해야 한다는 것입니다. 소속사를 제한해야 합니다.”

MLSecOps를 위한 추진

MLSecOps는 기존 소프트웨어 세계의 DevSecOps 움직임을 반영하는 공급업체 중립적 움직임입니다.

“DevOps에서 DevSecOps로 전환하는 것과 유사하게 두 가지 작업을 동시에 수행해야 합니다. 가장 먼저 해야 할 일은 실무자들에게 보안은 하나의 과제이며 공동 책임이라는 점을 인식하게 하는 것입니다.”라고 Dehghanpisheh는 말합니다. “두 번째로 해야 할 일은 데이터 과학자, 머신러닝 엔지니어, [및] AI 빌더가 최첨단 상태를 유지하고 지속적으로 혁신할 수 있도록 하는 도구에 컨텍스트를 제공하고 보안을 추가하는 것입니다. .”

또한 그는 조직이 불안정성이 발견될 때 발생하는 조치와 프로세스를 관리하는 데 도움이 되는 거버넌스, 위험, 규정 준수 정책과 시행 기능, 사고 대응 절차를 추가하기 시작해야 한다고 말했습니다. 견고한 DevSecOps 생태계와 마찬가지로 이는 MLSecOps가 경영진에 이르기까지 비즈니스 이해관계자의 강력한 참여가 필요하다는 것을 의미합니다.

좋은 소식은 AI/ML 보안이 다른 어떤 빠른 기술 혁신도 즉시 얻을 수 없었던 것, 즉 바로 규제 의무로부터 혜택을 받고 있다는 것입니다. 

Dehghanpisheh는 "다른 기술 전환에 대해 생각해 보세요."라고 말합니다. “연방 규제 기관이나 심지어 주 규제 기관이 초기에 '워, 워, 워, 그 안에 있는 모든 것을 나에게 말해야 합니다. 해당 시스템에 대한 지식을 우선시해야 합니다. BOM의 우선순위를 정해야 합니다. 아무것도 없습니다.”

이는 많은 보안 리더가 혁신 라이프사이클의 훨씬 더 초기에 AI 보안 기능을 구축하기 위해 동의할 가능성이 더 높다는 것을 의미합니다. 이러한 지원의 가장 분명한 징후 중 하나는 조직의 새로운 직무 기능을 후원하는 급속한 변화입니다.

“규제 사고방식이 가져온 가장 큰 차이점은 2023년 XNUMX월 AI 보안 책임자라는 개념이 참신하고 존재하지 않았다는 점입니다. 하지만 XNUMX월이 되자 그러한 역할이 보이기 시작했습니다.”라고 Dehghanpisheh는 말합니다. "이제 그들은 어디에나 있고 자금도 지원됩니다."

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight