Nếu bạn cho rằng vấn đề bảo mật chuỗi cung ứng phần mềm ngày nay đã đủ khó khăn, hãy thắt dây an toàn. Sự tăng trưởng bùng nổ trong việc sử dụng trí tuệ nhân tạo (AI) sắp khiến cho những vấn đề về chuỗi cung ứng đó trở nên khó giải quyết hơn theo cấp số nhân trong những năm tới. 

Các nhà phát triển, chuyên gia bảo mật ứng dụng và chuyên gia DevSecOps được kêu gọi khắc phục các lỗi có nguy cơ cao nhất ẩn giấu trong sự kết hợp vô tận giữa các thành phần nguồn mở và độc quyền được tích hợp vào ứng dụng và cơ sở hạ tầng đám mây của họ. Nhưng đó là một cuộc chiến liên tục để cố gắng hiểu những thành phần nào họ có, những thành phần nào dễ bị tổn thương và những sai sót nào khiến chúng gặp rủi ro cao nhất. Rõ ràng, họ đang gặp khó khăn trong việc quản lý một cách hợp lý những phần phụ thuộc này trong phần mềm của mình.

Điều khó khăn hơn là hiệu ứng cấp số nhân mà AI có thể bổ sung vào tình huống này.

Mô hình AI dưới dạng mã tự thực thi

Các công cụ hỗ trợ AI và máy học (ML) là phần mềm giống như bất kỳ loại ứng dụng nào khác - và mã của chúng có khả năng gặp phải sự mất an toàn của chuỗi cung ứng. Tuy nhiên, họ thêm một biến tài sản khác vào hỗn hợp giúp tăng đáng kể bề mặt tấn công của chuỗi cung ứng phần mềm AI: mô hình AI/ML.

Daryan Dehghanpisheh, đồng sáng lập của Protect AI giải thích: “Điều khác biệt giữa các ứng dụng AI với mọi dạng phần mềm khác là [chúng dựa] theo một cách nào đó hoặc theo kiểu nào đó vào một thứ gọi là mô hình học máy”. “Kết quả là, bản thân mô hình học máy đó giờ đây đã trở thành tài sản trong cơ sở hạ tầng của bạn. Khi bạn có một tài sản trong cơ sở hạ tầng của mình, bạn cần có khả năng quét môi trường của mình, xác định chúng ở đâu, chúng chứa gì, ai có quyền và chúng làm gì. Và nếu bạn không thể làm điều đó với các mô hình ngày nay thì bạn không thể quản lý chúng.”

Các mô hình AI/ML cung cấp nền tảng cho khả năng của hệ thống AI trong việc nhận dạng các mẫu, đưa ra dự đoán, đưa ra quyết định, kích hoạt hành động hoặc tạo nội dung. Nhưng sự thật là hầu hết các tổ chức thậm chí còn không biết cách bắt đầu có được khả năng hiển thị tất cả các mô hình AI được nhúng trong phần mềm của họ. Các mô hình và cơ sở hạ tầng xung quanh chúng được xây dựng khác với các thành phần phần mềm khác, đồng thời công cụ phần mềm và bảo mật truyền thống không được xây dựng để quét hoặc hiểu cách hoạt động của các mô hình AI cũng như lỗi của chúng. Dehghanpisheh cho biết đây là điều khiến chúng trở nên độc đáo và giải thích rằng về cơ bản chúng là những đoạn mã tự thực thi được ẩn giấu.

“Một mô hình, theo thiết kế, là một đoạn mã tự thực thi. Dehghanpisheh nói. “Nếu tôi nói với bạn rằng bạn có tài sản trên khắp cơ sở hạ tầng mà bạn không thể nhìn thấy, không thể xác định, bạn không biết chúng chứa gì, bạn không biết mã là gì và chúng tự thực thi. và có các cuộc gọi bên ngoài, nghe có vẻ giống virus cấp quyền đáng ngờ phải không?”

Người quan sát sớm về sự bất an của AI

Đi trước vấn đề này là động lực lớn thúc đẩy anh và những người đồng sáng lập ra mắt Protect AI vào năm 2022, một trong số nhiều công ty mới đang nỗ lực giải quyết các vấn đề về bảo mật mô hình và dòng dữ liệu đang xuất hiện trong kỷ nguyên AI. Dehghanpisheh và người đồng sáng lập Ian Swanson đã nhìn thấy thoáng qua về tương lai khi trước đây họ cùng nhau xây dựng các giải pháp AI/ML tại AWS. Dehghanpisheh từng là công ty dẫn đầu thế giới về kiến ​​trúc giải pháp AI/ML.

Ông nói: “Trong thời gian làm việc cùng nhau tại AWS, chúng tôi đã thấy khách hàng xây dựng hệ thống AI/ML với tốc độ cực kỳ nhanh chóng, rất lâu trước khi AI có tính tổng hợp chiếm được trái tim và tâm trí của mọi người từ C-Suite đến Quốc hội”. ông đã làm việc với nhiều kỹ sư và chuyên gia phát triển kinh doanh cũng như với nhiều khách hàng. “Đó là khi chúng tôi nhận ra cách thức và vị trí của các lỗ hổng bảo mật dành riêng cho hệ thống AI/ML.”

Ông nói: Họ đã quan sát thấy ba điều cơ bản về AI/ML có ý nghĩa đáng kinh ngạc đối với tương lai của an ninh mạng. Đầu tiên là tốc độ áp dụng nhanh đến mức họ đã tận mắt chứng kiến ​​​​các thực thể CNTT ngầm đang phát triển nhanh chóng như thế nào xung quanh việc phát triển AI và sử dụng trong kinh doanh, thoát khỏi kiểu quản trị sẽ giám sát bất kỳ hình thức phát triển nào khác trong doanh nghiệp.

Thứ hai là phần lớn các công cụ đang được sử dụng - dù là thương mại hay nguồn mở - đều được xây dựng bởi các nhà khoa học dữ liệu và kỹ sư ML mới nổi, những người chưa bao giờ được đào tạo về các khái niệm bảo mật.

Ông nói: “Kết quả là, bạn đã có những công cụ thực sự hữu ích, rất phổ biến, được phân phối rất rộng rãi và được áp dụng rộng rãi mà không được xây dựng với tư duy ưu tiên bảo mật”.

Hệ thống AI không được xây dựng 'Bảo mật là trên hết'

Kết quả là, nhiều hệ thống AI/ML và các công cụ dùng chung thiếu những kiến ​​thức cơ bản về xác thực và ủy quyền, đồng thời thường cấp quá nhiều quyền truy cập đọc và ghi trong hệ thống tệp, ông giải thích. Cùng với các cấu hình mạng không an toàn và sau đó là các vấn đề cố hữu trong mô hình, các tổ chức bắt đầu sa lầy vào các vấn đề bảo mật xếp tầng trong các hệ thống cực kỳ phức tạp và khó hiểu này.

Ông nói: “Điều đó khiến chúng tôi nhận ra rằng các công cụ, quy trình, khuôn khổ bảo mật hiện có — cho dù bạn có thay đổi đến đâu, đều đang thiếu bối cảnh mà các kỹ sư máy học, nhà khoa học dữ liệu và nhà xây dựng AI cần có”.

Cuối cùng, nhận xét quan trọng thứ ba mà anh và Swanson đưa ra trong những ngày sử dụng AWS đó là các vi phạm về AI sẽ không xảy ra. Họ đã đến nơi rồi.

Ông nói: “Chúng tôi nhận thấy khách hàng đã vi phạm nhiều hệ thống AI/ML mà lẽ ra phải phát hiện được nhưng lại không thực hiện được”. “Điều cho chúng tôi biết là bộ và quy trình cũng như các yếu tố quản lý ứng phó sự cố không được xây dựng có mục đích theo cách kiến ​​trúc AI/ML đang được thiết kế. Vấn đề đó đã trở nên tồi tệ hơn nhiều khi AI tạo ra đà phát triển.”

Các mô hình AI được chia sẻ rộng rãi

Dehghanpisheh và Swanson cũng bắt đầu xem các mô hình và dữ liệu đào tạo đang tạo ra một chuỗi cung ứng AI mới độc đáo như thế nào cần được xem xét nghiêm túc như phần còn lại của chuỗi cung ứng phần mềm. Cũng giống như phần còn lại của quá trình phát triển phần mềm hiện đại và đổi mới dựa trên nền tảng đám mây, các nhà khoa học dữ liệu và chuyên gia AI đã thúc đẩy những tiến bộ trong hệ thống AI/ML thông qua việc sử dụng rộng rãi nguồn mở và thành phần chia sẻ - bao gồm các mô hình AI và dữ liệu được sử dụng để đào tạo chúng. Vì vậy, nhiều hệ thống AI, dù mang tính học thuật hay thương mại, đều được xây dựng bằng mô hình của người khác. Và cũng như phần còn lại của quá trình phát triển hiện đại, sự bùng nổ trong phát triển AI tiếp tục thúc đẩy một lượng lớn tài sản mô hình mới tăng lên hàng ngày trong chuỗi cung ứng, điều đó có nghĩa là việc theo dõi chúng ngày càng khó khăn hơn.

Lấy khuôn mặt ôm chẳng hạn. Đây là một trong những kho lưu trữ các mô hình AI nguồn mở trực tuyến được sử dụng rộng rãi nhất hiện nay - những người sáng lập nó cho biết họ muốn trở thành GitHub của AI. Trở lại tháng 2022 năm 93,501, người dùng Ôm Mặt đã chia sẻ 414,695 mô hình khác nhau với cộng đồng. Tháng 527,244 năm sau, con số đó đã lên tới XNUMX mẫu. Bây giờ, chỉ ba tháng sau, con số đó đã tăng lên XNUMX. Đây là một vấn đề có phạm vi ngày càng lớn. Và nó sẽ khiến vấn đề bảo mật chuỗi cung ứng phần mềm trở nên “tăng tốc”, Dehghanpisheh nói.

A phân tích gần đây bởi công ty của ông đã tìm thấy hàng nghìn mô hình được chia sẻ công khai trên Ôm mặt có thể thực thi mã tùy ý khi tải mô hình hoặc suy luận. Mặc dù Hugging Face thực hiện một số thao tác quét cơ bản trong kho lưu trữ của mình để tìm các vấn đề bảo mật, nhưng nhiều mô hình đã bị bỏ sót trong quá trình thực hiện - ít nhất một nửa số mô hình có rủi ro cao được phát hiện trong nghiên cứu không bị nền tảng coi là không an toàn và Hugging Face đã nêu rõ điều đó trong tài liệu rằng việc xác định độ an toàn của một mô hình cuối cùng là trách nhiệm của người sử dụng nó. 

Các bước để giải quyết chuỗi cung ứng AI

Dehghanpisheh tin rằng mấu chốt của an ninh mạng trong kỷ nguyên AI sẽ bắt đầu trước tiên bằng cách tạo ra sự hiểu biết có cấu trúc về dòng AI. Điều đó bao gồm dòng mô hình và dòng dữ liệu, về cơ bản là nguồn gốc và lịch sử của những nội dung này, cách chúng được thay đổi và siêu dữ liệu được liên kết với chúng.

“Đó là nơi đầu tiên để bắt đầu. Bạn không thể sửa chữa những gì bạn không thể nhìn thấy, những gì bạn không thể biết và những gì bạn không thể xác định, phải không? anh ta nói.

Trong khi đó, ở cấp độ hoạt động hàng ngày, Dehghanpisheh tin rằng các tổ chức cần xây dựng khả năng quét mô hình của họ, tìm kiếm các sai sót có thể ảnh hưởng không chỉ đến độ cứng của hệ thống mà còn đến tính toàn vẹn của đầu ra. Điều này bao gồm các vấn đề như sai lệch và trục trặc của AI có thể gây ra tổn hại vật lý trong thế giới thực, chẳng hạn như một chiếc ô tô tự hành đâm vào người đi bộ.

“Điều đầu tiên là bạn cần phải quét,” anh ấy nói. “Điều thứ hai là bạn cần hiểu những bản quét đó. Và điều thứ ba là khi bạn có thứ gì đó được gắn cờ, về cơ bản bạn cần ngăn mô hình đó kích hoạt. Bạn cần phải hạn chế cơ quan của nó.”

Sự thúc đẩy cho MLSecOps

MLSecOps là một phong trào trung lập với nhà cung cấp, phản ánh phong trào DevSecOps trong thế giới phần mềm truyền thống.

“Tương tự như việc chuyển từ DevOps sang DevSecOps, bạn phải làm hai việc cùng một lúc. Điều đầu tiên bạn phải làm là làm cho những người thực hiện nhận thức được rằng an ninh là một thách thức và đó là trách nhiệm chung,” Dehghanpisheh nói. “Điều thứ hai bạn phải làm là cung cấp bối cảnh và đưa tính bảo mật vào các công cụ giúp các nhà khoa học dữ liệu, kỹ sư máy học, [và] nhà xây dựng AI luôn sẵn sàng và liên tục đổi mới, nhưng cho phép các mối lo ngại về bảo mật biến mất trong nền .”

Ngoài ra, ông cho biết các tổ chức sẽ phải bắt đầu bổ sung các chính sách quản trị, rủi ro và tuân thủ cũng như khả năng thực thi cũng như quy trình ứng phó sự cố nhằm giúp quản lý các hành động và quy trình diễn ra khi phát hiện ra những điểm bất an. Giống như một hệ sinh thái DevSecOps vững chắc, điều này có nghĩa là MLSecOps sẽ cần sự tham gia mạnh mẽ từ các bên liên quan trong kinh doanh cho đến bậc điều hành.

Tin tốt là bảo mật AI/ML đang được hưởng lợi từ một điều mà chưa có sự đổi mới công nghệ nhanh chóng nào khác có được ngay lập tức - cụ thể là các quy định bắt buộc ngay từ đầu. 

Dehghanpisheh nói: “Hãy nghĩ về bất kỳ sự chuyển đổi công nghệ nào khác. “Hãy kể tên một lần mà cơ quan quản lý liên bang hoặc thậm chí cơ quan quản lý tiểu bang đã sớm nói điều này, 'Ồ, ồ, ồ, bạn phải nói cho tôi biết mọi thứ có trong đó. Bạn phải ưu tiên kiến ​​thức về hệ thống đó. Bạn phải ưu tiên hóa đơn nguyên vật liệu. Không có đâu.”

Điều này có nghĩa là nhiều nhà lãnh đạo bảo mật có nhiều khả năng tham gia xây dựng khả năng bảo mật AI sớm hơn rất nhiều trong vòng đời đổi mới. Một trong những dấu hiệu rõ ràng nhất của sự hỗ trợ này là sự chuyển dịch nhanh chóng sang tài trợ cho các chức năng công việc mới tại các tổ chức.

“Sự khác biệt lớn nhất mà tâm lý quản lý đã mang lại là vào tháng 2023 năm XNUMX, khái niệm giám đốc an ninh AI còn mới lạ và chưa tồn tại. Nhưng đến tháng XNUMX, bạn bắt đầu thấy những vai diễn đó,” Dehghanpisheh nói. “Bây giờ họ có mặt ở khắp mọi nơi - và họ được tài trợ.”

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight