Se pensavate che il problema della sicurezza della catena di fornitura del software fosse già abbastanza difficile oggi, allacciate le cinture. La crescita esplosiva dell’uso dell’intelligenza artificiale (AI) sta per rendere esponenzialmente più difficile affrontare questi problemi della catena di approvvigionamento negli anni a venire. 

Sviluppatori, professionisti della sicurezza delle applicazioni e professionisti DevSecOps sono chiamati a correggere i difetti a rischio più elevato che si nascondono in quelle che sembrano le infinite combinazioni di componenti open source e proprietari che sono intrecciati nelle loro applicazioni e nell'infrastruttura cloud. Ma è una battaglia costante cercare di capire anche quali componenti hanno, quali sono vulnerabili e quali difetti li mettono maggiormente a rischio. Chiaramente, stanno già lottando per gestire in modo sensato queste dipendenze nel loro software così com'è.

Ciò che diventerà più difficile è l’effetto moltiplicatore che l’intelligenza artificiale aggiungerà alla situazione.

Modelli di intelligenza artificiale come codice autoeseguibile

Gli strumenti abilitati all’intelligenza artificiale e al machine learning (ML) sono software esattamente come qualsiasi altro tipo di applicazione e il loro codice ha la stessa probabilità di soffrire di insicurezze nella catena di fornitura. Tuttavia, aggiungono al mix un’altra variabile patrimoniale che aumenta notevolmente la superficie di attacco della catena di fornitura del software AI: i modelli AI/ML.

"Ciò che distingue le applicazioni di intelligenza artificiale da ogni altra forma di software è che [si basano] in qualche modo su una cosa chiamata modello di apprendimento automatico", spiega Daryan Dehghanpisheh, co-fondatore di Protect AI. “Di conseguenza, lo stesso modello di machine learning è ora una risorsa nella tua infrastruttura. Quando hai una risorsa nella tua infrastruttura, hai bisogno della possibilità di scansionare il tuo ambiente, identificare dove si trovano, cosa contengono, chi dispone delle autorizzazioni e cosa fa. E se oggi non puoi farlo con i modelli, non puoi gestirli”.

I modelli AI/ML forniscono le basi per la capacità di un sistema AI di riconoscere modelli, fare previsioni, prendere decisioni, attivare azioni o creare contenuti. Ma la verità è che la maggior parte delle organizzazioni non sa nemmeno come iniziare a ottenere visibilità su tutti i modelli di intelligenza artificiale incorporati nel proprio software. I modelli e l'infrastruttura che li circonda sono costruiti in modo diverso rispetto ad altri componenti software e gli strumenti software e di sicurezza tradizionali non sono progettati per scansionare o comprendere come funzionano i modelli di intelligenza artificiale o come sono difettosi. Questo è ciò che li rende unici, dice Dehghanpisheh, che spiega che sono essenzialmente pezzi nascosti di codice autoeseguibile.

“Un modello, in base alla progettazione, è un pezzo di codice autoeseguibile. Ha una certa capacità di azione”, afferma Dehghanpisheh. "Se ti dicessi che in tutta la tua infrastruttura ci sono risorse che non puoi vedere, non puoi identificare, non sai cosa contengono, non sai qual è il codice e si autoeseguono e ricevere chiamate esterne, suona sospettosamente come un virus dei permessi, non è vero?"

Un primo osservatore delle insicurezze dell’IA

Anticipare questo problema è stato il grande impulso che ha spinto lui e i suoi cofondatori a lanciare Protect AI nel 2022, una delle tante nuove aziende che stanno emergendo per affrontare i problemi di sicurezza dei modelli e di derivazione dei dati che incombono nell’era dell’intelligenza artificiale. Dehghanpisheh e il cofondatore Ian Swanson hanno intravisto uno scorcio di futuro quando hanno lavorato insieme in precedenza per creare soluzioni AI/ML presso AWS. Dehghanpisheh era stato il leader globale per gli architetti di soluzioni AI/ML.

"Durante il tempo che abbiamo trascorso insieme in AWS, abbiamo visto clienti costruire sistemi AI/ML a un ritmo incredibilmente rapido, molto prima che l'intelligenza artificiale generativa catturasse i cuori e le menti di tutti, dai dirigenti al Congresso", afferma, spiegando che ha lavorato con una serie di ingegneri ed esperti di sviluppo aziendale, nonché a lungo con i clienti. "È stato allora che abbiamo capito come e dove si trovano le vulnerabilità di sicurezza specifiche dei sistemi AI/ML."

Hanno osservato tre aspetti fondamentali dell’IA/ML che hanno implicazioni incredibili per il futuro della sicurezza informatica, afferma. Il primo è che il ritmo di adozione è stato così rapido che hanno visto in prima persona la rapidità con cui stavano emergendo entità IT ombra intorno allo sviluppo dell’intelligenza artificiale e all’uso aziendale che sfuggivano al tipo di governance che avrebbe supervisionato qualsiasi altro tipo di sviluppo nell’azienda.

Il secondo era che la maggior parte degli strumenti utilizzati, siano essi commerciali o open source, erano realizzati da data scientist e ingegneri ML emergenti che non avevano mai ricevuto una formazione sui concetti di sicurezza.

"Di conseguenza, si disponevano di strumenti davvero utili, molto popolari, molto distribuiti e ampiamente adottati che non erano stati realizzati con una mentalità incentrata sulla sicurezza", afferma.

I sistemi di intelligenza artificiale non sono costruiti “incentrati sulla sicurezza”

Di conseguenza, molti sistemi AI/ML e strumenti condivisi non dispongono delle basi per l’autenticazione e l’autorizzazione e spesso concedono troppo accesso in lettura e scrittura nei file system, spiega. Oltre alle configurazioni di rete non sicure e ai problemi inerenti ai modelli, le organizzazioni iniziano a impantanarsi in problemi di sicurezza a cascata in questi sistemi altamente complessi e difficili da comprendere.

"Ciò ci ha fatto capire che gli strumenti, i processi e i framework di sicurezza esistenti, indipendentemente dal cambiamento a cui si è andati incontro, mancavano del contesto di cui avrebbero avuto bisogno ingegneri di machine learning, data scientist e costruttori di intelligenza artificiale", afferma.

Infine, la terza osservazione importante che lui e Swanson hanno fatto durante quei giorni in AWS è stata che le violazioni dell'IA non sarebbero arrivate. Erano già arrivati.

"Abbiamo riscontrato che i clienti hanno subito violazioni su una varietà di sistemi AI/ML che avrebbero dovuto essere rilevati ma non lo sono stati", afferma. “Ciò che ci ha detto è che il set e i processi, così come gli elementi di gestione della risposta agli incidenti, non erano costruiti appositamente per il modo in cui l’AI/ML veniva architettata. Questo problema è peggiorato molto man mano che l’intelligenza artificiale generativa ha preso slancio”.

I modelli di intelligenza artificiale sono ampiamente condivisi

Dehghanpisheh e Swanson hanno anche iniziato a vedere come i modelli e i dati di addestramento stavano creando una nuova catena di fornitura di intelligenza artificiale unica che avrebbe dovuto essere considerata con la stessa serietà del resto della catena di fornitura del software. Proprio come con il resto dello sviluppo di software moderno e dell’innovazione cloud-native, i data scientist e gli esperti di intelligenza artificiale hanno alimentato i progressi nei sistemi AI/ML attraverso l’uso dilagante di componenti open source e condivisi, inclusi i modelli di intelligenza artificiale e i dati utilizzati per addestrarli. Tanti sistemi di intelligenza artificiale, siano essi accademici o commerciali, sono costruiti utilizzando il modello di qualcun altro. E come per il resto dello sviluppo moderno, l’esplosione dello sviluppo dell’intelligenza artificiale continua a guidare un enorme afflusso quotidiano di nuovi asset modello proliferati lungo tutta la catena di approvvigionamento, il che significa che tenerne traccia diventa sempre più difficile.

Prendi Hugging Face, per esempio. Questo è uno dei repository di modelli di intelligenza artificiale open source più utilizzati online oggi: i suoi fondatori affermano di voler essere il GitHub dell'intelligenza artificiale. Nel novembre 2022, gli utenti di Hugging Face avevano condiviso 93,501 modelli diversi con la community. Nel novembre successivo il numero era salito a 414,695 modelli. Ora, appena tre mesi dopo, quel numero è salito a 527,244. Si tratta di una questione la cui portata cresce di giorno in giorno. E questo metterà il problema della sicurezza della catena di fornitura del software “sotto steroidi”, dice Dehghanpisheh.

A recente analisi dalla sua azienda ha scoperto che migliaia di modelli condivisi apertamente su Hugging Face possono eseguire codice arbitrario sul caricamento o sull'inferenza del modello. Mentre Hugging Face esegue alcune scansioni di base del suo repository per problemi di sicurezza, molti modelli vengono persi lungo il percorso: almeno la metà dei modelli ad alto rischio scoperti nella ricerca non sono stati ritenuti non sicuri dalla piattaforma, e Hugging Face lo chiarisce nella documentazione che determinare la sicurezza di un modello è, in ultima analisi, responsabilità dei suoi utenti. 

Passi per affrontare la catena di fornitura dell’intelligenza artificiale

Dehghanpisheh ritiene che il fulcro della sicurezza informatica nell’era dell’intelligenza artificiale inizierà innanzitutto con la creazione di una comprensione strutturata della discendenza dell’intelligenza artificiale. Ciò include la derivazione del modello e la derivazione dei dati, che rappresentano essenzialmente l'origine e la storia di queste risorse, il modo in cui sono state modificate e i metadati ad esse associati.

“Questo è il primo punto da cui iniziare. Non puoi aggiustare ciò che non puoi vedere, ciò che non puoi sapere e ciò che non puoi definire, giusto?" lui dice.

Nel frattempo, a livello operativo quotidiano, Dehghanpisheh ritiene che le organizzazioni debbano sviluppare capacità per scansionare i propri modelli, alla ricerca di difetti che possano avere un impatto non solo sul rafforzamento del sistema ma anche sull’integrità dei suoi risultati. Ciò include problemi come i bias e i malfunzionamenti dell’intelligenza artificiale che potrebbero causare danni fisici nel mondo reale, ad esempio, da un’auto autonoma che si schianta contro un pedone.

"La prima cosa è che devi eseguire la scansione", afferma. “La seconda cosa è che devi comprendere quelle scansioni. E il terzo è che, una volta che hai qualcosa che viene contrassegnato, devi essenzialmente impedire l'attivazione di quel modello. È necessario limitare la sua agenzia.

La spinta per MLSecOps

MLSecOps è un movimento neutrale rispetto ai fornitori che rispecchia il movimento DevSecOps nel mondo del software tradizionale.

“Similmente al passaggio da DevOps a DevSecOps, devi fare due cose contemporaneamente. La prima cosa che devi fare è rendere i praticanti consapevoli che la sicurezza è una sfida e che è una responsabilità condivisa”, afferma Dehghanpisheh. "La seconda cosa che devi fare è fornire contesto e mettere sicurezza in strumenti che mantengano data scientist, ingegneri di machine learning e [e] costruttori di intelligenza artificiale all'avanguardia e costantemente innovatori, ma permettendo alle preoccupazioni sulla sicurezza di scomparire in secondo piano .”

Inoltre, afferma che le organizzazioni dovranno iniziare ad aggiungere policy di governance, rischio e conformità, capacità di applicazione e procedure di risposta agli incidenti che aiutino a governare le azioni e i processi che hanno luogo quando vengono scoperte insicurezze. Come nel caso di un solido ecosistema DevSecOps, ciò significa che MLSecOps avrà bisogno di un forte coinvolgimento da parte delle parti interessate fino ai vertici aziendali.

La buona notizia è che la sicurezza AI/ML sta beneficiando di una cosa che nessun’altra rapida innovazione tecnologica ha avuto fin dall’inizio: vale a dire, i mandati normativi immediati. 

“Pensate a qualsiasi altra transizione tecnologica”, afferma Dehghanpisheh. “Nomina una volta in cui un regolatore federale o anche dei regolatori statali hanno detto così presto: 'Whoa, whoa, whoa, devi dirmi tutto quello che c'è dentro. Devi dare priorità alla conoscenza di quel sistema. È necessario dare priorità alla distinta base. Non ce n'è."

Ciò significa che molti leader della sicurezza hanno maggiori probabilità di ottenere il consenso per sviluppare le capacità di sicurezza dell’intelligenza artificiale molto prima nel ciclo di vita dell’innovazione. Uno dei segnali più evidenti di questo sostegno è il rapido passaggio alla sponsorizzazione di nuove funzioni lavorative nelle organizzazioni.

“La differenza più grande che la mentalità normativa ha portato sul tavolo è che nel gennaio 2023 il concetto di direttore della sicurezza dell’IA era nuovo e non esisteva. Ma a giugno hai iniziato a vedere quei ruoli”, dice Dehghanpisheh. “Ora sono ovunque e sono finanziati”.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight