Forretningssikkerhet

Organisasjoner som har til hensikt å utnytte potensialet til LLM-er, må også være i stand til å håndtere risikoene som ellers kunne erodere teknologiens forretningsverdi

Phil Muncaster

06 november 2023  •  , 5 min. lese

Alle snakker om ChatGPT, Bard og generativ AI som sådan. Men etter hypen kommer uunngåelig realitysjekken. Mens både forretnings- og IT-ledere er fulle av det forstyrrende potensialet til teknologien på områder som kundeservice og programvareutvikling, er de også i økende grad klar over noen potensielle ulemper og risikoer å passe på.

Kort sagt, for at organisasjoner skal kunne utnytte potensialet til store språkmodeller (LLM), må de også være i stand til å håndtere de skjulte risikoene som ellers kunne erodere teknologiens forretningsverdi.

Hva er greia med LLM-er?

ChatGPT og andre generative AI-verktøy er drevet av LLM-er. De fungerer ved å bruke kunstige nevrale nettverk for å behandle enorme mengder tekstdata. Etter å ha lært mønstrene mellom ord og hvordan de brukes i kontekst, er modellen i stand til å samhandle på naturlig språk med brukere. Faktisk er en av hovedårsakene til ChatGPTs fremstående suksess evnen til å fortelle vitser, komponere dikt og generelt kommunisere på en måte som er vanskelig å skille fra et ekte menneske.

RELATERT LESING: Skrive som en sjef med ChatGPT: Hvordan bli bedre til å oppdage phishing-svindel

De LLM-drevne generative AI-modellene, som brukes i chatbots som ChatGPT, fungerer som superladede søkemotorer, og bruker dataene de ble trent på for å svare på spørsmål og fullføre oppgaver med menneskelignende språk. Enten de er offentlig tilgjengelige modeller eller proprietære modeller som brukes internt i en organisasjon, kan LLM-basert generativ AI utsette selskaper for visse sikkerhets- og personvernrisikoer.

5 av de viktigste LLM-risikoene

1. Overdeling av sensitive data

LLM-baserte chatbots er ikke flinke til å holde på hemmeligheter – eller glemme dem, for den saks skyld. Det betyr at all data du skriver inn kan bli absorbert av modellen og gjort tilgjengelig for andre eller i det minste brukt til å trene fremtidige LLM-modeller. Samsung-arbeidere fant ut dette for deres egen pris da de delte konfidensiell informasjon med ChatGPT mens de brukte den til arbeidsrelaterte oppgaver. Koden og møteopptakene de la inn i verktøyet kan teoretisk sett være i det offentlige domene (eller i det minste lagret for fremtidig bruk, som påpekt av Storbritannias National Cyber ​​Security Center nylig). Tidligere i år har vi sett nærmere på hvordan organisasjoner kan unngå å sette dataene deres i fare når du bruker LLM-er.

2. Opphavsrettsutfordringer  

LLM-er er trent på store mengder data. Men den informasjonen blir ofte skrapet fra nettet, uten eksplisitt tillatelse fra innholdseieren. Det kan skape potensielle opphavsrettsproblemer hvis du fortsetter å bruke det. Det kan imidlertid være vanskelig å finne den opprinnelige kilden til spesifikke treningsdata, noe som gjør det utfordrende å redusere disse problemene.

3. Usikker kode

Utviklere bruker i økende grad ChatGPT og lignende verktøy for å hjelpe dem med å akselerere tiden til markedet. I teorien kan det hjelpe ved å generere kodebiter og til og med hele programvareprogrammer raskt og effektivt. Sikkerhetseksperter advarer imidlertid om at det også kan generere sårbarheter. Dette er en spesiell bekymring hvis utvikleren ikke har nok domenekunnskap til å vite hvilke feil de skal se etter. Hvis buggy-kode etterpå slipper gjennom i produksjonen, kan det ha en alvorlig innvirkning på omdømmet og kreve tid og penger å fikse.

4. Hacking av selve LLM

Uautorisert tilgang til og tukling med LLM-er kan gi hackere en rekke alternativer for å utføre ondsinnede aktiviteter, for eksempel å få modellen til å avsløre sensitiv informasjon via umiddelbare injeksjonsangrep eller utføre andre handlinger som er ment å bli blokkert. Andre angrep kan innebære utnyttelse av SSRF-sårbarheter (server-side request forgery) i LLM-servere, noe som gjør det mulig for angripere å trekke ut interne ressurser. Trusselaktører kan til og med finne en måte å samhandle med konfidensielle systemer og ressurser ved ganske enkelt å sende ondsinnede kommandoer gjennom spørsmål fra naturlig språk.

RELATERT LESING: Black Hat 2023: AI får store forsvarspremier

Som et eksempel, ChatGPT måtte tas offline i mars etter oppdagelsen av en sårbarhet som avslørte titlene fra samtalehistoriene til noen brukere for andre brukere. For å øke bevisstheten om sårbarheter i LLM-applikasjoner, ga OWASP Foundation nylig ut en liste over 10 kritiske sikkerhetshull ofte observert i disse applikasjonene.

5. Et datainnbrudd hos AI-leverandøren

Det er alltid en sjanse for at et selskap som utvikler AI-modeller selv kan bli brutt, slik at hackere for eksempel kan stjele treningsdata som kan inkludere sensitiv proprietær informasjon. Det samme gjelder for datalekkasjer – for eksempel når Google var utilsiktet lekkende private Bard-chatter inn i søkeresultatene.

Hva du skal gjøre videre

Hvis organisasjonen din er opptatt av å begynne å utnytte potensialet til generativ AI for å få konkurransefortrinn, er det et par ting den bør gjøre først for å redusere noen av disse risikoene:

• Datakryptering og anonymisering: Krypter data før du deler dem med LLM-er for å beskytte dem mot nysgjerrige øyne, og/eller vurder anonymiseringsteknikker for å beskytte personvernet til enkeltpersoner som kan identifiseres i datasettene. Datasanering kan oppnå samme mål ved å fjerne sensitive detaljer fra treningsdata før de mates inn i modellen.
• Forbedrede tilgangskontroller: Sterke passord, multifaktorautentisering (MFA) og policyer for minste privilegier vil bidra til å sikre at kun autoriserte personer har tilgang til den generative AI-modellen og back-end-systemene.
• Regelmessige sikkerhetsrevisjoner: Dette kan bidra til å avdekke sårbarheter i IT-systemene dine som kan påvirke LLM og generative AI-modeller som den er bygget på.
• Øv hendelsesresponsplaner: En godt innøvd og solid IR-plan vil hjelpe organisasjonen din med å reagere raskt for å begrense, utbedre og komme seg etter ethvert brudd.
• Vet LLM-leverandører grundig: Som for enhver leverandør er det viktig å sikre at selskapet som leverer LLM følger bransjens beste praksis for datasikkerhet og personvern. Sørg for at det er tydelig informasjon om hvor brukerdata behandles og lagres, og om de brukes til å trene modellen. Hvor lenge holdes den? Deles det med tredjeparter? Kan du melde deg av/velge at dataene dine blir brukt til trening?
• Sørg for at utviklere følger strenge sikkerhetsretningslinjer: Hvis utviklerne dine bruker LLM-er for å generere kode, sørg for at de overholder retningslinjene, for eksempel sikkerhetstesting og fagfellevurdering, for å redusere risikoen for at feil kommer snikende i produksjon.

Den gode nyheten er at det ikke er nødvendig å finne opp hjulet på nytt. De fleste av de ovennevnte er velprøvde sikkerhetstips for beste praksis. De kan trenge oppdatering/justering for AI-verdenen, men den underliggende logikken burde være kjent for de fleste sikkerhetsteam.

VIDERE LESNING: A Bard's Tale – hvordan falske AI-roboter prøver å installere skadelig programvare