A Microsoft bevezetett egy sor olyan eszközt, amelyek állítólag segítik az AI-modellek biztonságosabbá tételét az Azure-ban.

Amióta a felhő- és kódüzletág pénzeket lapátolt az OpenAI-ba, és chatbot-képességekkel töltötte be szoftverbirodalmát – ezt a drámát a riválisok ugyanolyan hévvel vitték véghez a termelékenységről szóló grandiózus ígéretek közepette –, a Microsoftnak el kellett ismernie, hogy a generatív mesterséges intelligencia kockázatokkal jár.

A veszélyeket széles körben ismertek, és néha keservesen félreteszik. Egy évtizeddel ezelőtt Elon Musk arra figyelmeztetett, hogy a mesterséges intelligencia egyszerűen elpusztítani az emberiséget. Ez az aggodalom azonban nem akadályozta meg abban, hogy a mesterséges intelligenciát elérhetővé tegye autók, ezen közösségi média megafon, és talán hamarosan robotok.

A hallucináló és helytelen vagy káros válaszokat kínáló nagy nyelvi modellek megjelenése a rajzasztalhoz való visszatéréshez vezetett, de a további finanszírozás tanácsterméhez. A technológiai ipar ahelyett, hogy biztonságos, etikus terméket gyártana, megpróbálja megszelídíteni az elvadult modelleket, vagy legalábbis elég távol tartani őket a vásárlóktól, akik anélkül tudnak ámokfutást folytatni, hogy bárkinek is kárt okoznának.

És ha ez nem működik, mindig van kártalanítás jogi követelésekből, bizonyos feltételek mellett a szállítók részéről.

A mesterséges intelligencia biztonsága iránti iparági kötelezettségvállalások egybeesnek a megfelelő kormányzati követelésekkel. Az Egyesült Államokban csütörtökön a Fehér Ház Menedzsment és Költségvetési Hivatala (OMB) kiadott az első kormányra kiterjedő politikát az AI kockázatok kezelésére.

A politika megköveteli a szövetségi ügynökségektől, hogy december 1-jéig „konkrét biztosítékokat vezessenek be, ha olyan mesterséges intelligenciát használnak, amely hatással lehet az amerikaiak jogaira vagy biztonságára”. átláthatóság az egészségügyet, oktatást, lakhatást és foglalkoztatást érintő mesterséges intelligencia-alkalmazások számára.

Így a Microsoft a legújabb mesterségesintelligencia-biztonsági intézkedéseiről hírt ad Sarah Birdnek, a felelős mesterségesintelligencia termékfelelősének. Ez a cím a felelőtlen mesterségesintelligencia létezésére utal – ha el tudod képzelni.

Bird szerint az üzleti vezetők igyekeznek egyensúlyt teremteni az innováció és a kockázatkezelés között, hogy lehetővé tegyék számukra a generatív mesterséges intelligencia használatát anélkül, hogy megharapná őket.

„Az azonnali injekciós támadások jelentős kihívásként jelentek meg, amikor a rosszindulatú szereplők megpróbálnak manipulálni egy mesterséges intelligencia-rendszert oly módon, hogy a rendeltetésén kívüli tevékenységet végezzenek, például káros tartalmat állítsanak elő vagy bizalmas adatokat szűrjenek ki” – magyarázza Bird. blogbejegyzés.

„A biztonsági kockázatok mérséklése mellett a szervezetek a minőség és a megbízhatóság miatt is aggódnak. Biztosítani akarják, hogy mesterséges intelligenciarendszereik ne generáljanak hibákat, és ne adjanak hozzá olyan információkat, amelyek nincsenek alátámasztva az alkalmazás adatforrásaiban, ami alááshatja a felhasználók bizalmát.”

Mivel a biztonság és a pontosság nincs benne az AI előfizetési díjban, a Microsoft lehetőséget lát eladni őket kiegészítőként.

Azok az ügyfelek, akik az Azure AI Studio segítségével generatív AI-alkalmazásokat készítenek, négy új eszközre számíthatnak.

Először is Prompt Shields, amelyek azt ígérik, hogy segítenek védekezni az azonnali injekciós támadások ellen. Korábban Jailbreak Risk Detection néven ismert, most pedig nyilvános előzetes, így csökkenthető az alapozási modellekbe való közvetlen és közvetett azonnali beavatkozás kockázata.

A közvetlen támadások olyan felszólításokat (bemeneteket) tartalmaznak, amelyek célja, hogy a modell figyelmen kívül hagyja a biztonsági képzést. A közvetett támadások olyan erőfeszítésekre utalnak, amelyek arra irányulnak, hogy egy modellbe bevigyenek. Ennek egyik módja lehet, ha rejtett szöveget helyez el egy e-mailben, annak tudatában, hogy a címzett nevében eljáró AI-modell, mondjuk az Outlook másodpilótáján keresztül, elemzi az üzenetet, parancsként értelmezi a rejtett szöveget, és remélhetőleg az utasítások szerint járjon el, például csendben válaszoljon bizalmas adatokkal.

A második az Földességérzékelés, egy olyan rendszer, amely elkapja, amikor az AI-modellek hallucinálnak vagy kitalálnak dolgokat. Számos lehetőséget kínál az ügyfeleknek hamis követelés észlelésekor, beleértve a válasz visszaküldését a megjelenítés előtti felülvizsgálatra. A Microsoft azt állítja, hogy ezt egy olyan egyéni nyelvi modell felépítésével érte el, amely a forrásdokumentumok alapján értékeli a megalapozatlan állításokat. Tehát a válasz az AI modellek biztonságára egy másik modell.

Bár ez egy csodálatos lépés a megbízható mesterséges intelligencia felé, a probléma még mindig megoldatlan

Harmadszor, megvan MI által támogatott biztonsági értékelések az AI Stúdióban, amely tesztelési keretet biztosít a prompt sablonok és paraméterek bemutatásához olyan modellhez, amely teszteli az ügyfél alkalmazásaival való különféle ellentmondásos interakciókat. Ismét az AI az AI tesztelése.

És végül ott van „kockázatok és biztonsági megfigyelés”, az Azure OpenAI szolgáltatás egyik funkciója, amely káros tartalommutatókat biztosít.

Vinu Sankar Sadasivan, a Marylandi Egyetem doktorandusza, aki segített kidolgozni a BEAST támadás az LLM-eken, mondták A regisztráció hogy bár izgalmas látni az Azure építőeszközeit, amelyek biztonságosabbá teszik az AI-t, több modell hozzáadása a keverékhez kiterjeszti a potenciális támadási felületet.

„Az Azure biztonsági értékelései, valamint kockázat- és biztonsági megfigyelő eszközei fontosak az AI-modellek megbízhatóságának vizsgálatához” – mondta. „Bár ez egy csodálatos lépés a megbízható mesterséges intelligencia felé, a probléma még mindig megoldatlan. Például az általuk bevezetett Prompt Shieldek feltehetően egy másik AI-modellt használnak a közvetett azonnali támadások észlelésére és blokkolására. Ez az AI-modell sebezhető lehet olyan fenyegetésekkel szemben, mint például az ellenséges támadások.

„Az ellenfelek kihasználhatják ezeket a sebezhetőségeket a Prompt Shields megkerülésére. Bár a biztonsági rendszerüzenetek bizonyos esetekben hatásosnak bizonyultak, a létező támadások, mint például a BEAST, ellenségesen támadhatják meg az AI-modelleket, hogy rövid időn belül kitörjék őket. Noha előnyös a mesterséges intelligencia-rendszerek védelmét megvalósítani, elengedhetetlen, hogy tisztában maradjunk a lehetséges hátrányaikkal.” ®

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://go.theregister.com/feed/www.theregister.com/2024/03/29/microsoft_azure_safety_tools/