Zephyrnet-logotyp

"Adversarial AI" ett hot mot militära system, säger Lospinoso från Shift5

Datum:

Josh Lospinosos första cybersäkerhetsstartup förvärvades 2017 av Raytheon/Forcepoint. Hans andra, Shift5, arbetar med den amerikanska militären, järnvägsoperatörer och flygbolag inklusive JetBlue. En 2009-examen i West Point och Rhodes Scholar, den 36-årige före detta armékaptenen tillbringade mer än ett decennium författande av hackningsverktyg för National Security Agency och US Cyber ​​Command.

Lospinoso berättade nyligen för en underkommitté för väpnade tjänster i senaten hur artificiell intelligens kan hjälpa till att skydda militära operationer. VD:n/programmeraren diskuterade ämnet med Associated Press också hur sårbarheter i mjukvara i vapensystem är ett stort hot mot den amerikanska militären. Intervjun har redigerats för klarhet och längd.

F: I ditt vittnesmål beskrev du två huvudsakliga hot mot AI-aktiverad teknik: Det ena är stöld. Det är självförklarande. Den andra är dataförgiftning. Kan du förklara det?

S: Ett sätt att tänka på dataförgiftning är som digital desinformation. Om motståndare kan skapa den data som AI-aktiverad teknik ser, kan de djupgående påverka hur den tekniken fungerar.

F: Pågår dataförgiftning?

A: Vi ser det inte brett. Men det har inträffat. Ett av de mest kända fallen inträffade 2016. Microsoft släppte en Twitter-chatbot som heter Tay som lärde sig från konversationer som den hade online. Skadliga användare konspirerade för att tweeta kränkande, stötande språk på den. Tay började generera inflammatoriskt innehåll. Microsoft tog det offline.

F: AI är inte bara chatbots. Det har länge varit en integrerad del av cybersäkerhet, eller hur?

S: AI används i e-postfilter för att försöka flagga och segregera skräppost och nätfiske. Ett annat exempel är slutpunkter, som antivirusprogrammet på din bärbara dator – eller programvara för upptäckt av skadlig programvara som körs på nätverk. Naturligtvis använder kränkande hackare också AI för att försöka besegra dessa klassificeringssystem. Det kallas motstridig AI.

F: Låt oss prata om militära mjukvarusystem. Ett alarmerande 2018 Regeringens ansvarighetskontors rapport sade att nästan alla nyutvecklade vapensystem hade uppdragskritiska sårbarheter. Och Pentagon funderar på att sätta in AI i sådana system?

S: Det finns två problem här. Först måste vi säkra befintliga vapensystem på ett adekvat sätt. Det här är en teknisk skuld vi har som kommer att ta väldigt lång tid att betala. Sedan finns det en ny gräns för att säkra AI-algoritmer – nya saker som vi skulle installera. GAO-rapporten talade inte riktigt om AI. Så glöm AI för en sekund. Om dessa system bara förblev som de är, är de fortfarande djupt sårbara.

Vi diskuterar att driva på gränsen och lägga till AI-aktiverade funktioner för saker som förbättrat underhåll och operativ intelligens. Allt bra. Men vi bygger ovanpå ett korthus. Många system är decennier gamla, eftermonterade med digital teknik. Flygplan, markfordon, rymdtillgångar, ubåtar. De är nu sammanlänkade. Vi byter data in och ut. Systemen är porösa, svåra att uppgradera och kan attackeras. När en angripare får tillgång är det över.

Ibland är det lättare att bygga en ny plattform än att designa om befintliga systems digitala komponenter. Men det finns en roll för AI för att säkra dessa system. AI kan användas för att försvara om någon försöker kompromissa med dem.

F: Du vittnade om att det skulle vara en dålig idé att pausa AI-forskning, som vissa har hävdat, eftersom det skulle gynna Kina och andra konkurrenter. Men du har också farhågor om den stora rushen till AI-produkter. Varför?

A: Jag hatar att låta fatalistisk, men det så kallade "burning-use"-fallet verkar gälla. En produkt som rusas ut på marknaden tar ofta eld (blir hackad, misslyckas, gör oavsiktlig skada). Och vi säger, 'pojke, vi borde ha byggt in säkerhet.' Jag förväntar mig att takten i AI-utvecklingen kommer att accelerera, och vi kanske inte pausar tillräckligt för att göra detta på ett säkert och ansvarsfullt sätt. Åtminstone Vita huset och kongressen diskuterar dessa frågor.

F: Det verkar som att ett gäng företag – inklusive inom försvarssektorn – skyndar sig att tillkännage halvfärdiga AI-produkter.

S: Varje teknikföretag och många icke-tekniska företag har gjort nästan en skakande pivot mot AI. Ekonomiska störningar kommer. Affärsmodeller kommer i grunden att förändras. Förskjutningar sker redan eller är vid horisonten - och företagsledare försöker att inte fastna på plattfot.

F: Hur är det med användningen av AI i militärt beslutsfattande som målinriktning?

S: Jag tror inte, kategoriskt inte, att algoritmer för artificiell intelligens - den data som vi samlar in - är redo för bästa sändningstid för ett dödligt vapensystem att fatta beslut. Vi är bara så långt ifrån det.

plats_img

Senaste intelligens

plats_img

Chatta med oss

Hallå där! Hur kan jag hjälpa dig?