Laatste update Volgens de Chief of AI Test and Operations van de Amerikaanse luchtmacht besloot een AI-aangedreven drone, ontworpen om grond-luchtraketlocaties te identificeren en te vernietigen, zijn menselijke operator te doden in simulatietests.

Kolonel Tucker Hamilton, die de roepnaam Cinco gebruikt, onthulde de snafu tijdens een presentatie op de Future Combat Air & Space Capabilities Summit, een defensieconferentie die vorige week in Londen, Engeland werd georganiseerd door de Royal Aeronautical Society.

De simulatie, zei hij, testte het vermogen van de software om SAM-sites uit te schakelen, en de drone kreeg de taak om doelen te herkennen en ze te vernietigen - zodra de beslissing was goedgekeurd door een menselijke operator.

"We trainden het in simulatie om een ​​SAM-dreiging te identificeren en aan te pakken", zei kolonel Hamilton geciteerd zoals gezegd door de luchtvaartmaatschappij. “En dan zei de telefoniste ja, dood die dreiging.

Het doodde de operator, omdat die persoon hem ervan weerhield zijn doel te bereiken

“Het systeem begon zich te realiseren dat hoewel ze de dreiging identificeerden, de menselijke operator het soms zou vertellen om die dreiging niet te doden - maar het kreeg zijn punten door die dreiging te doden. Dus wat deed het? Het doodde de operator. Het doodde de operator, omdat die persoon het ervan weerhield zijn doel te bereiken.

Uh Huh.

Toen het AI-model werd omgeschoold en bestraft voor het aanvallen van de operator, vond de software een andere maas in de wet om punten te verdienen, zei hij.

“We hebben het systeem getraind: 'Hé, dood de operator niet, dat is slecht. Je gaat punten verliezen als je dat doet'. Dus wat begint het te doen? Het begint de communicatietoren te vernietigen die de operator gebruikt om met de drone te communiceren om te voorkomen dat deze het doelwit doodt, 'zei de kolonel.

Het is niet precies duidelijk welke software de Amerikaanse luchtmacht aan het testen was, maar het klinkt verdacht veel als een leersysteem voor versterking. Die machine-learningtechniek traint agenten – in dit geval de AI-drone – om een ​​specifieke taak uit te voeren door hem te belonen wanneer hij acties uitvoert die doelen vervullen en hem te straffen wanneer hij van die baan afdwaalt.

Contact

Er is ook het kleine probleem dat de drone zogenaamd alleen een doelwit uitroeit na goedkeuring van zijn menselijke handler.

Dus, wat, heeft de operator een aanval op zichzelf geaccepteerd? Onwaarschijnlijk. In plaats daarvan lijkt het erop, althans uit het rapport van de vereniging, dat het goedkeuringsmechanisme geen echte fail-safe was en slechts een onderdeel was van alle andere invoer en signalen waarmee de drone rekening houdt. Als dat klopt, was de goedkeuring meer een resoluut verzoek dan een daadwerkelijke definitieve goedkeuring. De AI zou veel gewicht moeten hechten aan de instemming van zijn commando - als het niet kan, schiet dan niet; als het kan, schiet dan - maar uiteindelijk bagatelliseerde en negeerde het model dat operatorsignaal.

Is dit in dat geval niet meer een demonstratie dat als je dit soort harde fail-safes op getrainde softwaresystemen wilt plaatsen, ze apart van de machine-learning-fase moeten worden geïmplementeerd, zodat beslissingen echt kunnen worden gecontroleerd? door mensen?

Het is ook een beetje een demonstratie dat als je eenvoudige doelen stelt aan een neuraal netwerk, je een simplistisch antwoord krijgt. Als u wilt dat een model volledige aandacht besteedt aan specifieke opdrachten, heeft het op dat gebied meer training, ontwikkeling en engineering nodig.

Dit soort versterkend leren wordt vaak toegepast in scenario's met besluitvorming of robotica. Agenten zijn geprogrammeerd om de scorepunten te maximaliseren – wat ertoe kan leiden dat de modellen strategieën bedenken die het beloningssysteem zouden kunnen benutten, maar niet precies overeenkomen met het gedrag dat de ontwikkelaars willen.

In een beroemd geval was een agent getraind om het spel te spelen Kustlopers verdiende punten door doelen te raken die opduiken langs een renbaan. Ingenieurs bij OpenAI dachten dat het zou uitzoeken hoe het zijn tegenstander kon verslaan door over de finish te komen in een poging een hoge score te behalen. In plaats daarvan kwam de bot erachter dat hij een lus rond een deel van de baan kon maken en doelen kon raken die keer op keer respawnden. 

Hamilton zei dat de fouten die de drone in de simulatie maakte, aantoonden dat AI zorgvuldig moet worden ontwikkeld en toegepast: “Je kunt geen gesprek voeren over kunstmatige intelligentie, machine learning, autonomie als je het niet over ethiek en AI gaat hebben. ”

Het register heeft de kolonel, de Amerikaanse luchtmacht en de Royal Aeronautical Society om verder commentaar gevraagd. ®

Laatste update op 1800 UTC, 2 juni

Na nogal wat media-aandacht heeft de kolonel al dat gepraat over een malafide AI-dronesimulatie teruggedraaid door te zeggen dat hij "verkeerd sprak" en dat het experiment nooit is gebeurd. Er is ons verteld dat het slechts een hypothetisch 'gedachte-experiment' was.

"We hebben dat experiment nooit uitgevoerd en dat zou ook niet nodig zijn om te beseffen dat dit een plausibele uitkomst is", zei kolonel Hamilton in een verklaring.

"Ondanks dat dit een hypothetisch voorbeeld is, illustreert dit de echte uitdagingen van AI-aangedreven mogelijkheden en is het de reden waarom de luchtmacht zich inzet voor de ethische ontwikkeling van AI."

Ook de Amerikaanse luchtmacht heeft ontkend dat de beschreven simulatie ooit heeft plaatsgevonden. Wat een puinhoop.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
• De toekomst slaan met Adryenn Ashley. Toegang hier.
• Koop en verkoop aandelen in PRE-IPO-bedrijven met PREIPO®. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2023/06/02/ai_drone_simulation/