Zelfrijdende auto’s en vliegtuigen zijn niet langer het spul van de toekomst. Alleen al in de stad San Francisco hebben twee taxibedrijven tot en met augustus 8 gezamenlijk 2023 miljoen kilometer aan autonoom rijden geregistreerd. En in de Verenigde Staten zijn ruim 850,000 autonome luchtvoertuigen, of drones, geregistreerd – de voertuigen die eigendom zijn van het leger niet meegerekend.

Maar er zijn legitieme zorgen over de veiligheid. In een periode van tien maanden die eindigde in mei 10 heeft de National Highway Traffic Safety Administration bijvoorbeeld gerapporteerd bijna 400 ongevallen waarbij auto's betrokken waren waarbij gebruik werd gemaakt van een of andere vorm van autonome controle. Zes mensen stierven als gevolg van deze ongevallen en vijf raakten ernstig gewond.

De gebruikelijke manier om dit probleem aan te pakken (ook wel 'testen door uitputting' genoemd) houdt in dat je deze systemen test totdat je zeker weet dat ze veilig zijn. Maar je kunt er nooit zeker van zijn dat dit proces alle mogelijke tekortkomingen aan het licht zal brengen. "Mensen voeren tests uit totdat ze hun middelen en geduld hebben uitgeput", zegt hij Sayan Mitra, een computerwetenschapper aan de Universiteit van Illinois, Urbana-Champaign. Testen alleen kunnen echter geen garanties bieden.

Mitra en zijn collega's kunnen dat wel. Zijn team is daarin geslaagd bewijzen de veiligheid van rijstrookvolgmogelijkheden voor auto's en landingssystemen voor autonome vliegtuigen. Hun strategie wordt nu gebruikt om drones op vliegdekschepen te helpen landen, en Boeing is van plan dit dit jaar op een experimenteel vliegtuig te testen. “Hun methode om end-to-end veiligheidsgaranties te bieden is erg belangrijk”, aldus de woordvoerder Corina Pasareanu, een onderzoekswetenschapper aan de Carnegie Mellon University en het Ames Research Center van NASA.

Hun werk omvat het garanderen van de resultaten van de machine-learning-algoritmen die worden gebruikt om autonome voertuigen te informeren. Op een hoog niveau bestaan ​​veel autonome voertuigen uit twee componenten: een waarnemingssysteem en een besturingssysteem. Het waarnemingssysteem vertelt je bijvoorbeeld hoe ver je auto van het midden van de rijstrook verwijderd is, in welke richting een vliegtuig vliegt en wat de hoek is ten opzichte van de horizon. Het systeem werkt door ruwe gegevens van camera's en andere sensorische hulpmiddelen te voeden met machine learning-algoritmen op basis van neurale netwerken, die de omgeving buiten het voertuig opnieuw creëren.

Deze beoordelingen worden vervolgens naar een apart systeem, de controlemodule, gestuurd, dat beslist wat er moet gebeuren. Als er bijvoorbeeld een obstakel nadert, beslist het systeem of het moet remmen of er omheen moet sturen. Volgens Luc Carlone, universitair hoofddocent aan het Massachusetts Institute of Technology, terwijl de controlemodule vertrouwt op gevestigde technologie, “neemt hij beslissingen op basis van de perceptieresultaten, en er is geen garantie dat die resultaten correct zijn.”

Om de veiligheid te garanderen, heeft het team van Mitra gewerkt aan het waarborgen van de betrouwbaarheid van het waarnemingssysteem van het voertuig. Ze gingen er eerst van uit dat het mogelijk is de veiligheid te garanderen als er een perfecte weergave van de buitenwereld beschikbaar is. Vervolgens bepaalden ze hoeveel fouten het waarnemingssysteem introduceert bij het opnieuw creëren van de omgeving van het voertuig.

De sleutel tot deze strategie is het kwantificeren van de betrokken onzekerheden, bekend als de foutband – of de ‘bekende onbekenden’, zoals Mitra het uitdrukte. Die berekening komt voort uit wat hij en zijn team een ​​perceptiecontract noemen. Bij software-engineering is een contract een verbintenis dat, voor een bepaalde input voor een computerprogramma, de output binnen een bepaald bereik zal vallen. Het uitzoeken van dit bereik is niet eenvoudig. Hoe nauwkeurig zijn de sensoren van de auto? Hoeveel mist, regen of schittering van de zon kan een drone verdragen? Maar als je het voertuig binnen een bepaald onzekerheidsbereik kunt houden, en als de bepaling van dat bereik voldoende nauwkeurig is, heeft het team van Mitra bewezen dat je de veiligheid ervan kunt garanderen.

Het is een bekende situatie voor iedereen met een onnauwkeurige snelheidsmeter. Als u weet dat het apparaat nooit harder rijdt dan 5 km per uur, kunt u nog steeds snelheidsovertredingen vermijden door altijd 5 km/u onder de snelheidslimiet te blijven (zoals aangegeven door uw onbetrouwbare snelheidsmeter). Een perceptiecontract biedt een soortgelijke garantie voor de veiligheid van een imperfect systeem dat afhankelijk is van machinaal leren.

'Je hebt geen perfecte waarneming nodig,' zei Carlone. “Je wilt gewoon dat het goed genoeg is, zodat de veiligheid niet in gevaar komt.” De grootste bijdragen van het team, zei hij, zijn “het introduceren van het hele idee van perceptiecontracten” en het verschaffen van de methoden om deze te construeren. Ze deden dit door gebruik te maken van technieken uit de tak van de computerwetenschappen die formele verificatie wordt genoemd en die een wiskundige manier bieden om te bevestigen dat het gedrag van een systeem aan een reeks eisen voldoet.

“Ook al weten we niet precies hoe het neurale netwerk doet wat het doet,” zei Mitra, lieten ze zien dat het nog steeds mogelijk is om numeriek te bewijzen dat de onzekerheid van de output van een neuraal netwerk binnen bepaalde grenzen ligt. En als dat het geval is, is het systeem veilig. “We kunnen dan een statistische garantie bieden over de vraag of (en in welke mate) een bepaald neuraal netwerk daadwerkelijk aan deze grenzen zal voldoen.”

Het lucht- en ruimtevaartbedrijf Sierra Nevada test momenteel deze veiligheidsgaranties tijdens het landen van een drone op een vliegdekschip. Dit probleem is in sommige opzichten ingewikkelder dan het besturen van auto's vanwege de extra dimensie die het vliegen met zich meebrengt. “Bij het landen zijn er twee hoofdtaken”, zei hij Dragos Marginantu, AI-hoofdtechnoloog bij Boeing, “het vliegtuig uitlijnen met de landingsbaan en ervoor zorgen dat de landingsbaan vrij is van obstakels. Ons werk met Sayan houdt in dat we garanties krijgen voor deze twee functies.”

“Simulaties met het algoritme van Sayan laten zien dat de uitlijning [van een vliegtuig vóór de landing] verbetert”, zei hij. De volgende stap, gepland voor later dit jaar, is het gebruik van deze systemen tijdens de daadwerkelijke landing van een experimenteel vliegtuig van Boeing. Een van de grootste uitdagingen, zo merkte Margineantu op, zal het uitzoeken zijn van wat we niet weten – “het bepalen van de onzekerheid in onze schattingen” – en zien hoe dat de veiligheid beïnvloedt. “De meeste fouten gebeuren als we dingen doen waarvan we denken dat we ze weten – en het blijkt dat we dat niet weten.”