Bovendien is een cruciale overweging hoe deze AI-technologieën zich kunnen aanpassen aan bestaande ecosystemen binnen hoogwaardige en veelgevraagde infrastructuren, zoals luchthavens, vliegtuigen en verschillende geavanceerde mobiliteitssystemen, en deze radicaal kunnen veranderen.

Door gebruik te maken van innovatieve AI-technologieën en gebruik te maken van de platformvoordelen van Cranfield University, de MSc Toegepaste Kunstmatige Intelligentie cursus heeft tot doel toekomstige leiders op het gebied van toegepaste AI op verschillende technische domeinen te cultiveren. Het primaire doel is om de ontwikkeling en inzet van betrouwbare AI-technologieën voor veiligheidskritische toepassingen wereldwijd te versnellen.

Het groepsontwerpproject (GDP) is een probleemgebaseerde leermodule en het doel van het GDP is dat studenten realtime op AI gebaseerde systemen ontwerpen, implementeren, valideren en testen om echte problemen op te lossen. Het GDP is ook bedoeld om studenten de ervaring te bieden van het werken aan een collaboratief technisch project, waarbij ze voldoen aan de eisen van een potentiële klant en deadlines respecteren.

In 2022 en 2023 kregen studenten van onze MSc Toegepaste Kunstmatige Intelligentie een stimulerend en veeleisend groepsontwerpproject toegewezen. Het doel was om de toegepaste AI-kennis die ze tijdens hun cursussen hadden verworven, te benutten om innovatieve en veiligere luchthavenproducten te ontwikkelen. In kleine teams van zes personen kregen de studenten de opdracht om oplossingen te ontwerpen die software- en hardware-architectuur, de ontwikkeling en het testen van AI-modellen omvatten, evenals aspecten van betrokkenheid in de echte wereld.

Het onderwerp van het project was opzettelijk breed, waarbij studenten binnen hun groepen moesten samenwerken om specifieke interessegebieden te verkennen en te verfijnen op basis van hun collectieve expertise en interesses. Deze aanpak bevorderde creativiteit, teamwerk en een dieper begrip van de praktische toepassing van AI-technologieën in scenario's in de echte wereld.

Elke groep werd gevraagd om realtime AI-oplossingen voor slimme luchthavens te ontwikkelen om de volgende functionaliteiten te realiseren:

1. Het systeem moet menselijke gebruikers kunnen detecteren en hun houdingen en gedrag kunnen inschatten op basis van nauwkeurige posedetectie en -tracking.
2. Het systeem moet in staat zijn verschillende gedragingen van mensenmassa’s te classificeren en de redenen, het belang en de haalbaarheid ervan te verduidelijken.
3. Het AI-model moet worden gevalideerd met verschillende maatstaven op het gebied van nauwkeurigheid, computergebruik en gevolgtrekking.
4. Het AI-model moet in realtime kunnen worden geïmplementeerd om de voor- en nadelen van de huidige AI-technologieën in deze veiligheidskritische toepassingen te informeren.
5. Het systeem kan vertrouwen op verschillende sensorbronnen als input om sensorfusie mogelijk te maken voor robuuste prestaties. Zeer goedkope maar efficiënte oplossingen zijn echter ook welkom.

Casestudy 1: Valdetectie in een vliegtuigonderhoudsomgeving.

Onderhoudsomgevingen brengen aanzienlijke gevaren met zich mee, waaronder onbeheerde machines, ontoereikende omheiningen of fysieke beveiliging in de buurt van gevaarlijke gebieden, en rommelige werkruimtes. Onder deze risico's komen dodelijke valletsels alarmerend vaak voor. Het tijdig opsporen en melden van niet-dodelijke incidenten kan verdere schade of dodelijke slachtoffers voorkomen. Daarom wordt in dit werk een geïntegreerd, op visie gebaseerd systeem voorgesteld om werknemers te monitoren tijdens vliegtuigonderhoudsactiviteiten, waardoor de veiligheid wordt verbeterd en ongevallen worden voorkomen (zie onderstaande figuur).

Uit de initiële trainings- en validatieresultaten van het ontworpen model blijkt dat de schijnbare afwezigheid van een kant-en-klare dataset voor het onderhoud van luchthavenhangars een mogelijkheid biedt van een voorkeur voor beelden uit video's die zijn vastgelegd vanuit loodrechte camerahoeken, genomen vanuit de nabijheid van het onderwerp. Door gebruik te maken van de voordelen van Cranfield werd de onderhoudshangar van Cranfield University gekozen en gebruikt voor de gegevensverzameling in dit project.

In totaal zijn ongeveer 50 korte (twee tot vijf minuten) video's van gesimuleerde onderhoudsactiviteiten opgenomen, sommige met valpartijen en andere zonder. De vastgelegde video's werden in frames gestript en geannoteerd met behulp van de MoveNet-softwarebibliotheek voor pose-schatting en er werden vectorkaarten van de belangrijkste gezamenlijke posities van het onderwerp gegenereerd. De onderstaande figuur toont enkele momentopnamen van de experimentele gegevens.

Onze studenten testten de 1D-, 2D- en 3D-convolutionele neurale netwerkbenaderingen om het ontwerp van het krachtigste AI-model kwantitatief te evalueren. De onderstaande figuur is een demonstratie van de 3D-convolutieoplossingen.

Tenslotte behaalden de voorgestelde AI-oplossingen goede detectieresultaten voor het valgedrag, zoals weergegeven in onderstaande figuur. Er kunnen een aantal conclusies worden getrokken. Ten eerste had het model 0 FP-classificaties, wat suggereert dat het model een val niet verkeerd classificeert. Ten tweede zijn er 940 echte negatieven voor elk model. Dit kan waarschijnlijk te wijten zijn aan het feit dat elke testgegevens een deel van de niet-vallen bevatten (geclassificeerd als 0) voordat de acteur omvalt.

Casestudy 2: Detectie van vitale tekenen van een hartinfarct met behulp van computer vision en edge AI

Edge AI verwijst naar de inzet van kunstmatige-intelligentietoepassingen op apparaten die zich in de fysieke omgeving bevinden. Betaalbaarheid en gebruiksgemak zijn sleutelfactoren bij de adoptie van AI-algoritmen in situaties waarin eindgebruikers met echte uitdagingen worden geconfronteerd. In dit project stelde onze student een goedkoop en lichtgewicht hartaanvaldetectiemodel voor voor snelle respons en redding op de luchthaven. Het proces bestaat uit vier hoofdfasen, zoals weergegeven in de onderstaande afbeelding.

De eerste fase bestaat uit de juiste selectie en voorbereiding van een beelddataset, samen met de nodige annotaties voor de grensvakken van de klassen (pijn op de borst, vallen).

Bovendien komt in een tweede fase de training van ons objectdetectormodel via transfer learning. De specifieke fase werd uitgevoerd in Google Colab, met behulp van PyTorch. Vervolgens werd het model, na voltooiing van de trainingsfase, ingevoegd in NVIDIA's Jetson Nano, het door ons gekozen ingebedde apparaat om te gebruiken voor onze Edge AI computer vision-applicatie.

De derde fase van het ontwerp van ons systeem was de juiste conversie en optimalisatie van het model, zodat het efficiënter op Jetson Nano kon werken. De optimalisatie van ons model werd uitgevoerd met behulp van NVIDIA's TensorRT-inferentie-engine en het specifieke proces werd uitgevoerd in Jetson Nano (zoals weergegeven in de onderstaande afbeelding).

De laatste stap is de uitvoering van het geoptimaliseerde model op Jetson Nano, waarbij als invoer de frames worden gebruikt die het ontvangt van een webcamera, om het realtime objectdetectieproces uit te voeren en onze klassen te detecteren (pijn op de borst, vallen). Naast dit proces waren er in de inferentiecode die op Jetson Nano draait twee specifieke scenario's. De uiteindelijke gevolgtrekkingsresultaten worden weergegeven in de onderstaande afbeelding.

Casestudy 3: Crowdmonitoring en analyse van sociale afstand

Luchthavens hebben elke dag een enorme toestroom van passagiersstromen, en net als andere drukke locaties en organisaties moeten ze de openbare veiligheid garanderen en ervoor zorgen dat er adequate maatregelen worden geïmplementeerd om de risico’s tijdens pandemieën te beperken. In dit project stelden onze studenten een geïntegreerd, op computervisie gebaseerd systeem voor dat multifunctionele crowdmonitoring en -analyse op luchthavens mogelijk maakt. De systeemoutputs zijn bedoeld om zowel het luchthavenmanagementpersoneel als de passagiers ten goede te komen, door middel van crowd-based analyses en intelligentie.

Het systeem bestaat uit een geïntegreerd platform (zie onderstaande figuur) om mensenmenigten op openbare locaties te analyseren en te monitoren met behulp van videobewakingsfeeds. De focus ligt specifiek op slimme luchthavens, maar het basisraamwerk kan worden aangepast aan elke publieke context waarin het analyseren en monitoren van de kenmerken van het publiek nuttig is.

De pose-kenmerken die uit een scène worden gehaald, worden door systeemdownstream-modellen gebruikt om unieke taken uit te voeren. Dit omvat het tellen van personen, het schatten van interpersoonlijke afstanden, detectie van maskerobjecten, statusclassificatie (zitten, staan, lopen, liggen enz.) en sociale clustering. De resultaten worden vervolgens gecombineerd tot het geïntegreerde dashboard en monitoringsysteem. Met uitzondering van het algemene gebruik van pose-functies, vertegenwoordigen deze taken unieke uitdagingen met verschillende modelleringsbenaderingen. Gelukkig was het dankzij het modulaire systeemontwerp mogelijk om elke taak te abstraheren en deze door verschillende teamleden te laten ontwikkelen.

Ten slotte is een interactieve interface ontworpen om alle stroomafwaartse uitgangen in één enkele viewport te integreren (zie onderstaande afbeelding). De app uploadt gegevensbestanden die door de downstream-modellen zijn gemaakt in realtime naar het dashboard, zodat analyse van de huidige status van de scène kan worden gemaakt. Op elk moment kunnen de originele beelden van de scène worden bekeken, samen met de pose-kenmerken die van elke persoon zijn geëxtraheerd op een videospeler ernaast. De beslisser kan schakelen tussen een boxplot-weergave en een heatmap-weergave, en vervolgens wijzigen welke beelden de gegevens ontvangen via twee vervolgkeuzemenu's. Statistieken over de scène worden helemaal rechts van de viewport weergegeven. Deze statistieken zijn de totale status van het persoonsmasker, het totale risicoprofiel, het totale aantal poses van personen, het totale aantal personen, de sociale afstandsverhoudingen en de boxplot-verhoudingen.

Casestudy 4: Gewelddetectie op de luchthaven

Ten slotte wil een van onze groepen een raamwerk voor gewelddetectie ontwikkelen dat menselijke poses schat en gewelddadig gedrag classificeert in bewakingsbeelden (zoals weergegeven in de onderstaande figuur). In plaats van direct kenmerken uit videoframes te extraheren, gebruikt dit raamwerk ViTPose om menselijke poses in elk frame te detecteren, waarna het de kenmerken voorbewerkt en extraheert uit de belangrijkste informatie.

Uitgebreide analyse van verschillende modellen met behulp van meerdere datasets (op hoek gebaseerd, op afstand gebaseerd, reeksen van 1 seconde en 2 seconden) met een totaal van 162 hyperparametercombinaties, heeft het team uiteindelijk verschillende veelbelovende modellen geïdentificeerd die aan specifieke evaluatiecriteria voldoen. Er kan worden geconcludeerd dat modellen waardevolle informatie over gewelddadig gedrag kunnen extraheren door gebruik te maken van afstandskenmerken van belangrijke lichaamspunten, zoals weergegeven in de onderstaande afbeelding.

Ten slotte kunnen onze studenten, door samen te werken met Saab UK, hun AI-modellen ontwikkelen en integreren met het industrial-level platform (SAFE), een krachtig platform voor situatiebewustzijn dat op grote schaal wordt gebruikt in veel Britse politiebureaus voor surveillance. De KAFKA-gateway wordt toegepast volgens de AI-engine en doorgestuurd naar de clientterminal voor verdere weergave en waarschuwingen. Als er enig geweld wordt gedetecteerd in de onderschepte video met omsluitende vakken, wordt het alarm geactiveerd dat we specifiek voor ons model hebben geconfigureerd en wordt de onderschepte video weergegeven in de SAFE-clientindeling. Het geeft ons een waarschuwingsbericht met details. Uiteindelijk hebben onze studenten met succes het AI-model van ons DARTeC-centrum ingezet en gecommuniceerd met het Saab SAFE-systeem voor het vergroten van het bewustzijn van de menselijke situatie.

Het creëren van de toegepaste AI-ingenieurs van de toekomst

Dit zijn slechts enkele geselecteerde voorbeelden van interessante GDP-projecten uit de cursus MSc AAI. Onlangs zijn door onze huidige studenten meer uitdagende GDP-projecten uitgevoerd in een verklaarbare interface met AI, causaal redeneren voor autonomie-bewegingsplanning, op fysica gebaseerde AI voor autonome voertuigen en toekomstig luchtruimbeheer. Wij geloven dat onze MSc-studenten binnenkort nog meer spannend onderzoek zullen leveren.

Bekijk de volgende onderzoekspublicaties van onze studenten tijdens de GDP om te zien hoe interessant de eindoplossingen en resultaten eruit zien:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo en Antonios Tsourdos. “Op visie gebaseerde valdetectie in vliegtuigonderhoudsomgevingen met pose-inschatting.” In 2022 IEEE Internationale Conferentie over Multisensor Fusion en Integratie voor Intelligente Systemen (MFI), pp. 1-6. IEEE, 2022.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo en Antonios Tsourdos. “Het verminderen van de virale overdracht door middel van op AI gebaseerde crowdmonitoring en analyse van sociale afstand.” In 2022 IEEE Internationale Conferentie over Multisensor Fusion en Integratie voor Intelligente Systemen (MFI), pp. 1-6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. en Tsourdos, A., 2023, Augustus. Gewelddetectie in twee fasen met behulp van ViTPose en classificatiemodellen op slimme luchthavens. In 2023 IEEE Smart World Congress (SWC) (pp. 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo en Antonios Tsourdos. "Real-time vision-gebaseerde detectie van gewelddadige acties via CCTV-camera's met pose-inschatting." In 2023 IEEE Smart World Congress (SWC), pp. 844-849. IEEE, 2023.