Dessuten er en avgjørende vurdering hvordan disse AI-teknologiene kan tilpasse seg og revolusjonere eksisterende økosystemer innenfor høyverdi og høy etterspørsel infrastrukturer, som flyplasser, fly og ulike avanserte mobilitetssystemer.

Ved å bruke innovative AI-teknologier og utnytte plattformfordelene til Cranfield University MSc-kurs i anvendt kunstig intelligens har som mål å dyrke fremtidige ledere innen anvendt AI på tvers av forskjellige ingeniørdomener. Hovedmålet er å fremskynde utviklingen og distribusjonen av pålitelige AI-teknologier for sikkerhetskritiske applikasjoner over hele verden.

Gruppedesignprosjektet (GDP) er en problembasert læringsmodul, og målet med GDP er at studentene skal designe, implementere, validere og teste sanntids AI-baserte systemer for å løse virkelige problemer. BNP har også som mål å gi studentene opplevelsen av å jobbe med et samarbeidende ingeniørprosjekt, tilfredsstille kravene til en potensiell kunde og respektere tidsfrister.

I 2022 og 2023 ble studenter påmeldt vår MSc i anvendt kunstig intelligens tildelt et stimulerende og krevende gruppedesignprosjekt. Målet var å utnytte den anvendte AI-kunnskapen de fikk fra kursene deres for å utvikle innovative og sikrere flyplassprodukter. Studentene jobbet i små team på seks personer og fikk i oppgave å designe løsninger som omfatter programvare- og maskinvarearkitektur, AI-modellutvikling og -testing, samt engasjementsaspekter i den virkelige verden.

Prosjektets tema var med vilje bredt, og krevde at studentene skulle samarbeide i gruppene sine for å utforske og avgrense spesifikke interesseområder basert på deres kollektive ekspertise og interesser. Denne tilnærmingen fremmet kreativitet, teamarbeid og en dypere forståelse av den praktiske anvendelsen av AI-teknologier i virkelige scenarier.

Hver gruppe ble bedt om å utvikle sanntids AI-løsninger for smarte flyplasser for å oppnå følgende funksjoner:

1. Systemet skal være i stand til å oppdage menneskelige brukere og estimere deres positurer og atferd basert på presis posisjonsdeteksjon og sporing.
2. Systemet skal kunne klassifisere ulik folkeatferd og klargjøre årsaker, viktighet og gjennomførbarhet.
3. AI-modellen bør kryssvalideres med forskjellige beregninger i nøyaktighet, databehandling og inferens.
4. AI-modellen skal kunne implementeres i sanntid for å informere om fordelene og ulempene ved dagens AI-teknologier i disse sikkerhetskritiske applikasjonene.
5. Systemet kan stole på forskjellige sensorkilder som input for å muliggjøre sensorfusjon for robust ytelse, men svært rimelige, men effektive løsninger er også velkommen.

Kasusstudie 1: Falldeteksjon i et flyvedlikeholdsmiljø.

Vedlikeholdsmiljøer utgjør betydelige farer, inkludert ubetjent maskineri, utilstrekkelig gjerde eller fysiske vakter nær farlige områder og rotete arbeidsområder. Blant disse risikoene er fatale fallskader alarmerende vanlig. Å oppdage og rapportere ikke-dødelige hendelser umiddelbart kan forhindre ytterligere skade eller dødsfall. Derfor foreslår dette arbeidet et integrert visjonsbasert system for å overvåke ansatte under flyvedlikeholdsaktiviteter, øke sikkerheten og forebygge ulykker (se figuren nedenfor).

Fra de første trenings- og valideringsresultatene til den designet modellen, presenterer det tilsynelatende fraværet av et ferdiglaget vedlikeholdsdatasett for flyplasshangarer en mulighet for en skjevhet mot bilder fra videoer tatt fra vinkelrette kameravinkler tatt fra nærhet til motivet. Ved å utnytte Cranfield-fordelene ble Cranfield Universitys vedlikeholdshangar valgt og brukt til datainnsamlingen i dette prosjektet.

Totalt ble det tatt opp rundt 50 korte (to til fem minutter) videoer av simulerte vedlikeholdsaktiviteter, noen med fall og andre uten. De fangede videoene ble strippet inn i rammer og kommentert ved hjelp av MoveNet-programvarebiblioteket for poseringsestimering, og vektorkart over emnets sentrale leddposisjoner ble generert. Figuren nedenfor viser noen øyeblikksbilder av eksperimentelle data.

Studentene våre testet 1-D, 2-D og 3-D konvolusjonelle nevrale nettverkstilnærminger for å kvantitativt evaluere utformingen av den kraftigste AI-modellen. Figuren nedenfor er en demonstrasjon av 3D-konvolusjonsløsningene.

Til slutt oppnådde de foreslåtte AI-løsningene gode deteksjonsresultater for fallatferden som vist i figuren nedenfor. Noen få konklusjoner kan trekkes. For det første hadde modellen 0 FP-klassifiseringer som antyder at modellen ikke feilklassifiserer et fall. For det andre er det 940 sanne negative for hver modell, dette kan sannsynligvis skyldes at hver testdata inneholder en del av ikke-fall (klassifisert som 0) før skuespilleren faller.

Kasusstudie 2: Påvisning av vitale tegn på hjerteinfarkt ved bruk av datasyn og kant-AI

Edge AI refererer til distribusjon av kunstig intelligens-applikasjoner i enheter plassert på tvers av det fysiske miljøet. Rimelighet og brukervennlighet er nøkkelfaktorer for å ta i bruk AI-algoritmer i situasjoner der sluttbrukere møter virkelige utfordringer. I dette prosjektet foreslo studenten vår en lavkost og lett hjerteinfarktdeteksjonsmodell for rask respons og redning på flyplassen. Prosessen består av fire hovedtrinn som vist i figuren under.

Det første trinnet utgjør riktig valg og klargjøring av et bildedatasett, sammen med de nødvendige merknadene for avgrensningsboksene til klassene (brystsmerter, fall).

Videre, som et andre trinn kommer opplæringen av vår objektdetektormodell via overføringslæring. Den spesifikke scenen ble utført i Google Colab, ved hjelp av PyTorch. Deretter, etter at treningsstadiet var fullført, ble modellen satt inn i NVIDIAs Jetson Nano, som var vår valgte innebygde enhet som skulle brukes til vår Edge AI-datasynsapplikasjon.

Den tredje fasen av systemets design var modellens passende konvertering og optimalisering, for at den skulle kjøre mer effektivt på Jetson Nano. Vår modells optimering ble utført ved hjelp av NVIDIAs TensorRT-inferensmotor og den spesifikke prosessen ble utført i Jetson Nano (som vist i figuren nedenfor).

Det siste trinnet er den optimaliserte modellens utførelse på Jetson Nano, ved å bruke rammene som den mottar fra et webkamera som innganger, for å utføre gjenstandsdeteksjonsprosessen i sanntid og oppdage klassene våre (brystsmerter, fall). Sammen med denne prosessen, i slutningskoden som kjører på Jetson Nano, var det to spesifikke scenarier. De endelige slutningsresultatene er vist i figuren nedenfor.

Kasusstudie 3: Publikumsovervåking og sosial avstandsanalyse

Flyplasser har stor tilstrømning av passasjerstrømmer hver eneste dag, og på samme måte som andre overfylte steder og organisasjoner, må de sørge for offentlig sikkerhet og sørge for at tilstrekkelige tiltak iverksettes for å redusere risikoen under pandemier. I dette prosjektet foreslo studentene våre et integrert datasyn-basert system som gir multifunksjonell publikumsovervåking og analyse på hele flyplasser. Systemutgangene er ment å være til fordel for både flyplassledelsen og passasjerer, gjennom å tilby publikumsbaserte analyser og etterretninger.

Systemet består av en integrert plattform (se figuren nedenfor) for å analysere og overvåke folkemengder på offentlige steder ved hjelp av videoovervåkingsfeeder. Fokuset er spesifikt på smarte flyplasser, men det grunnleggende rammeverket kan tilpasses enhver offentlig kontekst der det er nyttig å analysere og overvåke publikumskarakteristikker.

Poseringsfunksjonene hentet fra en scene brukes av nedstrømsmodeller for å utføre unike oppgaver. Dette inkluderer persontelling, estimering av mellommenneskelig avstand, gjenkjenning av maskeobjekter, statusklassifisering (sittende, stående, gå, liggende osv.) og sosial gruppering. Resultatene kombineres deretter for å danne det integrerte dashbordet og overvåkingssystemet. Med unntak av vanlig bruk av poseringsfunksjoner, representerer disse oppgavene unike utfordringer med ulike modelleringsmetoder. Heldigvis, på grunn av det modulære systemdesignet, var det mulig å abstrahere hver oppgave og få forskjellige teammedlemmer til å utvikle dem.

Til slutt er et interagerbart grensesnitt designet for å integrere alle nedstrømsutgangene i en enkelt visningsport (se figuren nedenfor). Appen laster opp datafiler opprettet av nedstrømsmodellene til dashbordet i sanntid, slik at analyse av den nåværende tilstanden til scenen kan gjøres. Til enhver tid kan de originale opptakene av scenen sees, sammen med poseringsfunksjonene som er hentet fra hver person på en videospiller ved siden av den. Beslutningstakeren kan bytte mellom en boksplottvisning til en varmekartvisning, og deretter endre hvilket opptak dataene mottas fra to rullegardinmenyer. Statistikk angående scenen vises helt til høyre i visningsporten. Denne statistikken er total personmaskestatus, total risikoprofil, total personstillingsstatus, totalt antall personer, proporsjoner for sosial distansering og proporsjoner boksplott.

Kasusstudie 4: Voldsoppdagelse på flyplassen

Til slutt har en av gruppene våre som mål å utvikle et voldsdeteksjonsrammeverk som estimerer menneskelige positurer og klassifiserer voldelig atferd i overvåkingsopptak (som vist i figuren nedenfor). I stedet for å trekke ut funksjoner direkte fra videorammer, bruker dette rammeverket ViTPose til å oppdage menneskelige positurer i hver frame, og deretter forhåndsbehandle og trekke ut funksjoner fra nøkkelpunktinformasjonen.

Omfattende analyse av ulike modeller ved bruk av flere datasett (vinkelbasert, avstandsbasert, 1-sekunds og 2-sekunders sekvenser) med totalt 162 hyperparameterkombinasjoner, identifiserte teamet til slutt flere lovende modeller som oppfyller spesifikke evalueringskriterier. Man kan konkludere med at modeller kan trekke ut verdifull informasjon om voldelig atferd ved å bruke avstandstrekk ved kroppsnøkkelpunkter som vist i figuren nedenfor.

Til slutt, ved å samarbeide med Saab UK, kan studentene våre utvikle og integrere AI-modellene sine med plattformen på industrinivå (SAFE), en kraftig plattform for situasjonsforståelse som er mye brukt i mange britiske politistasjoner for overvåking. KAFKA-gatewayen brukes etter AI-motoren og videresendes til klientterminalen for ytterligere visning og varsler. Hvis det er noen vold oppdaget i den avlyttede videoen med avgrensende bokser, vil den utløse alarmen vi konfigurerte spesifikt for vår modell som viser den avlyttede videoen i SAFE-klientoppsettet, den vil gi oss varselmeldingen med detaljer. Til slutt implementerte studentene våre AI-modellen fra vårt DARTeC-senter og kommuniserte med Saab SAFE-systemet for å øke bevisstheten om menneskelig situasjon.

Skaper fremtidens anvendte AI-ingeniører

Dette er bare noen få utvalgte eksempler på interessante BNP-prosjekter fra kurset MSc AAI. Nylig har mer utfordrende BNP-prosjekter i forklarlig grensesnitt med AI, årsaksgrunnlag for autonomi-bevegelsesplanlegging, fysikkinformert AI for autonome kjøretøy og fremtidig luftromsstyring blitt utført av våre nåværende studenter. Vi tror mer spennende forskning vil bli levert av våre MSc-studenter snart.

Sjekk følgende forskningspublikasjoner fra våre studenter under BNP for hvor interessante de endelige løsningene og resultatene ser ut:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo og Antonios Tsourdos. "Synsbasert falldeteksjon i flyvedlikeholdsmiljø med posisjonsestimat." I 2022 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), s. 1-6. IEEE, 2022.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo og Antonios Tsourdos. "Redusere viral overføring gjennom AI-basert folkemengdeovervåking og sosial avstandsanalyse." I 2022 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), s. 1-6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. og Tsourdos, A., 2023, August. To-trinns voldsdeteksjon ved bruk av ViTPose og klassifiseringsmodeller på smarte flyplasser. I 2023 IEEE Smart World Congress (SWC) (s. 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo og Antonios Tsourdos. "Sanntidssynsbasert voldelig handlingsoppdagelse gjennom CCTV-kameraer med poseestimering." I 2023 IEEE Smart World Congress (SWC), s. 844-849. IEEE, 2023.