Dessutom är ett avgörande övervägande hur dessa AI-tekniker kan anpassa sig till och revolutionera befintliga ekosystem inom högvärdiga och efterfrågade infrastrukturer, såsom flygplatser, flygplan och olika avancerade mobilitetssystem.

Genom att använda innovativ AI-teknik och utnyttja plattformsfördelarna med Cranfield University Masterkurs i tillämpad artificiell intelligens syftar till att odla framtida ledare inom tillämpad AI över olika tekniska domäner. Dess primära mål är att påskynda utvecklingen och driftsättningen av pålitlig AI-teknik för säkerhetskritiska applikationer över hela världen.

Gruppdesignprojektet (GDP) är en problembaserad inlärningsmodul, och syftet med GDP är att eleverna ska designa, implementera, validera och testa AI-baserade system i realtid för att lösa verkliga problem. BNP syftar också till att ge studenterna erfarenhet av att arbeta med ett samarbetsprojekt, som uppfyller kraven från en potentiell kund och respekterar deadlines.

Under 2022 och 2023 tilldelades studenter som skrevs in på vår MSc i tillämpad artificiell intelligens ett stimulerande och krävande gruppdesignprojekt. Målet var att dra nytta av den tillämpade AI-kunskapen som förvärvats från deras kurser för att utveckla innovativa och säkrare flygplatsprodukter. Eleverna arbetade i små team om sex personer och fick i uppdrag att designa lösningar som omfattar mjukvaru- och hårdvaruarkitektur, utveckling och testning av AI-modeller, såväl som engagemangsaspekter i verkligheten.

Projektets ämne var avsiktligt brett, vilket krävde att eleverna skulle samarbeta inom sina grupper för att utforska och förfina specifika intresseområden baserat på deras samlade expertis och intressen. Detta tillvägagångssätt främjade kreativitet, lagarbete och en djupare förståelse för den praktiska tillämpningen av AI-teknik i verkliga scenarier.

Varje grupp ombads att utveckla AI-lösningar i realtid för smarta flygplatser för att uppnå följande funktioner:

1. Systemet ska kunna upptäcka mänskliga användare och uppskatta deras poser och beteenden baserat på exakt positionsdetektering och spårning.
2. Systemet ska kunna klassificera olika publikbeteenden och klargöra orsaker, betydelse och genomförbarheter.
3. AI-modellen bör korsvalideras med olika mätvärden i noggrannhet, beräkning och slutledning.
4. AI-modellen bör kunna implementeras i realtid för att informera om fördelarna och nackdelarna med nuvarande AI-teknologier i dessa säkerhetskritiska applikationer.
5. Systemet kan lita på olika sensorkällor som input för att möjliggöra sensorfusion för robust prestanda, men mycket billiga men effektiva lösningar välkomnas också.

Fallstudie 1: Falldetektering i en flygplansunderhållsmiljö.

Underhållsmiljöer utgör betydande risker, inklusive obevakade maskiner, otillräckliga stängsel eller fysiska skydd nära farliga områden och röriga arbetsytor. Bland dessa risker är fallskador med dödlig utgång oroväckande vanliga. Att upptäcka och rapportera icke-dödliga incidenter omedelbart kan förhindra ytterligare skada eller dödsfall. Därför föreslår detta arbete ett integrerat visionbaserat system för att övervaka anställda under flygplansunderhållsaktiviteter, vilket ökar säkerheten och förebygger olyckor (se figuren nedan).

Från de inledande tränings- och valideringsresultaten av den designade modellen presenterar den uppenbara frånvaron av en färdig datauppsättning för underhåll av flygplatshangarer en möjlighet till en partiskhet mot bilder från videor tagna från vinkelräta kameravinklar tagna från närheten till motivet. Genom att utnyttja Cranfield-fördelarna valdes Cranfield Universitys underhållshangar och användes för datainsamlingen i detta projekt.

Totalt spelades cirka 50 korta (två till fem minuter) videor av simulerade underhållsaktiviteter in, några med fall och andra utan. De inspelade videorna strippades in i ramar och kommenterades med hjälp av MoveNets mjukvarubibliotek för poseringsuppskattning och vektorkartor över ämnets nyckelpositioner genererades. Figuren nedan visar några ögonblicksbilder av experimentdata.

Våra studenter testade 1-D, 2-D och 3-D konvolutionella neurala nätverksmetoder för att kvantitativt utvärdera designen av den mest kraftfulla AI-modellen. Bilden nedan är en demonstration av 3D-falsningslösningarna.

Slutligen uppnådde de föreslagna AI-lösningarna goda detekteringsresultat för fallbeteendet som visas i figuren nedan. Några slutsatser kan dras. För det första hade modellen 0 FP-klassificeringar, vilket tyder på att modellen inte felklassificerar ett fall. För det andra finns det 940 verkliga negativa för varje modell, detta kan troligen bero på att varje testdata innehåller en del av icke-fall (klassade som 0) innan skådespelaren faller omkull.

Fallstudie 2: Detektering av vitala tecken på hjärtinfarkt med hjälp av datorseende och kant-AI

Edge AI hänvisar till distributionen av artificiell intelligens-applikationer i enheter placerade i den fysiska miljön. Prisvärdhet och användarvänlighet är nyckelfaktorer för införandet av AI-algoritmer i situationer där slutanvändare möter verkliga utmaningar. I det här projektet föreslog vår student en billig och lätt detekteringsmodell för hjärtinfarkt för snabb respons och räddning på flygplatsen. Processen består av fyra huvudsteg som visas i figuren nedan.

Det första steget utgör det lämpliga valet och förberedelsen av en bilddatauppsättning, tillsammans med de nödvändiga anteckningarna för klassernas begränsningsrutor (bröstsmärta, fall).

Dessutom, som ett andra steg kommer träningen av vår objektdetektormodell via överföringsinlärning. Det specifika steget utfördes i Google Colab med PyTorch. Därefter, efter slutförandet av utbildningsstadiet, infogades modellen i NVIDIAs Jetson Nano, som var vår valda inbäddade enhet som skulle användas för vår Edge AI-applikation för datorseende.

Det tredje steget i vårt systems design var modellens lämpliga konvertering och optimering, för att den skulle köras mer effektivt på Jetson Nano. Vår modells optimering utfördes med hjälp av NVIDIAs TensorRT-inferensmotor och den specifika processen utfördes i Jetson Nano (som visas i figuren nedan).

Det sista steget är den optimerade modellens exekvering på Jetson Nano, med hjälp av ramarna som den tar emot från en webbkamera som indata, för att utföra objektdetekteringsprocessen i realtid och detektera våra klasser (bröstsmärtor, fall). Tillsammans med denna process, i slutledningskoden som körs på Jetson Nano, fanns det två specifika scenarier. De slutliga slutledningsresultaten visas i figuren nedan.

Fallstudie 3: Publikövervakning och analys av social distansering

Flygplatser har enorma inflöden av passagerarflöden varje dag, och på samma sätt som andra trånga platser och organisationer måste de säkerställa allmän säkerhet och se till att lämpliga åtgärder vidtas för att minska riskerna under pandemier. I detta projekt föreslog våra studenter ett integrerat datorseende-baserat system som ger multifunktionell publikövervakning och analys på hela flygplatser. Systemutgångarna är avsedda att gynna flygplatsledningens personal och passagerare, genom att tillhandahålla publikbaserad analys och intelligens.

Systemet består av en integrerad plattform (se figuren nedan) för att analysera och övervaka folkmassor på offentliga platser med hjälp av videoövervakningsflöden. Fokus ligger specifikt på smarta flygplatser, men det grundläggande ramverket är anpassningsbart till alla offentliga sammanhang där det är användbart att analysera och övervaka publikens egenskaper.

Poseringsfunktionerna som extraherats från en scen används av systemmodeller nedströms för att utföra unika uppgifter. Detta inkluderar personräkning, interpersonell avståndsuppskattning, detektering av maskobjekt, statusklassificering (sittande, stående, gå, liggande etc.) och social klustring. Resultaten kombineras sedan till den integrerade instrumentpanelen och övervakningssystemet. Med undantag för den vanliga användningen av poseringsfunktioner representerar dessa uppgifter unika utmaningar med olika modelleringsmetoder. Tack vare den modulära systemdesignen var det lyckligtvis möjligt att abstrahera varje uppgift och låta olika teammedlemmar utveckla dem.

Slutligen är ett interagerbart gränssnitt utformat för att integrera alla nedströmsutgångar i en enda visningsport (se figuren nedan). Appen laddar upp datafiler som skapats av nedströmsmodellerna till instrumentpanelen i realtid så att analys av scenens aktuella tillstånd kan göras. När som helst kan de ursprungliga bilderna av scenen ses, tillsammans med posefunktionerna som extraherats från varje person på en videospelare intill den. Beslutsfattaren kan växla mellan en boxplot-vy till en heatmap-vy, och därefter ändra vilket material som data tas emot från två rullgardinsmenyer. Statistik om scenen visas till höger om visningsporten. Denna statistik är total personmaskstatus, total riskprofil, totala personers ställningsstatus, totalt antal personer, sociala avståndsproportioner och proportioner boxplot.

Fallstudie 4: Våldsupptäckt på flygplatsen

Till sist, en av våra grupper syftar till att utveckla ett ramverk för våldsdetektering som uppskattar mänskliga poser och klassificerar våldsamt beteende i övervakningsfilmer (som visas i figuren nedan). Istället för att direkt extrahera funktioner från videoramar, använder detta ramverk ViTPose för att upptäcka mänskliga poser i varje bildruta, förbearbetar och extraherar sedan funktioner från informationen om nyckelpunkterna.

Omfattande analys av olika modeller med hjälp av flera datauppsättningar (vinkelbaserade, avståndsbaserade, 1-sekunds och 2-sekunders sekvenser) med totalt 162 hyperparameterkombinationer, teamet identifierade slutligen flera lovande modeller som uppfyller specifika utvärderingskriterier. Man kan dra slutsatsen att modeller kan extrahera värdefull information om våldsamt beteende med hjälp av distansfunktioner hos kroppsnyckelpunkter som visas i figuren nedan.

Sist, genom att samarbeta med Saab UK, kan våra studenter utveckla och integrera sina AI-modeller med plattformen på industriell nivå (SAFE), en kraftfull plattform för situationsmedvetenhet som ofta används på många brittiska polisstationer för övervakning. KAFKA-gatewayen appliceras efter AI-motorn och vidarebefordras till klientterminalen för ytterligare visning och varningar. Om det finns något våld som upptäcks i den avlyssnade videon med begränsningsrutor, kommer det att utlösa larmet som vi konfigurerat specifikt för vår modell som visar den avlyssnade videon i SAFE-klientens layout, det kommer att ge oss ett varningsmeddelande med detaljer. Till slut implementerade våra elever framgångsrikt AI-modellen från vårt DARTeC-center och kommunicerade med Saab SAFE-systemet för att öka medvetenheten om mänskliga situationer.

Skapar framtidens tillämpade AI-ingenjörer

Detta är bara några utvalda exempel på intressanta BNP-projekt från kursen MSc AAI. Nyligen mer utmanande BNP-projekt i förklarligt gränssnitt med AI, orsaksresonemang för autonomirörelseplanering, fysikinformerad AI för autonoma fordon och framtida luftrumshantering har genomförts av våra nuvarande studenter. Vi tror att mer spännande forskning kommer att levereras av våra MSc-studenter snart.

Kontrollera följande forskningspublikationer från våra studenter under BNP för hur intressanta de slutliga lösningarna och resultaten ser ut:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo och Antonios Tsourdos. "Visionsbaserad falldetektering i flygplansunderhållsmiljö med positionsuppskattning." 2022 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), s. 1-6. IEEE, 2022.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo och Antonios Tsourdos. "Reducera viral överföring genom AI-baserad publikövervakning och analys av socialt avstånd." 2022 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), s. 1-6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. och Tsourdos, A., 2023, augusti. Tvåstegsdetektering av våld med hjälp av ViTPose och klassificeringsmodeller på smarta flygplatser. År 2023 IEEE Smart World Congress (SWC) (s. 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo och Antonios Tsourdos. "Vision-baserade våldsamma handlingar i realtid upptäckt genom CCTV-kameror med uppskattning av pose." År 2023 IEEE Smart World Congress (SWC), s. 844-849. IEEE, 2023.