Poleg tega je ključnega pomena, kako se lahko te tehnologije umetne inteligence prilagodijo in revolucionirajo obstoječe ekosisteme znotraj infrastruktur z visoko vrednostjo in velikim povpraševanjem, kot so letališča, letala in različni napredni sistemi mobilnosti.

Z uporabo inovativnih tehnologij umetne inteligence in izkoriščanjem prednosti platforme univerze Cranfield, The Magistrski tečaj uporabne umetne inteligence želi vzgajati bodoče voditelje na področju uporabne umetne inteligence na različnih inženirskih področjih. Njegov glavni cilj je pospešiti razvoj in uvajanje zanesljivih tehnologij umetne inteligence za varnostno kritične aplikacije po vsem svetu.

Projekt skupinskega oblikovanja (GDP) je na problemih temelječ učni modul, cilj GDP pa je, da študenti načrtujejo, izvajajo, validirajo in testirajo sisteme, ki temeljijo na AI v realnem času, za reševanje problemov v resničnem svetu. GDP želi tudi študentom ponuditi izkušnjo dela na skupnem inženirskem projektu, ki izpolnjuje zahteve potencialne stranke in spoštuje roke.

V letih 2022 in 2023 je bil študentom, vpisanim na naš magistrski študij uporabne umetne inteligence, dodeljen spodbuden in zahteven projekt skupinskega oblikovanja. Cilj je bil izkoristiti uporabno znanje umetne inteligence, pridobljeno med njihovim tečajem, za razvoj inovativnih in varnejših letaliških izdelkov. Pri delu v majhnih skupinah šestih posameznikov so bili študentje zadolženi za oblikovanje rešitev, ki vključujejo arhitekturo programske in strojne opreme, razvoj in testiranje modelov AI ter vidike sodelovanja v resničnem svetu.

Tema projekta je bila namenoma široka in je od študentov zahtevala, da sodelujejo v svojih skupinah, da bi raziskali in izpopolnili posebna področja zanimanja na podlagi njihovega skupnega strokovnega znanja in interesov. Ta pristop je spodbujal ustvarjalnost, timsko delo in globlje razumevanje praktične uporabe tehnologij umetne inteligence v realnih scenarijih.

Vsaka skupina je bila pozvana, naj razvije rešitve umetne inteligence v realnem času za pametna letališča, da bi dosegli naslednje funkcionalnosti:

1. Sistem mora biti sposoben zaznati uporabnike ljudi in oceniti njihov položaj in vedenje na podlagi natančnega zaznavanja položaja in sledenja.
2. Sistem mora biti sposoben razvrstiti različna vedenja množice in razjasniti razloge, pomembnost in izvedljivosti.
3. Model AI je treba navzkrižno preveriti z različnimi metrikami v točnosti, računanju in sklepanju.
4. Model umetne inteligence bi moralo biti mogoče izvajati v realnem času, da bi se seznanili s prednostmi in pomanjkljivostmi trenutnih tehnologij umetne inteligence v teh varnostno kritičnih aplikacijah.
5. Sistem se lahko zanaša na različne vire senzorjev kot vhod, da omogoči zlitje senzorjev za robustno delovanje, vendar so dobrodošle tudi zelo poceni, a učinkovite rešitve.

Študija primera 1: Zaznavanje padca v okolju vzdrževanja letala.

Okolja vzdrževanja predstavljajo velike nevarnosti, vključno z nenadzorovanimi stroji, neustreznimi ograjami ali fizičnimi stražami v bližini nevarnih območij in natrpanimi delovnimi prostori. Med temi tveganji so zaskrbljujoče pogoste smrtne poškodbe pri padcu. Hitro odkrivanje in poročanje o dogodkih brez smrtnega izida bi lahko preprečilo nadaljnjo škodo ali smrtne žrtve. Zato to delo predlaga integriran sistem, ki temelji na viziji, za spremljanje zaposlenih med dejavnostmi vzdrževanja letala, s čimer se poveča varnost in prepreči nesreče (glejte spodnjo sliko).

Glede na rezultate začetnega usposabljanja in validacije zasnovanega modela očitna odsotnost pripravljenega nabora podatkov o vzdrževanju letališkega hangarja predstavlja možnost pristranskosti glede slik iz videoposnetkov, posnetih iz pravokotnih kotov kamere, posnetih iz bližine subjekta. Z izkoriščanjem prednosti Cranfielda je bil za zbiranje podatkov v tem projektu izbran vzdrževalni hangar Univerze Cranfield.

Skupaj je bilo posnetih okoli 50 kratkih (dve do pet minut) video posnetkov simuliranih vzdrževalnih dejavnosti, nekateri s padci in drugi brez. Zajeti videoposnetki so bili razdeljeni v okvirje in označeni s programsko knjižnico MoveNet za oceno položaja, ustvarjeni pa so bili vektorski zemljevidi subjektovih ključnih položajev sklepov. Spodnja slika prikazuje nekaj posnetkov eksperimentalnih podatkov.

Naši študenti so preizkusili pristope 1-D, 2-D in 3-D konvolucijske nevronske mreže, da bi kvantitativno ovrednotili zasnovo najmočnejšega modela AI. Spodnja slika prikazuje rešitve 3-D konvolucije.

Nazadnje so predlagane rešitve AI dosegle dobre rezultate zaznavanja obnašanja pri padcu, kot je prikazano na spodnji sliki. Potegniti je mogoče nekaj zaključkov. Prvič, model je imel klasifikacijo 0 FP, kar nakazuje, da model ne razvrsti padca napačno. Drugič, za vsak model obstaja 940 resničnih negativnih rezultatov, kar je verjetno posledica tega, da podatki o vsakem testu vsebujejo del nepadcev (razvrščen kot 0), preden se igralec prevrne.

Študija primera 2: Odkrivanje vitalnih znakov miokardnega infarkta z uporabo računalniškega vida in robne umetne inteligence

Edge AI se nanaša na uvajanje aplikacij umetne inteligence v naprave, ki se nahajajo v fizičnem okolju. Cenovna dostopnost in enostavna uporaba sta ključna dejavnika pri sprejemanju algoritmov umetne inteligence v situacijah, ko se končni uporabniki srečujejo z izzivi v resničnem svetu. V tem projektu je naš študent predlagal poceni in lahek model odkrivanja srčnega infarkta za hitro odzivanje in reševanje na letališču. Postopek je sestavljen iz štirih glavnih stopenj, kot je prikazano na spodnji sliki.

Prva faza predstavlja ustrezno izbiro in pripravo nabora slikovnih podatkov, skupaj s potrebnimi opombami za omejevalne okvire razredov (bolečina v prsih, padec).

Poleg tega kot druga stopnja prihaja usposabljanje našega modela detektorja objektov s prenosnim učenjem. Posebna stopnja je bila izvedena v Google Colab z uporabo PyTorcha. Kasneje, po zaključku faze usposabljanja, je bil model vstavljen v Jetson Nano družbe NVIDIA, ki je bila naša izbrana vgrajena naprava za uporabo v naši aplikaciji računalniškega vida Edge AI.

Tretja stopnja zasnove našega sistema je bila ustrezna pretvorba in optimizacija modela, da bi učinkoviteje deloval na Jetson Nano. Optimizacija našega modela je bila izvedena z uporabo NVIDIA-jevega mehanizma za sklepanje TensorRT, poseben postopek pa je bil izveden v Jetson Nano (kot je prikazano na spodnji sliki).

Zadnji korak je izvedba optimiziranega modela na Jetson Nano, pri čemer kot vhodne podatke uporablja okvirje, ki jih prejme od spletne kamere, za izvedbo postopka zaznavanja objektov v realnem času in zaznavanje naših razredov (bolečine v prsih, padec). Skupaj s tem postopkom sta bila v sklepni kodi, ki se izvaja na Jetson Nano, dva posebna scenarija. Končni rezultati sklepanja so prikazani na spodnji sliki.

Študija primera 3: Spremljanje množice in analiza socialnega distanciranja

Letališča imajo vsak dan velik pritok potnikov in podobno kot druge gneče in organizacije morajo zagotoviti javno varnost in zagotoviti izvajanje ustreznih ukrepov za zmanjšanje tveganj med pandemijami. V tem projektu so naši študenti predlagali integriran sistem, ki temelji na računalniškem vidu, ki omogoča večnamensko spremljanje in analizo množice na vseh letališčih. Izhodi sistema naj bi koristili osebju letališkega vodstva in potnikom z zagotavljanjem analitike in obveščanja na podlagi množice.

Sistem je sestavljen iz integrirane platforme (glej spodnjo sliko) za analizo in spremljanje množic na javnih lokacijah z uporabo virov video nadzora. Poudarek je posebej na pametnih letališčih, vendar je osnovni okvir prilagodljiv vsakemu javnemu kontekstu, kjer sta analiza in spremljanje značilnosti množice koristna.

Funkcije poze, izvlečene iz prizora, uporabljajo nadaljnji sistemski modeli za izvajanje edinstvenih nalog. To vključuje štetje oseb, oceno medosebne razdalje, zaznavanje predmetov maske, klasifikacijo statusa (sedenje, stanje, hoja, ležanje itd.) in socialno združevanje. Rezultati se nato združijo v integrirano nadzorno ploščo in nadzorni sistem. Z izjemo običajne uporabe funkcij poze te naloge predstavljajo edinstvene izzive z različnimi pristopi modeliranja. Na srečo je bilo zaradi modularne zasnove sistema mogoče vsako nalogo abstrahirati in jih razvijati različni člani ekipe.

Nazadnje, interaktivni vmesnik je zasnovan tako, da integrira vse spodnje izhode v eno samo vidno okno (glejte spodnjo sliko). Aplikacija na nadzorno ploščo v realnem času naloži podatkovne datoteke, ki jih ustvarijo nadaljnji modeli, tako da je mogoče narediti analizo trenutnega stanja scene. V katerem koli trenutku si je mogoče ogledati originalni posnetek prizora, skupaj s funkcijami poze, pridobljenimi od vsake osebe, na video predvajalniku poleg tega. Odločevalec lahko preklaplja med pogledom škatle in pogledom toplotnega zemljevida in nato iz dveh spustnih menijev spremeni, kateri posnetek se podatki prejemajo. Statistični podatki o prizoru so prikazani na desni strani vidnega polja. Ti statistični podatki so skupni status maske osebe, skupni profil tveganja, skupni položaj osebe, skupno število oseb, deleži socialne distanciranja in okvirni prikaz razmerij.

Študija primera 4: Odkrivanje nasilja na letališču

Nazadnje, ena od naših skupin želi razviti okvir za odkrivanje nasilja, ki ocenjuje položaje ljudi in razvršča nasilno vedenje v nadzornih posnetkih (kot je prikazano na spodnji sliki). Namesto neposrednega pridobivanja funkcij iz video okvirjev, to ogrodje uporablja ViTPose za zaznavanje človeških postav v vsakem okvirju, nato pa predhodno obdela in ekstrahira funkcije iz informacij o ključnih točkah.

Obsežna analiza različnih modelov z uporabo več naborov podatkov (na podlagi kotov, na podlagi razdalje, 1-sekundnih in 2-sekundnih zaporedij) s skupno 162 kombinacijami hiperparametrov je ekipa končno identificirala več obetavnih modelov, ki izpolnjujejo posebna merila vrednotenja. Lahko sklepamo, da lahko modeli pridobijo dragocene informacije o nasilnem vedenju z uporabo značilnosti oddaljenosti ključnih točk telesa, kot je prikazano na spodnji sliki.

Nazadnje, s sodelovanjem s podjetjem Saab UK lahko naši študenti razvijejo in integrirajo svoje modele umetne inteligence s platformo na industrijski ravni (SAFE), zmogljivo platformo za zavedanje o razmerah, ki se pogosto uporablja na številnih policijskih postajah v Združenem kraljestvu za nadzor. Prehod KAFKA se uporabi po motorju AI in posreduje odjemalskemu terminalu za nadaljnji prikaz in opozorila. Če je v prestreženem videoposnetku z omejevalnimi okvirji zaznano kakršno koli nasilje, bo to sprožilo alarm, ki smo ga konfigurirali posebej za naš model in prikazuje prestreženi videoposnetek v postavitvi odjemalca SAFE, dalo nam bo opozorilno sporočilo s podrobnostmi. Na koncu so naši študenti uspešno uvedli model AI iz našega centra DARTeC in komunicirali s sistemom Saab SAFE za povečanje zavedanja o človeški situaciji.

Ustvarjanje uporabnih inženirjev AI prihodnosti

To je le nekaj izbranih primerov zanimivih GDP projektov iz predmeta MSc AAI. Nedavno so se naši sedanji študenti lotili zahtevnejših projektov GDP v razložljivem vmesniku z umetno inteligenco, vzročnim sklepanjem za načrtovanje avtonomnega gibanja, umetno inteligenco na podlagi fizike za avtonomna vozila in upravljanjem zračnega prostora v prihodnosti. Verjamemo, da bodo naši magistrski študenti kmalu izvedli več razburljivih raziskav.

Kako zanimive so končne rešitve in rezultati, preverite v naslednjih raziskovalnih publikacijah naših študentov med GDP:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo in Antonios Tsourdos. »Zaznavanje padcev na podlagi vida v okolju vzdrževanja letal z oceno položaja.« Leta 2022 Mednarodna konferenca IEEE o multisenzorski fuziji in integraciji za inteligentne sisteme (MFI), str. 1–6. IEEE, 2022.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo in Antonios Tsourdos. »Zmanjšanje prenosa virusov s pomočjo spremljanja množic na podlagi umetne inteligence in analize socialne distanciranja.« Leta 2022 Mednarodna konferenca IEEE o multisenzorski fuziji in integraciji za inteligentne sisteme (MFI), str. 1–6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. in Tsourdos, A., 2023, avgusta. Dvostopenjsko odkrivanje nasilja z uporabo ViTPose in klasifikacijskih modelov na pametnih letališčih. Leta 2023 IEEE Smart World Congress (SWC) (str. 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo in Antonios Tsourdos. »Zaznavanje nasilnih dejanj na podlagi vida v realnem času prek kamer CCTV z oceno poze.« Leta 2023 IEEE Smart World Congress (SWC), str. 844-849. IEEE, 2023.