Dahası, bu yapay zeka teknolojilerinin havalimanları, uçaklar ve çeşitli gelişmiş mobilite sistemleri gibi yüksek değerli ve yüksek talep gören altyapılardaki mevcut ekosistemlere nasıl uyum sağlayabileceği ve bu ekosistemlerde devrim yaratabileceği önemli bir husustur.

Yenilikçi yapay zeka teknolojilerini kullanan ve Cranfield Üniversitesi'nin platform avantajlarından yararlanan, Yüksek Lisans Uygulamalı Yapay Zeka kursu çeşitli mühendislik alanlarında uygulamalı yapay zeka alanında geleceğin liderlerini yetiştirmeyi amaçlamaktadır. Birincil hedefi, dünya çapında güvenlik açısından kritik uygulamalar için güvenilir yapay zeka teknolojilerinin geliştirilmesini ve dağıtımını hızlandırmaktır.

Grup tasarım projesi (GDP), probleme dayalı bir öğrenme modülüdür ve GSYİH'nin amacı, öğrencilerin gerçek dünya sorunlarını çözmek için gerçek zamanlı yapay zeka tabanlı sistemler tasarlamasını, uygulamasını, doğrulamasını ve test etmesini sağlamaktır. GSYİH ayrıca öğrencilere ortak bir mühendislik projesi üzerinde çalışma, potansiyel bir müşterinin gereksinimlerini karşılama ve son teslim tarihlerine uyma deneyimi sağlamayı amaçlamaktadır.

2022 ve 2023'te Uygulamalı Yapay Zeka Yüksek Lisansımıza kayıtlı öğrencilere teşvik edici ve zorlu bir grup tasarım projesi verildi. Amaç, yenilikçi ve daha güvenli havaalanı ürünleri geliştirmek için kurs çalışmalarından edinilen uygulamalı yapay zeka bilgisinden yararlanmaktı. Altı kişiden oluşan küçük ekipler halinde çalışan öğrencilere, yazılım ve donanım mimarisini, yapay zeka modeli geliştirme ve test etmenin yanı sıra gerçek dünya katılımını kapsayan çözümler tasarlama görevi verildi.

Projenin konusu kasıtlı olarak geniş kapsamlıydı ve öğrencilerin kolektif uzmanlık ve ilgi alanlarına dayalı olarak belirli ilgi alanlarını keşfetmek ve geliştirmek için kendi grupları içinde işbirliği yapmalarını gerektiriyordu. Bu yaklaşım yaratıcılığı, ekip çalışmasını ve yapay zeka teknolojilerinin gerçek dünya senaryolarında pratik uygulamalarına ilişkin daha derin bir anlayışı teşvik etti.

Her gruptan akıllı havalimanları için aşağıdaki işlevleri sağlayacak gerçek zamanlı yapay zeka çözümleri geliştirmeleri istendi:

1. Sistem, insan kullanıcıları tespit edebilecek ve hassas poz tespiti ve takibine dayalı olarak pozlarını ve davranışlarını tahmin edebilecektir.
2. Sistem farklı kalabalık davranışlarını sınıflandırabilecek ve nedenlerini, önemini ve uygulanabilirliğini açıklayabilecektir.
3. Yapay zeka modelinin doğruluk, bilgi işlem ve çıkarım açısından farklı ölçümlerle çapraz doğrulaması yapılmalıdır.
4. Yapay zeka modeli, güvenliğin kritik olduğu bu uygulamalarda mevcut yapay zeka teknolojilerinin avantaj ve dezavantajlarını bildirmek için gerçek zamanlı olarak uygulanabilmelidir.
5. Sistem, sağlam performans için sensör füzyonunu sağlamak amacıyla girdi olarak farklı sensör kaynaklarına güvenebilir, ancak çok düşük maliyetli ancak etkili çözümler de memnuniyetle karşılanır.

Örnek olay 1: Uçak bakım ortamında düşme tespiti.

Bakım ortamları, gözetimsiz makineler, tehlikeli alanların yakınında yetersiz çit veya fiziksel korumalar ve dağınık çalışma alanları dahil olmak üzere önemli tehlikeler oluşturur. Bu riskler arasında ölümcül düşme yaralanmaları endişe verici derecede yaygındır. Ölümcül olmayan olayların derhal tespit edilmesi ve raporlanması, daha fazla zararın veya ölümlerin önlenmesini sağlayabilir. Bu nedenle, bu çalışma, uçak bakım faaliyetleri sırasında çalışanları izlemek, güvenliği artırmak ve kazaları önlemek için entegre bir vizyon tabanlı sistem önermektedir (aşağıdaki şekle bakınız).

Tasarlanan modelin ilk eğitim ve doğrulama sonuçlarına göre, hazır bir havaalanı hangarı bakım veri setinin belirgin yokluğu, konuya yakın mesafeden alınan dik kamera açılarından çekilen videolardan elde edilen görüntülere yönelik bir önyargı olasılığını ortaya koymaktadır. Cranfield avantajlarından yararlanılarak bu projede veri toplama amacıyla Cranfield Üniversitesi bakım hangarı seçilmiş ve kullanılmıştır.

Toplamda, bakım faaliyetlerinin simüle edildiği yaklaşık 50 kısa (iki ila beş dakika) video kaydedildi; bunların bazıları düşmeli, bazıları ise düşmesizdi. Yakalanan videolar karelere ayrıldı ve MoveNet poz tahmin yazılımı kitaplığı kullanılarak açıklamalar eklendi ve deneğin önemli eklem konumlarının vektör haritaları oluşturuldu. Aşağıdaki şekil deneysel verilerin bazı anlık görüntülerini göstermektedir.

Öğrencilerimiz, en güçlü yapay zeka modelinin tasarımını niceliksel olarak değerlendirmek için 1 boyutlu, 2 boyutlu ve 3 boyutlu evrişimli sinir ağı yaklaşımlarını test etti. Aşağıdaki şekil 3 boyutlu evrişim çözümlerinin bir gösterimidir.

Son olarak önerilen yapay zeka çözümleri, aşağıdaki şekilde gösterildiği gibi düşme davranışı için iyi tespit sonuçları elde etti. Birkaç sonuç çıkarılabilir. Birincisi, modelin 0 FP sınıflandırması vardı, bu da modelin düşüşü yanlış sınıflandırmadığını gösteriyor. İkincisi, her model için 940 gerçek negatif vardır; bu muhtemelen her test verisinin, oyuncu düşmeden önce düşmeyenlerin bir kısmını (0 olarak sınıflandırılmış) içermesinden kaynaklanabilir.

Vaka çalışması 2: Bilgisayarlı görüş ve ileri yapay zeka kullanılarak miyokard enfarktüsünün hayati belirtilerinin tespiti

Edge AI, yapay zeka uygulamalarının fiziksel ortamda bulunan cihazlara konuşlandırılmasını ifade eder. Uygun fiyat ve kullanım kolaylığı, son kullanıcıların gerçek dünyadaki zorluklarla karşılaştığı durumlarda yapay zeka algoritmalarının benimsenmesinde temel faktörlerdir. Bu projede öğrencimiz havalimanında hızlı müdahale ve kurtarma için düşük maliyetli ve hafif bir kalp krizi tespit modeli önerdi. Süreç aşağıdaki şekilde gösterildiği gibi dört ana aşamadan oluşmaktadır.

İlk aşama, sınıfların sınırlayıcı kutuları (göğüs ağrısı, düşme) için gerekli açıklamaların yanı sıra bir görüntü veri kümesinin uygun şekilde seçilmesi ve hazırlanmasından oluşur.

Ayrıca ikinci aşama olarak nesne dedektör modelimizin transfer öğrenme yoluyla eğitimi geliyor. Spesifik aşama, PyTorch kullanılarak Google Colab'da gerçekleştirildi. Daha sonra, eğitim aşamasının tamamlanmasının ardından model, Edge AI bilgisayarlı görme uygulamamız için kullanmak üzere seçtiğimiz gömülü cihaz olan NVIDIA'nın Jetson Nano'suna yerleştirildi.

Sistemimizin tasarımının üçüncü aşaması, modelin Jetson Nano'da daha verimli çalışması için uygun dönüşüm ve optimizasyondu. Modelimizin optimizasyonu NVIDIA'nın TensorRT çıkarım motoru kullanılarak gerçekleştirildi ve özel işlem Jetson Nano'da yürütüldü (aşağıdaki şekilde gösterildiği gibi).

Son adım, gerçek zamanlı nesne algılama sürecini gerçekleştirmek ve sınıflarımızı (göğüs ağrısı, düşme) tespit etmek için optimize edilmiş modelin bir web kamerasından aldığı kareleri girdi olarak kullanarak Jetson Nano üzerinde çalıştırılmasıdır. Bu süreçle birlikte Jetson Nano üzerinde çalışan çıkarım kodunda iki spesifik senaryo vardı. Nihai çıkarım sonuçları aşağıdaki şekilde gösterilmektedir.

Örnek olay 3: Kalabalık izleme ve sosyal mesafe analizi

Havalimanları her gün büyük miktarda yolcu akışına maruz kalıyor ve diğer kalabalık yerler ve kuruluşlar gibi, kamu güvenliğini sağlamalı ve salgın sırasında riskleri azaltmak için yeterli önlemlerin alınmasını sağlamalıdır. Bu projede öğrencilerimiz, havalimanları genelinde çok işlevli kalabalık izleme ve analizi sağlayan entegre bir bilgisayarlı görüş tabanlı sistem önerdiler. Sistem çıktılarının, kalabalığa dayalı analiz ve istihbarat sağlayarak havalimanı yönetim personeline ve yolculara aynı şekilde fayda sağlaması amaçlanıyor.

Sistem, video gözetim yayınlarını kullanarak halka açık yerlerdeki kalabalıkları analiz etmek ve izlemek için entegre bir platformdan (aşağıdaki şekle bakın) oluşur. Odak noktası özellikle akıllı havaalanlarıdır ancak temel çerçeve, kalabalık özelliklerinin analiz edilmesinin ve izlenmesinin yararlı olduğu her türlü kamusal bağlama uyarlanabilir.

Bir sahneden çıkarılan poz özellikleri, sistem alt modelleri tarafından benzersiz görevleri gerçekleştirmek için kullanılır. Buna kişi sayma, kişilerarası mesafe tahmini, maske nesne tespiti, durum sınıflandırması (oturma, ayakta durma, yürüme, yatma vb.) ve sosyal kümelenme dahildir. Sonuçlar daha sonra entegre kontrol paneli ve izleme sistemini oluşturmak için birleştirilir. Poz özelliklerinin ortak kullanımı dışında, bu görevler farklı modelleme yaklaşımlarıyla benzersiz zorlukları temsil eder. Neyse ki modüler sistem tasarımı sayesinde her görevi soyutlamak ve bunları farklı ekip üyelerinin geliştirmesini sağlamak mümkün oldu.

Son olarak, tüm aşağı akış çıkışlarını tek bir görünüm portuna entegre etmek için etkileşimli bir arayüz tasarlanmıştır (aşağıdaki şekle bakın). Uygulama, alt modeller tarafından oluşturulan veri dosyalarını gerçek zamanlı olarak kontrol paneline yükler, böylece sahnenin mevcut durumunun analizi yapılabilir. Herhangi bir zamanda, sahnenin orijinal görüntüleri, her bir kişiden alınan poz özellikleriyle birlikte, bitişikteki bir video oynatıcıda görüntülenebilir. Karar verici, kutu grafiği görünümünden ısı haritası görünümüne geçiş yapabilir ve ardından iki açılır menüden verilerin hangi görüntülerin alınacağını değiştirebilir. Sahneye ilişkin istatistikler, görünümün en sağında görüntülenir. Bu istatistikler; toplam kişi maske durumu, toplam risk profili, toplam kişi poz durumu, toplam kişi sayısı, sosyal mesafe oranları ve oranlar kutu grafiğidir.

Örnek olay 4: Havaalanında şiddetin tespiti

Son olarak gruplarımızdan biri, insan pozlarını tahmin eden ve gözetleme görüntülerindeki şiddet davranışlarını sınıflandıran bir şiddet tespit çerçevesi geliştirmeyi amaçlamaktadır (aşağıdaki şekilde gösterildiği gibi). Bu çerçeve, video karelerinden doğrudan özellikler çıkarmak yerine, her karedeki insan pozlarını tespit etmek için ViTPose'u kullanır, ardından ön işleme tabi tutar ve önemli nokta bilgilerinden özellikleri çıkarır.

Toplam 1 hiperparametre kombinasyonuyla birden fazla veri kümesi (açı tabanlı, mesafe tabanlı, 2 saniyelik ve 162 saniyelik diziler) kullanılarak çeşitli modellerin kapsamlı analizini yapan ekip, sonunda belirli değerlendirme kriterlerini karşılayan birkaç umut verici model belirledi. Aşağıdaki şekilde gösterildiği gibi modellerin, vücut kilit noktalarının uzaklık özelliklerini kullanarak şiddet içeren davranışlar hakkında değerli bilgiler çıkarabileceği sonucuna varılabilir.

Son olarak, öğrencilerimiz Saab UK ile işbirliği yaparak yapay zeka modellerini geliştirebilir ve Birleşik Krallık'taki birçok polis karakolunda gözetleme amacıyla yaygın olarak kullanılan güçlü bir durum farkındalığı platformu olan endüstriyel düzeydeki platform (SAFE) ile entegre edebilirler. KAFKA ağ geçidi, AI motorunun ardından uygulanır ve daha fazla görüntüleme ve uyarı için istemci terminaline iletilir. Sınırlayıcı kutular ile ele geçirilen videoda herhangi bir şiddet algılanması durumunda, modelimize özel olarak yapılandırdığımız alarmı tetikleyecek ve ele geçirilen videoyu SAFE istemci düzeninde göstererek bize detaylı uyarı mesajını verecektir. Sonunda öğrencilerimiz, DARTeC merkezimizdeki yapay zeka modelini başarıyla devreye aldılar ve insani durum farkındalığını artırmak için Saab SAFE sistemiyle iletişim kurdular.

Geleceğin uygulamalı yapay zeka mühendislerini yaratmak

Bunlar MSc AAI kursundan seçilmiş ilginç GSYİH projelerinden yalnızca birkaç örnektir. Son zamanlarda yapay zeka ile açıklanabilir bir arayüze sahip daha zorlu GSYİH projeleri, otonom hareket planlaması için nedensel akıl yürütme, otonom araçlar için fizik bilgili yapay zeka ve gelecekteki hava sahası yönetimi mevcut öğrencilerimiz tarafından üstlenilmiştir. Yakında yüksek lisans öğrencilerimiz tarafından daha heyecan verici araştırmaların gerçekleştirileceğine inanıyoruz.

Nihai çözümlerin ve sonuçların ne kadar ilginç göründüğünü öğrenmek için GSYİH sırasında öğrencilerimizin hazırladığı aşağıdaki araştırma yayınlarına göz atın:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo ve Antonios Tsourdos. “Uçak Bakım Ortamında Poz Tahmini ile Görüş Tabanlı Düşme Tespiti.” 2022'de IEEE Uluslararası Akıllı Sistemler için Çoklu Sensör Füzyonu ve Entegrasyonu Konferansı (MFI), s. 1-6. IEEE, 2022.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo ve Antonios Tsourdos. “Yapay Zeka Tabanlı Kalabalık İzleme ve Sosyal Mesafe Analizi Yoluyla Viral Bulaşın Azaltılması.” 2022'de IEEE Uluslararası Akıllı Sistemler için Çoklu Sensör Füzyonu ve Entegrasyonu Konferansı (MFI), s. 1-6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. ve Tsourdos, A., 2023, Ağustos. Akıllı Havalimanlarında ViTPose ve Sınıflandırma Modellerini Kullanarak İki Aşamalı Şiddet Tespiti. 2023'te IEEE Akıllı Dünya Kongresi (SWC) (s. 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo ve Antonios Tsourdos. “Poz Tahmini ile CCTV Kameralar Aracılığıyla Gerçek Zamanlı Görüş Tabanlı Şiddet Eylemlerinin Tespiti.” 2023 IEEE Akıllı Dünya Kongresi (SWC), s. 844-849. IEEE, 2023.