Selain itu, pertimbangan krusialnya adalah bagaimana teknologi AI ini dapat beradaptasi dan merevolusi ekosistem yang ada dalam infrastruktur bernilai tinggi dan memiliki permintaan tinggi, seperti bandara, pesawat terbang, dan berbagai sistem mobilitas canggih.

Memanfaatkan teknologi AI yang inovatif dan memanfaatkan keunggulan platform Cranfield University, the Kursus Kecerdasan Buatan Terapan MSc bertujuan untuk membina pemimpin masa depan dalam AI terapan di berbagai domain teknik. Tujuan utamanya adalah untuk mempercepat pengembangan dan penerapan teknologi AI yang andal untuk aplikasi-aplikasi penting keselamatan di seluruh dunia.

Proyek desain kelompok (GDP) adalah modul pembelajaran berbasis masalah, dan tujuan PDB adalah agar siswa merancang, mengimplementasikan, memvalidasi, dan menguji sistem berbasis AI secara real-time untuk memecahkan masalah di dunia nyata. PDB juga bertujuan untuk memberikan siswa pengalaman bekerja pada proyek teknik kolaboratif, memenuhi persyaratan pelanggan potensial dan menghormati tenggat waktu.

Pada tahun 2022 dan 2023, siswa yang terdaftar di MSc kami dalam Kecerdasan Buatan Terapan diberi proyek desain kelompok yang merangsang dan menuntut. Tujuannya adalah untuk memanfaatkan pengetahuan AI terapan yang diperoleh dari kursus mereka untuk mengembangkan produk bandara yang inovatif dan lebih aman. Bekerja dalam tim kecil yang terdiri dari enam orang, siswa ditugaskan untuk merancang solusi yang mencakup arsitektur perangkat lunak dan perangkat keras, pengembangan dan pengujian model AI, serta aspek keterlibatan di dunia nyata.

Topik proyek ini sengaja dibuat luas, mengharuskan siswa untuk berkolaborasi dalam kelompok mereka untuk mengeksplorasi dan menyempurnakan bidang minat tertentu berdasarkan keahlian dan minat kolektif mereka. Pendekatan ini memupuk kreativitas, kerja sama tim, dan pemahaman yang lebih mendalam tentang penerapan praktis teknologi AI dalam skenario dunia nyata.

Setiap kelompok diminta untuk mengembangkan solusi AI real-time untuk bandara pintar guna mencapai fungsi berikut:

1. Sistem harus mampu mendeteksi pengguna manusia dan memperkirakan pose dan perilaku mereka berdasarkan deteksi dan pelacakan pose yang tepat.
2. Sistem harus mampu mengklasifikasikan berbagai perilaku massa dan memperjelas alasan, kepentingan, dan kelayakannya.
3. Model AI harus divalidasi silang dengan metrik yang berbeda dalam hal akurasi, komputasi, dan inferensi.
4. Model AI harus dapat diimplementasikan secara real-time untuk menginformasikan kelebihan dan kekurangan teknologi AI saat ini dalam aplikasi yang sangat penting bagi keselamatan ini.
5. Sistem ini dapat mengandalkan sumber sensor yang berbeda sebagai masukan untuk memungkinkan fusi sensor guna menghasilkan kinerja yang kuat, namun solusi yang berbiaya sangat rendah namun efisien juga dapat diterima.

Studi kasus 1: Deteksi jatuh di lingkungan perawatan pesawat.

Lingkungan pemeliharaan menimbulkan bahaya yang signifikan, termasuk mesin yang tidak dijaga, pagar yang tidak memadai atau penjagaan fisik di dekat area berbahaya, dan ruang kerja yang berantakan. Di antara risiko-risiko tersebut, cedera akibat jatuh yang fatal merupakan hal yang sangat umum terjadi. Mendeteksi dan melaporkan insiden non-fatal dengan segera dapat mencegah kerugian atau kematian lebih lanjut. Oleh karena itu, pekerjaan ini mengusulkan sistem berbasis visi terintegrasi untuk memantau karyawan selama aktivitas perawatan pesawat, meningkatkan keselamatan dan mencegah kecelakaan (lihat gambar di bawah).

Dari hasil pelatihan dan validasi awal model yang dirancang, tidak adanya dataset pemeliharaan hanggar bandara yang sudah jadi menghadirkan kemungkinan bias terhadap gambar dari video yang diambil dari sudut kamera tegak lurus yang diambil dari jarak dekat dengan subjek. Memanfaatkan keunggulan Cranfield, hanggar pemeliharaan Universitas Cranfield dipilih dan digunakan untuk pengumpulan data dalam proyek ini.

Secara total, sekitar 50 video pendek (dua sampai lima menit) dari simulasi kegiatan pemeliharaan telah direkam, beberapa dengan jatuh dan yang lainnya tanpa jatuh. Video yang diambil dilucuti ke dalam bingkai dan dianotasi menggunakan perpustakaan perangkat lunak estimasi pose MoveNet dan peta vektor dari posisi sendi utama subjek dihasilkan. Gambar di bawah menunjukkan beberapa cuplikan data eksperimen.

Siswa kami menguji pendekatan jaringan saraf konvolusional 1-D, 2-D, dan 3-D untuk mengevaluasi secara kuantitatif desain model AI yang paling kuat. Gambar di bawah adalah demonstrasi solusi konvolusi 3-D.

Terakhir, solusi AI yang diusulkan mencapai hasil deteksi yang baik untuk perilaku jatuh seperti yang ditunjukkan pada gambar di bawah. Beberapa kesimpulan dapat diambil. Pertama, model memiliki 0 klasifikasi FP yang menunjukkan bahwa model tidak salah mengklasifikasikan kejatuhan. Kedua, terdapat 940 true negative untuk setiap model, hal ini mungkin disebabkan oleh setiap data pengujian yang mengandung sebagian dari non-falls (diklasifikasikan sebagai 0) sebelum aktor tersebut terjatuh.

Studi kasus 2: Deteksi tanda-tanda vital infark miokard menggunakan computer vision dan edge AI

Edge AI mengacu pada penerapan aplikasi kecerdasan buatan pada perangkat yang berlokasi di seluruh lingkungan fisik. Keterjangkauan dan kemudahan penggunaan merupakan faktor kunci dalam penerapan algoritma AI dalam situasi di mana pengguna akhir menghadapi tantangan dunia nyata. Dalam proyek ini, siswa kami mengusulkan model deteksi serangan jantung yang berbiaya rendah dan ringan untuk respons cepat dan penyelamatan di bandara. Prosesnya terdiri dari empat tahap utama seperti yang ditunjukkan pada gambar di bawah ini.

Tahap pertama merupakan pemilihan dan persiapan kumpulan data gambar yang sesuai, bersama dengan anotasi yang diperlukan untuk kotak pembatas kelas (nyeri dada, jatuh).

Selanjutnya, tahap kedua adalah pelatihan model pendeteksi objek kami melalui pembelajaran transfer. Tahap spesifiknya dilakukan di Google Colab, menggunakan PyTorch. Selanjutnya, setelah tahap pelatihan selesai, model tersebut dimasukkan ke dalam Jetson Nano NVIDIA, yang merupakan perangkat tertanam pilihan kami untuk digunakan pada aplikasi visi komputer Edge AI kami.

Tahap ketiga dari desain sistem kami adalah konversi dan pengoptimalan model yang sesuai agar dapat berjalan lebih efisien di Jetson Nano. Pengoptimalan model kami dilakukan menggunakan mesin inferensi TensorRT NVIDIA dan proses spesifiknya dijalankan di Jetson Nano (seperti yang ditunjukkan pada gambar di bawah).

Langkah terakhir adalah eksekusi model yang dioptimalkan pada Jetson Nano, menggunakan input frame yang diterima dari kamera web, untuk melakukan proses deteksi objek real-time dan mendeteksi kelas kita (nyeri dada, jatuh). Bersamaan dengan proses ini, dalam kode inferensi yang berjalan pada Jetson Nano, terdapat dua skenario spesifik. Hasil inferensi akhir ditunjukkan pada gambar di bawah ini.

Studi kasus 3: Pemantauan massa dan analisis jarak sosial

Bandara memiliki arus penumpang yang sangat besar setiap harinya, dan sama halnya dengan lokasi dan organisasi padat lainnya, bandara harus memastikan keselamatan publik dan memastikan penerapan langkah-langkah yang memadai untuk memitigasi risiko selama pandemi. Dalam proyek ini, siswa kami mengusulkan sistem berbasis visi komputer terintegrasi yang menyediakan pemantauan dan analisis kerumunan multi-fungsi di seluruh bandara. Keluaran sistem ini dimaksudkan untuk memberi manfaat bagi staf manajemen bandara dan penumpang, melalui penyediaan analisis dan intelijen berbasis massa.

Sistem ini terdiri dari platform terintegrasi (lihat gambar di bawah) untuk menganalisis dan memantau kerumunan di lokasi publik menggunakan video pengawasan. Fokusnya khususnya pada bandara pintar, namun kerangka dasarnya dapat disesuaikan dengan konteks publik mana pun sehingga analisis dan pemantauan karakteristik kerumunan akan berguna.

Fitur pose yang diambil dari sebuah adegan digunakan oleh model hilir sistem untuk melakukan tugas unik. Ini termasuk penghitungan orang, estimasi jarak antarpribadi, deteksi objek topeng, klasifikasi status (duduk, berdiri, berjalan, berbaring, dll.), dan pengelompokan sosial. Hasilnya kemudian digabungkan sehingga membentuk dashboard dan sistem monitoring yang terintegrasi. Dengan pengecualian penggunaan fitur pose secara umum, tugas-tugas ini mewakili tantangan unik dengan pendekatan pemodelan yang berbeda. Untungnya, karena desain sistem modular, setiap tugas dapat disarikan dan anggota tim yang berbeda dapat mengembangkannya.

Terakhir, antarmuka yang dapat berinteraksi dirancang untuk mengintegrasikan semua keluaran hilir ke dalam satu area pandang (lihat gambar di bawah). Aplikasi ini mengunggah file data yang dibuat oleh model hilir ke dasbor secara real-time sehingga analisis keadaan saat ini dapat dilakukan. Pada waktu tertentu, cuplikan asli dari adegan tersebut dapat dilihat, bersama dengan fitur pose yang diambil dari setiap orang pada pemutar video yang berdekatan dengannya. Pengambil keputusan dapat beralih antara tampilan plot kotak ke tampilan peta panas, dan kemudian mengubah cuplikan mana yang datanya diterima dari dua menu tarik-turun. Statistik mengenai pemandangan ditampilkan di sebelah kanan area pandang. Statistik tersebut adalah total status masker orang, total profil risiko, total status pose orang, jumlah total orang, proporsi jarak sosial, dan plot kotak proporsi.

Studi kasus 4: Deteksi kekerasan di bandara

Terakhir, salah satu kelompok kami bertujuan untuk mengembangkan kerangka deteksi kekerasan yang memperkirakan pose manusia dan mengklasifikasikan perilaku kekerasan dalam rekaman pengawasan (seperti yang ditunjukkan pada gambar di bawah). Daripada mengekstraksi fitur secara langsung dari frame video, kerangka kerja ini menggunakan ViTPose untuk mendeteksi pose manusia di setiap frame, kemudian melakukan pra-proses dan mengekstrak fitur dari informasi poin-poin penting.

Analisis komprehensif berbagai model menggunakan beberapa kumpulan data (berbasis sudut, berbasis jarak, urutan 1 detik dan 2 detik) dengan total 162 kombinasi hyperparameter, tim akhirnya mengidentifikasi beberapa model menjanjikan yang memenuhi kriteria evaluasi tertentu. Dapat disimpulkan bahwa model dapat mengekstrak informasi berharga tentang perilaku kekerasan menggunakan fitur jarak pada titik-titik penting tubuh seperti yang ditunjukkan pada gambar di bawah.

Terakhir, dengan berkolaborasi dengan Saab UK, siswa kami dapat mengembangkan dan mengintegrasikan model AI mereka dengan platform tingkat industri (SAFE), sebuah platform kesadaran situasi canggih yang banyak digunakan di banyak kantor polisi Inggris untuk pengawasan. Gerbang KAFKA diterapkan mengikuti mesin AI dan diteruskan ke terminal klien untuk tampilan dan peringatan lebih lanjut. Jika ada kekerasan yang terdeteksi dalam video yang disadap dengan kotak pembatas, ini akan memicu alarm yang kami konfigurasikan secara khusus untuk model kami yang menampilkan video yang disadap dalam tata letak klien SAFE, ini akan memberi kami pesan peringatan dengan detailnya. Pada akhirnya, siswa kami berhasil menerapkan model AI dari pusat DARTeC kami dan berkomunikasi dengan sistem Saab SAFE untuk meningkatkan kesadaran situasi manusia.

Menciptakan insinyur AI terapan masa depan

Ini hanya beberapa contoh proyek PDB menarik yang dipilih dari kursus MSc AAI. Baru-baru ini proyek PDB yang lebih menantang dalam antarmuka yang dapat dijelaskan dengan AI, penalaran kausal untuk perencanaan gerak otonom, AI berbasis fisika untuk kendaraan otonom, dan pengelolaan wilayah udara di masa depan telah dilakukan oleh siswa kami saat ini. Kami yakin penelitian yang lebih menarik akan segera disampaikan oleh mahasiswa MSc kami.

Periksa publikasi penelitian berikut dari siswa kami selama PDB untuk mengetahui betapa menariknya solusi dan hasil akhir:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo, dan Antonios Tsourdos. “Deteksi Jatuh Berbasis Penglihatan di Lingkungan Perawatan Pesawat dengan Estimasi Pose.” Pada Konferensi Internasional IEEE 2022 tentang Penggabungan Multisensor dan Integrasi untuk Sistem Cerdas (MFI), hal.1-6. IEEE, 2022.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo, dan Antonios Tsourdos. “Mengurangi Penularan Virus melalui Pemantauan Kerumunan dan Analisis Jarak Sosial berbasis AI.” Pada Konferensi Internasional IEEE 2022 tentang Penggabungan Multisensor dan Integrasi untuk Sistem Cerdas (MFI), hal.1-6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Demam, Q., Kasthuri, SR, Xing, Y., Guo, W. dan Tsourdos, A., 2023, Agustus. Deteksi Kekerasan Dua Tahap Menggunakan Model ViTPose dan Klasifikasi di Bandara Cerdas. Pada Kongres Dunia Cerdas IEEE (SWC) 2023 (hlm. 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo, dan Antonios Tsourdos. “Deteksi Aksi Kekerasan Berbasis Real-Time Vision Melalui Kamera CCTV Dengan Estimasi Pose.” Pada Kongres Dunia Cerdas IEEE (SWC) 2023, hal.844-849. IEEE, 2023.