علاوة على ذلك، هناك اعتبار حاسم يتمثل في الكيفية التي يمكن بها لتقنيات الذكاء الاصطناعي هذه التكيف مع النظم البيئية القائمة وإحداث ثورة فيها ضمن البنى التحتية ذات القيمة العالية والطلب المرتفع، مثل المطارات والطائرات وأنظمة التنقل المتقدمة المختلفة.

باستخدام تقنيات الذكاء الاصطناعي المبتكرة والاستفادة من مزايا النظام الأساسي لجامعة كرانفيلد، دورة ماجستير الذكاء الاصطناعي التطبيقي يهدف إلى تنمية قادة المستقبل في الذكاء الاصطناعي التطبيقي عبر المجالات الهندسية المتنوعة. هدفها الأساسي هو تسريع تطوير ونشر تقنيات الذكاء الاصطناعي الموثوقة للتطبيقات الحيوية للسلامة في جميع أنحاء العالم.

يعد مشروع التصميم الجماعي (GDP) وحدة تعليمية قائمة على حل المشكلات، والهدف من الناتج المحلي الإجمالي هو أن يقوم الطلاب بتصميم وتنفيذ والتحقق من صحة واختبار الأنظمة القائمة على الذكاء الاصطناعي في الوقت الفعلي لحل مشكلات العالم الحقيقي. يهدف الناتج المحلي الإجمالي أيضًا إلى تزويد الطلاب بتجربة العمل في مشروع هندسي تعاوني، وتلبية متطلبات العميل المحتمل واحترام المواعيد النهائية.

في عامي 2022 و2023، تم تكليف الطلاب المسجلين في درجة الماجستير في الذكاء الاصطناعي التطبيقي بمشروع تصميم جماعي مثير ومتطلب. وكان الهدف هو الاستفادة من المعرفة التطبيقية في مجال الذكاء الاصطناعي المكتسبة من الدورات الدراسية لتطوير منتجات مطار مبتكرة وأكثر أمانًا. من خلال العمل في فرق صغيرة مكونة من ستة أفراد، تم تكليف الطلاب بتصميم حلول تشمل هندسة البرمجيات والأجهزة، وتطوير نماذج الذكاء الاصطناعي واختبارها، بالإضافة إلى جوانب المشاركة في العالم الحقيقي.

كان موضوع المشروع واسعًا بشكل متعمد، حيث يتطلب من الطلاب التعاون داخل مجموعاتهم لاستكشاف مجالات اهتمام محددة وتحسينها بناءً على خبراتهم واهتماماتهم الجماعية. وقد عزز هذا النهج الإبداع والعمل الجماعي والفهم الأعمق للتطبيق العملي لتقنيات الذكاء الاصطناعي في سيناريوهات العالم الحقيقي.

طُلب من كل مجموعة تطوير حلول الذكاء الاصطناعي في الوقت الفعلي للمطارات الذكية لتحقيق الوظائف التالية:

1. يجب أن يكون النظام قادرًا على اكتشاف المستخدمين البشريين وتقدير أوضاعهم وسلوكياتهم بناءً على الكشف والتتبع الدقيق للوضعية.
2. يجب أن يكون النظام قادراً على تصنيف سلوكيات الحشود المختلفة وتوضيح الأسباب والأهمية والجدوى.
3. يجب التحقق من صحة نموذج الذكاء الاصطناعي باستخدام مقاييس مختلفة في الدقة والحوسبة والاستدلال.
4. يجب أن يكون نموذج الذكاء الاصطناعي قابلاً للتنفيذ في الوقت الفعلي لإبلاغ مزايا وعيوب تقنيات الذكاء الاصطناعي الحالية في هذه التطبيقات ذات الأهمية الحيوية للسلامة.
5. يمكن أن يعتمد النظام على مصادر مستشعرات مختلفة كمدخلات لتمكين دمج المستشعرات للحصول على أداء قوي، ومع ذلك، يتم الترحيب أيضًا بالحلول منخفضة التكلفة للغاية ولكن الفعالة.

دراسة الحالة 1: اكتشاف السقوط في بيئة صيانة الطائرات.

تشكل بيئات الصيانة مخاطر كبيرة، بما في ذلك عدم مراقبة الآلات، وعدم كفاية السياج أو الحراس الجسديين بالقرب من المناطق الخطرة، ومساحات العمل المزدحمة. ومن بين هذه المخاطر، تعتبر إصابات السقوط المميتة شائعة بشكل مثير للقلق. إن الكشف عن الحوادث غير المميتة والإبلاغ عنها على الفور يمكن أن يمنع وقوع المزيد من الضرر أو الوفيات. ولذلك يقترح هذا العمل نظاماً متكاملاً قائماً على الرؤية لمراقبة الموظفين أثناء أنشطة صيانة الطائرات، وتعزيز السلامة ومنع الحوادث (انظر الشكل أدناه).

من نتائج التدريب الأولي والتحقق من صحة النموذج المصمم، فإن الغياب الواضح لمجموعة بيانات صيانة حظيرة الطائرات الجاهزة بالمطار يمثل إمكانية التحيز تجاه الصور من مقاطع الفيديو الملتقطة من زوايا الكاميرا المتعامدة المأخوذة من القرب من الموضوع. وللاستفادة من مزايا كرانفيلد، تم اختيار حظيرة الصيانة بجامعة كرانفيلد واستخدامها لجمع البيانات في هذا المشروع.

في المجمل، تم تسجيل حوالي 50 مقطع فيديو قصيرًا (من دقيقتين إلى خمس دقائق) لمحاكاة أنشطة الصيانة، بعضها يتضمن السقوط والبعض الآخر لا. تم تجريد مقاطع الفيديو التي تم التقاطها إلى إطارات وتعليقها باستخدام مكتبة برامج تقدير الوضع MoveNet وتم إنشاء خرائط متجهة للمواضع المشتركة الرئيسية للموضوع. يوضح الشكل أدناه بعض اللقطات من البيانات التجريبية.

اختبر طلابنا أساليب الشبكة العصبية التلافيفية أحادية البعد وثنائية الأبعاد وثلاثية الأبعاد لإجراء تقييم كمي لتصميم أقوى نموذج للذكاء الاصطناعي. الشكل أدناه يوضح حلول الالتواء ثلاثية الأبعاد.

وأخيراً، حققت حلول الذكاء الاصطناعي المقترحة نتائج كشف جيدة لسلوك السقوط كما هو موضح في الشكل أدناه. ويمكن استخلاص بعض الاستنتاجات. أولاً، كان للنموذج 0 تصنيفات FP مما يشير إلى أن النموذج لا يخطئ في تصنيف السقوط. ثانيًا، هناك 940 نقطة سلبية حقيقية لكل نموذج، ومن المحتمل أن يكون هذا بسبب أن كل بيانات اختبار تحتوي على جزء من حالات عدم السقوط (المصنفة على أنها 0) قبل سقوط الممثل.

دراسة الحالة 2: الكشف عن العلامات الحيوية لاحتشاء عضلة القلب باستخدام رؤية الكمبيوتر والذكاء الاصطناعي

يشير Edge AI إلى نشر تطبيقات الذكاء الاصطناعي في الأجهزة الموجودة عبر البيئة المادية. تعد القدرة على تحمل التكاليف وسهولة الاستخدام من العوامل الرئيسية في اعتماد خوارزميات الذكاء الاصطناعي في المواقف التي يواجه فيها المستخدمون النهائيون تحديات في العالم الحقيقي. في هذا المشروع، اقترح طالبنا نموذجًا منخفض التكلفة وخفيف الوزن للكشف عن النوبات القلبية للاستجابة السريعة والإنقاذ في المطار. تتكون العملية من أربع مراحل رئيسية كما هو موضح في الشكل أدناه.

تشكل المرحلة الأولى الاختيار المناسب وإعداد مجموعة بيانات الصورة، إلى جانب التعليقات التوضيحية اللازمة للمربعات المحيطة بالفئات (ألم في الصدر، السقوط).

علاوة على ذلك، كمرحلة ثانية، يأتي تدريب نموذج كاشف الأشياء الخاص بنا من خلال نقل التعلم. تم تنفيذ المرحلة المحددة في Google Colab، باستخدام PyTorch. بعد ذلك، بعد الانتهاء من مرحلة التدريب، تم إدراج النموذج في Jetson Nano من NVIDIA، والذي كان الجهاز المدمج الذي اخترناه لاستخدامه في تطبيق رؤية الكمبيوتر Edge AI.

كانت المرحلة الثالثة من تصميم نظامنا هي التحويل والتحسين المناسب للنموذج، حتى يعمل بكفاءة أكبر على Jetson Nano. تم إجراء تحسين نموذجنا باستخدام محرك الاستدلال TensorRT من NVIDIA وتم تنفيذ العملية المحددة في Jetson Nano (كما هو موضح في الشكل أدناه).

الخطوة الأخيرة هي تنفيذ النموذج المُحسّن على Jetson Nano، باستخدام الإطارات التي يتلقاها من كاميرا الويب كمدخلات، لإجراء عملية اكتشاف الكائنات في الوقت الفعلي واكتشاف فئاتنا (ألم في الصدر، السقوط). إلى جانب هذه العملية، في كود الاستدلال الذي يتم تشغيله على Jetson Nano، كان هناك سيناريوهان محددان. وتظهر نتائج الاستدلال النهائي في الشكل أدناه.

دراسة الحالة 3: مراقبة الحشود وتحليل التباعد الاجتماعي

تشهد المطارات تدفقات هائلة من تدفقات الركاب كل يوم، وعلى غرار المواقع والمنظمات المزدحمة الأخرى، يجب عليها ضمان السلامة العامة وضمان تنفيذ التدابير المناسبة للتخفيف من المخاطر أثناء الأوبئة. في هذا المشروع، اقترح طلابنا نظامًا متكاملًا قائمًا على الرؤية الحاسوبية يوفر مراقبة وتحليل الحشود متعدد الوظائف في جميع أنحاء المطارات. وتهدف مخرجات النظام إلى إفادة موظفي إدارة المطار والركاب على حد سواء، من خلال توفير التحليلات والاستخبارات المستندة إلى الجمهور.

يتكون النظام من منصة متكاملة (انظر الشكل أدناه) لتحليل ومراقبة الحشود في الأماكن العامة باستخدام موجزات المراقبة بالفيديو. وينصب التركيز بشكل خاص على المطارات الذكية، ولكن الإطار الأساسي قابل للتكيف مع أي سياق عام حيث يكون تحليل ومراقبة خصائص الحشود مفيدًا.

يتم استخدام ميزات الوضع المستخرجة من المشهد بواسطة نماذج النظام النهائية لأداء مهام فريدة. يتضمن ذلك عد الأشخاص، وتقدير المسافة بين الأشخاص، واكتشاف كائن القناع، وتصنيف الحالة (الجلوس، والوقوف، والمشي، والكذب وما إلى ذلك)، والتجمع الاجتماعي. يتم بعد ذلك دمج النتائج لتكوين لوحة معلومات متكاملة ونظام مراقبة. باستثناء الاستخدام الشائع لميزات الوضع، تمثل هذه المهام تحديات فريدة مع أساليب النمذجة المختلفة. لحسن الحظ، نظرًا لتصميم النظام المعياري، كان من الممكن تلخيص كل مهمة وجعل أعضاء الفريق المختلفين يقومون بتطويرها.

وأخيرًا، تم تصميم واجهة قابلة للتفاعل لدمج جميع مخرجات المصب في إطار عرض واحد (انظر الشكل أدناه). يقوم التطبيق بتحميل ملفات البيانات التي تم إنشاؤها بواسطة النماذج النهائية إلى لوحة المعلومات في الوقت الفعلي بحيث يمكن إجراء تحليل للحالة الحالية للمشهد. في أي وقت، يمكن مشاهدة اللقطات الأصلية للمشهد، بالإضافة إلى ميزات الوضع المستخرجة من كل شخص على مشغل فيديو مجاور له. يمكن لصانع القرار التبديل بين عرض boxplot إلى عرض الخريطة الحرارية، وبالتالي تغيير اللقطات التي يتم تلقي البيانات من قائمتين منسدلتين. يتم عرض الإحصائيات المتعلقة بالمشهد على الجانب الأيمن من إطار العرض. هذه الإحصائيات هي حالة قناع الشخص الإجمالي، وملف تعريف المخاطر الإجمالي، وحالة إجمالي الأشخاص، وإجمالي عدد الأشخاص، ونسب التباعد الاجتماعي، ومخطط النسب.

دراسة الحالة 4: الكشف عن العنف في المطار

أخيرًا، تهدف إحدى مجموعاتنا إلى تطوير إطار للكشف عن العنف الذي يقدر أوضاع الإنسان ويصنف السلوك العنيف في لقطات المراقبة (كما هو موضح في الشكل أدناه). بدلاً من استخراج الميزات مباشرة من إطارات الفيديو، يستخدم إطار العمل هذا ViTPose لاكتشاف الأوضاع البشرية في كل إطار، ثم يقوم بالمعالجة المسبقة واستخراج الميزات من معلومات النقاط الرئيسية.

من خلال تحليل شامل لنماذج مختلفة باستخدام مجموعات بيانات متعددة (متسلسلة قائمة على الزاوية، وقائمة على المسافة، وثانية واحدة وثانيتين) مع إجمالي 1 مجموعة من المعلمات الفائقة، حدد الفريق أخيرًا العديد من النماذج الواعدة التي تلبي معايير التقييم المحددة. يمكن للمرء أن يستنتج أن النماذج يمكنها استخلاص معلومات قيمة حول السلوك العنيف باستخدام ميزات المسافة لنقاط الجسم الرئيسية كما هو موضح في الشكل أدناه.

أخيرًا، من خلال التعاون مع Saab UK، يمكن لطلابنا تطوير نماذج الذكاء الاصطناعي الخاصة بهم ودمجها مع النظام الأساسي على المستوى الصناعي (SAFE)، وهي منصة قوية للتوعية بالموقف تستخدم على نطاق واسع في العديد من مراكز الشرطة في المملكة المتحدة للمراقبة. يتم تطبيق بوابة KAFKA باتباع محرك الذكاء الاصطناعي وإعادة توجيهها إلى محطة العميل لمزيد من العرض والتنبيهات. إذا تم اكتشاف أي عنف في الفيديو الذي تم اعتراضه باستخدام المربعات المحيطة، فسيؤدي ذلك إلى تشغيل الإنذار الذي قمنا بتكوينه خصيصًا لنموذجنا الذي يعرض الفيديو الذي تم اعتراضه في تخطيط عميل SAFE، وسيقدم لنا رسالة تنبيه تحتوي على التفاصيل. في النهاية، نجح طلابنا في نشر نموذج الذكاء الاصطناعي من مركز DARTeC الخاص بنا والتواصل مع نظام Saab SAFE لزيادة الوعي بالوضع الإنساني.

خلق مهندسي الذكاء الاصطناعي التطبيقي للمستقبل

هذه ليست سوى أمثلة قليلة مختارة من مشاريع الناتج المحلي الإجمالي المثيرة للاهتمام من دورة ماجستير AAI. في الآونة الأخيرة، تم تنفيذ مشاريع الناتج المحلي الإجمالي الأكثر تحديًا في واجهة قابلة للتفسير مع الذكاء الاصطناعي، والتفكير السببي لتخطيط حركة الاستقلالية، والذكاء الاصطناعي المستنيرة بالفيزياء للمركبات ذاتية القيادة، وإدارة المجال الجوي المستقبلي من قبل طلابنا الحاليين. نعتقد أنه سيتم تقديم المزيد من الأبحاث المثيرة من قبل طلاب الماجستير لدينا قريبًا.

تحقق من المنشورات البحثية التالية من طلابنا خلال الناتج المحلي الإجمالي لمعرفة مدى إثارة الحلول والنتائج النهائية:

• أوسيغبيسان، أديمي، سولين بارات، هاركيرات سينغ، دونجزي شيا، سيدهارث سينغ، يانغ شينغ، ويسي غو، وأنطونيو تسوردوس. "الكشف عن السقوط على أساس الرؤية في بيئة صيانة الطائرات مع تقدير الوضعية." في مؤتمر IEEE الدولي لعام 2022 حول دمج وتكامل أجهزة الاستشعار المتعددة للأنظمة الذكية (MFI)، الصفحات من 1 إلى 6. معهد مهندسي الكهرباء والإلكترونيات، 2022.
• فريزر، بنجامين، بريندان كوب، جوربريت سينغ، أورهان كيفان، تونغفي بيان، فالنتين سونتاغ، يانغ شينغ، ويسي غو، وأنطونيو تسوردوس. "الحد من انتقال الفيروس من خلال مراقبة الحشود وتحليل التباعد الاجتماعي القائم على الذكاء الاصطناعي." في مؤتمر IEEE الدولي لعام 2022 حول دمج وتكامل أجهزة الاستشعار المتعددة للأنظمة الذكية (MFI)، الصفحات من 1 إلى 6. معهد مهندسي الكهرباء والإلكترونيات، 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. and Tsourdos, A., 2023, أغسطس. الكشف عن العنف على مرحلتين باستخدام نماذج ViTPose والتصنيف في المطارات الذكية. في عام 2023 مؤتمر IEEE Smart World (SWC) (الصفحات 797-802). IEEE.
• بينوا، بول، مارك بريسون، يانغ شينغ، ويسي غو، وأنطونيو تسوردوس. "الكشف عن أعمال العنف القائمة على الرؤية في الوقت الحقيقي من خلال كاميرات الدوائر التلفزيونية المغلقة مع تقدير الوضعية." في مؤتمر IEEE Smart World Conference (SWC) لعام 2023، الصفحات من 844 إلى 849. معهد مهندسي الكهرباء والإلكترونيات، 2023.