יתרה מכך, שיקול מכריע הוא כיצד טכנולוגיות בינה מלאכותיות אלו יכולות להסתגל ולחולל מהפכה במערכות אקולוגיות קיימות בתוך תשתיות בעלות ערך גבוה וביקוש גבוה, כגון שדות תעופה, מטוסים ומערכות ניידות מתקדמות שונות.

ניצול טכנולוגיות AI חדשניות ומינוף יתרונות הפלטפורמה של אוניברסיטת קרנפילד, ה קורס MSc בינה מלאכותית יישומית שואפת לטפח מנהיגים עתידיים ב-AI יישומי בתחומי הנדסה מגוונים. המטרה העיקרית שלה היא לזרז את הפיתוח והפריסה של טכנולוגיות AI אמינות עבור יישומים קריטיים לבטיחות ברחבי העולם.

פרויקט העיצוב הקבוצתי (GDP) הוא מודול למידה מבוסס-בעיות, ומטרת ה-GDP היא שהסטודנטים יעצבו, יישמו, יתמתו ויבדקו מערכות מבוססות בינה מלאכותית בזמן אמת כדי לפתור בעיות בעולם האמיתי. התמ"ג שואפת גם לספק לסטודנטים ניסיון בעבודה על פרויקט הנדסי שיתופי, עמידה בדרישות של לקוח פוטנציאלי ושמירה על מועדים.

בשנים 2022 ו-2023, סטודנטים שנרשמו לתואר שני בבינה מלאכותית יישומית קיבלו פרויקט עיצוב קבוצתי מעורר ותובעני. המטרה הייתה למנף את הידע היישומי של AI שנרכשו מהקורסים שלהם כדי לפתח מוצרים חדשניים ובטוחים יותר לשדה תעופה. בעבודה בצוותים קטנים של שישה אנשים, הוטל על התלמידים לתכנן פתרונות הכוללים ארכיטקטורת תוכנה וחומרה, פיתוח ובדיקות מודלים של AI, כמו גם היבטי מעורבות בעולם האמיתי.

נושא הפרויקט היה רחב בכוונה, ודרש מהסטודנטים לשתף פעולה בתוך קבוצותיהם כדי לחקור ולחדד תחומי עניין ספציפיים בהתבסס על המומחיות והתחומי העניין הקולקטיביים שלהם. גישה זו טיפחה יצירתיות, עבודת צוות והבנה מעמיקה יותר של היישום המעשי של טכנולוגיות AI בתרחישים בעולם האמיתי.

כל קבוצה התבקשה לפתח פתרונות בינה מלאכותית בזמן אמת עבור שדות תעופה חכמים כדי להשיג את הפונקציות הבאות:

1. המערכת תהיה מסוגלת לזהות משתמשים אנושיים ולהעריך את התנוחות וההתנהגויות שלהם על סמך זיהוי ומעקב מדויקים של תנוחות.
2. המערכת תהיה מסוגלת לסווג התנהגויות קהל שונות ולהבהיר את הסיבות, החשיבות והאפשרויות.
3. יש לאמת את מודל הבינה המלאכותית עם מדדים שונים בדיוק, מחשוב והסקת מסקנות.
4. מודל הבינה המלאכותית אמור להיות מסוגל להיות מיושם בזמן אמת כדי לספק מידע על היתרונות והחסרונות של טכנולוגיות הבינה המלאכותית הנוכחיות ביישומים קריטיים לבטיחות הללו.
5. המערכת יכולה להסתמך על מקורות חיישנים שונים כקלט כדי לאפשר היתוך חיישנים לביצועים חזקים, עם זאת, גם פתרונות זולים מאוד אך יעילים יתקבלו בברכה.

מקרה מבחן 1: זיהוי נפילה בסביבת תחזוקה של מטוס.

סביבות תחזוקה מהוות סכנות משמעותיות, לרבות מכונות ללא השגחה, גידור לא מספיק או שמירה פיזית בקרבת אזורים מסוכנים ושטחי עבודה עמוסים. בין הסיכונים הללו, פציעות נפילה קטלניות שכיחות באופן מדאיג. איתור ודיווח על תקריות לא קטלניות באופן מיידי עשוי למנוע נזק נוסף או מקרי מוות. לכן, עבודה זו מציעה מערכת משולבת מבוססת חזון לניטור עובדים במהלך פעולות תחזוקת מטוסים, שיפור הבטיחות ומניעת תאונות (ראה איור להלן).

מההכשרה הראשונית ותוצאות האימות של המודל המעוצב, היעדר לכאורה של מערך נתונים מוכן לתחזוקת האנגר של נמל תעופה מציג אפשרות של הטיה לתמונות מסרטונים שצולמו מזוויות מצלמה מאונכות שצולמו מקרבה לנושא. תוך מינוף היתרונות של Cranfield, האנגר תחזוקה של אוניברסיטת Cranfield נבחר ושימשו לאיסוף הנתונים בפרויקט זה.

בסך הכל תועדו כ-50 סרטונים קצרים (שתיים עד חמש דקות) של פעולות תחזוקה מדומות, חלקם עם נפילות ואחרים בלי. קטעי הווידאו שצולמו הופשטו לפריימים והובאו הערות באמצעות ספריית תוכנת הערכת התנוחות של MoveNet ונוצרו מפות וקטוריות של מיקומי המפרקים המרכזיים של הנבדק. האיור שלהלן מציג כמה תמונות של נתוני הניסוי.

התלמידים שלנו בדקו את גישות הרשת העצבית הקונבולוציונית התלת-ממדית, הדו-ממדית והתלת-ממדית כדי להעריך כמותית את העיצוב של מודל הבינה המלאכותית החזק ביותר. האיור שלהלן הוא הדגמה של פתרונות התלת-ממד.

לבסוף, פתרונות הבינה המלאכותית המוצעים השיגו תוצאות זיהוי טובות עבור התנהגות הנפילה כפי שמוצג באיור למטה. אפשר להסיק כמה מסקנות. ראשית, למודל היו 0 סיווגי FP מה שמרמז על כך שהמודל אינו סווג בטעות של נפילה. שנית, יש 940 שליליות אמיתיות לכל דגם, סביר להניח שזה יכול להיות בגלל שכל נתוני בדיקה מכילים חלק של אי-נפילות (מסווגות כ-0) לפני שהשחקן נופל.

מקרה מבחן 2: זיהוי סימנים חיוניים של אוטם שריר הלב באמצעות ראייה ממוחשבת ובינה מלאכותית קצה

Edge AI מתייחס לפריסה של יישומי בינה מלאכותית במכשירים הממוקמים על פני הסביבה הפיזית. סבירות וקלות שימוש הם גורמים מרכזיים באימוץ אלגוריתמי AI במצבים שבהם משתמשי קצה נתקלים באתגרים בעולם האמיתי. בפרויקט זה, הסטודנט שלנו הציע מודל זיהוי התקפי לב בעלות נמוכה וקל משקל לתגובה מהירה וחילוץ בשדה התעופה. התהליך מורכב מארבעה שלבים עיקריים כפי שמוצג באיור למטה.

השלב הראשון מהווה בחירה והכנה מתאימה של מערך תמונות, יחד עם ההערות הנדרשות לתיבות התוחמות של השיעורים (כאבי חזה, נפילה).

יתר על כן, כשלב שני מגיע האימון של מודל גלאי האובייקטים שלנו באמצעות למידת העברה. השלב הספציפי בוצע ב-Google Colab, באמצעות PyTorch. לאחר מכן, לאחר השלמת שלב ההכשרה, הדגם הוכנס ל-Jetson Nano של NVIDIA, שהיה ההתקן המוטמע שנבחר שלנו שישמש עבור אפליקציית ראיית המחשב Edge AI שלנו.

השלב השלישי בתכנון המערכת שלנו היה ההמרה והאופטימיזציה המתאימים של המודל, כדי שהוא יפעל בצורה יעילה יותר על Jetson Nano. האופטימיזציה של המודל שלנו בוצעה באמצעות מנוע ההסקה TensorRT של NVIDIA והתהליך הספציפי בוצע בג'טסון ננו (כפי שמוצג באיור למטה).

השלב האחרון הוא ביצוע המודל הממוטב על Jetson Nano, תוך שימוש כקלט במסגרות שהוא מקבל ממצלמת אינטרנט, כדי לבצע את תהליך זיהוי האובייקטים בזמן אמת ולזהות את השיעורים שלנו (כאבי חזה, נפילה). יחד עם התהליך הזה, בקוד ההסקה שפועל על Jetson Nano, היו שני תרחישים ספציפיים. תוצאות ההסקה הסופיות מוצגות באיור שלהלן.

מקרה מבחן 3: ניטור המונים וניתוח ריחוק חברתי

בשדות התעופה יש זרם עצום של זרימת נוסעים בכל יום, ובדומה למקומות וארגונים צפופים אחרים, עליהם להבטיח את בטיחות הציבור ולהבטיח אמצעים נאותים שייושמו כדי להפחית סיכונים במהלך מגיפות. בפרויקט זה, התלמידים שלנו הציעו מערכת משולבת מבוססת ראייה ממוחשבת המספקת ניטור וניתוח קהל רב תפקודי בכל שדות תעופה. תפוקות המערכת נועדו להועיל לצוות הנהלת נמל התעופה ולנוסעים כאחד, באמצעות אספקת ניתוחים ומודיעין מבוססי קהל.

המערכת מורכבת מפלטפורמה משולבת (ראה באיור למטה) לניתוח וניטור המונים במקומות ציבוריים באמצעות עדכוני מעקב וידאו. ההתמקדות היא ספציפית בשדות תעופה חכמים, אך המסגרת הבסיסית ניתנת להתאמה לכל הקשר ציבורי שבו ניתוח ומעקב אחר מאפייני הקהל מועילים.

תכונות התנוחה שחולצו מסצנה משמשות מודלים במורד הזרם של המערכת לביצוע משימות ייחודיות. זה כולל ספירת אנשים, הערכת מרחק בין-אישי, זיהוי אובייקטים במסכה, סיווג סטטוס (ישיבה, עמידה, הליכה, שוכב וכו') וקיבוץ חברתי. התוצאות משולבות לאחר מכן ליצירת לוח המחוונים המשולב ומערכת הניטור. למעט השימוש הנפוץ בתכונות הפוזה, משימות אלו מייצגות אתגרים ייחודיים עם גישות דוגמנות שונות. למרבה המזל, הודות לתכנון המערכת המודולרית, ניתן היה להפשט כל משימה ולגרום לחברי צוות שונים לפתח אותה.

לבסוף, ממשק בר אינטראקציה מתוכנן לשלב את כל הפלטים במורד הזרם לתוך נקודת מבט אחת (ראה את האיור למטה). האפליקציה מעלה קבצי נתונים שנוצרו על ידי הדגמים במורד הזרם ללוח המחוונים בזמן אמת, כך שניתן לבצע ניתוח של המצב הנוכחי של הסצנה. בכל זמן נתון, ניתן לצפות בצילומים המקוריים של הסצנה, יחד עם תכונות התנוחה שחולצו מכל אדם בנגן וידאו הסמוך לה. מקבל ההחלטות יכול לעבור בין תצוגת תרשים קופסה לתצוגת מפת חום, ולאחר מכן לשנות את הצילומים שהנתונים מתקבלים משני תפריטים נפתחים. נתונים סטטיסטיים לגבי הסצנה מוצגים מימין לנקודת התצוגה. נתונים סטטיסטיים אלה הם סטטוס מסכת אדם, פרופיל סיכון כולל, סטטוס תנוחות סך כל האנשים, סך כל ספירת האנשים, פרופורציות של ריחוק חברתי ועלילת פרופורציות.

מקרה מבחן 4: גילוי אלימות בשדה התעופה

לבסוף, אחת הקבוצות שלנו שואפת לפתח מסגרת לגילוי אלימות שמעריכה תנוחות אנושיות ומסווגת התנהגות אלימה בצילומי מעקב (כפי שמוצג באיור למטה). במקום לחלץ תכונות ישירות מפריימים של וידאו, המסגרת הזו משתמשת ב-ViTPose כדי לזהות תנוחות אנושיות בכל פריים, ואז מעבדת מראש ומחלצת תכונות ממידע נקודות המפתח.

ניתוח מקיף של מודלים שונים תוך שימוש במספר מערכי נתונים (מבוסס זווית, מבוסס מרחק, 1 שנייה ו-2 שניות של רצפים) עם סך של 162 שילובי היפרפרמטרים, הצוות זיהה לבסוף כמה מודלים מבטיחים העומדים בקריטריונים ספציפיים להערכה. ניתן להסיק שמודלים יכולים לחלץ מידע רב ערך על התנהגות אלימה באמצעות תכונות מרחק של נקודות מפתח בגוף כפי שמוצג באיור למטה.

לבסוף, על ידי שיתוף פעולה עם Saab UK, התלמידים שלנו יכולים לפתח ולשלב את דגמי הבינה המלאכותית שלהם עם הפלטפורמה ברמה התעשייתית (SAFE), פלטפורמה רבת עוצמה למודעות למצב שנמצאת בשימוש נרחב בתחנות משטרה רבות בבריטניה לצורך מעקב. שער KAFKA מוחל בעקבות מנוע הבינה המלאכותית ומועבר למסוף הלקוח לתצוגה והתראות נוספות. אם יש אלימות שזוהתה בסרטון שיירט עם תיבות תוחמות, זה יפעיל את האזעקה שהגדרנו במיוחד עבור הדגם שלנו, המציגה את הסרטון שיירט בפריסת הלקוח SAFE, היא תיתן לנו את הודעת ההתראה עם פרטים. בסופו של דבר, התלמידים שלנו פרסו בהצלחה את מודל הבינה המלאכותית ממרכז DARTeC שלנו ותקשרו עם מערכת Saab SAFE להגברת המודעות למצב אנושי.

יצירת מהנדסי ה-AI המיושמים של העתיד

אלו הן רק כמה דוגמאות נבחרות של פרויקטי תוצר מעניינים מהקורס MSc AAI. לאחרונה בוצעו פרויקטים מאתגרים יותר של GDP בממשק ניתן להסבר עם AI, נימוקים סיבתיים לתכנון תנועת אוטונומיה, AI מבוסס-פיזיקה עבור כלי רכב אוטונומיים וניהול מרחב אווירי עתידי נעשו על ידי התלמידים הנוכחיים שלנו. אנו מאמינים שמחקר מרגש יותר יועבר על ידי סטודנטים לתואר שני שלנו בקרוב.

בדוק את פרסומי המחקר הבאים מהתלמידים שלנו במהלך התמ"ג כדי לראות עד כמה הפתרונות והתוצאות הסופיות מעניינים נראים:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo, ו-Antonios Tsourdos. "זיהוי נפילה מבוסס ראייה בסביבת תחזוקת מטוסים עם הערכת תנוחה." בשנת 2022 כנס IEEE הבינלאומי על היתוך ושילוב רב-חיישנים עבור מערכות חכמות (MFI), עמ' 1-6. IEEE, 2022.
• פרייזר, בנג'מין, ברנדן קופ, גורפריט סינג, אורהאן קייבן, טונגפיי ביאן, ולנטין זונטאג, יאנג שינג, וייסי גואו ואנטונוס טסורדוס. "הפחתת העברה ויראלית באמצעות ניטור המונים מבוסס בינה מלאכותית וניתוח ריחוק חברתי." בשנת 2022 כנס IEEE הבינלאומי על היתוך ושילוב רב-חיישנים עבור מערכות חכמות (MFI), עמ' 1-6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. and Tsourdos, A., 2023, אוגוסט. איתור אלימות דו-שלבי באמצעות מודלים של ViTPose וסיווג בשדות תעופה חכמים. בשנת 2023 IEEE Smart World Congress (SWC) (עמ' 797-802). IEEE.
• בנואה, פול, מארק ברסון, יאנג שינג, וייסי גואו ואנטונוס צוורדוס. "זיהוי פעולות אלימות מבוססות ראייה בזמן אמת באמצעות מצלמות במעגל סגור עם אומדן תנוחה." בשנת 2023 IEEE Smart World Congress (SWC), עמ' 844-849. IEEE, 2023.