Hơn nữa, điều cần cân nhắc quan trọng là làm thế nào các công nghệ AI này có thể thích ứng và cách mạng hóa các hệ sinh thái hiện có trong cơ sở hạ tầng có giá trị cao và nhu cầu cao, như sân bay, máy bay và các hệ thống di chuyển tiên tiến khác nhau.

Sử dụng các công nghệ AI tiên tiến và tận dụng lợi thế nền tảng của Đại học Cranfield, Khóa học Trí tuệ nhân tạo ứng dụng ThS nhằm mục đích đào tạo các nhà lãnh đạo tương lai về AI ứng dụng trên các lĩnh vực kỹ thuật đa dạng. Mục tiêu chính của nó là đẩy nhanh việc phát triển và triển khai các công nghệ AI đáng tin cậy cho các ứng dụng quan trọng về an toàn trên toàn thế giới.

Dự án thiết kế nhóm (GDP) là một mô-đun học tập dựa trên vấn đề và mục tiêu của GDP là giúp sinh viên thiết kế, triển khai, xác thực và thử nghiệm các hệ thống dựa trên AI theo thời gian thực để giải quyết các vấn đề trong thế giới thực. GDP cũng nhằm mục đích cung cấp cho sinh viên trải nghiệm làm việc trong một dự án kỹ thuật hợp tác, đáp ứng các yêu cầu của khách hàng tiềm năng và tôn trọng thời hạn.

Vào năm 2022 và 2023, các sinh viên đăng ký học Thạc sĩ Trí tuệ nhân tạo ứng dụng của chúng tôi được giao một dự án thiết kế nhóm có yêu cầu cao và đầy hứng thú. Mục tiêu là tận dụng kiến ​​thức AI ứng dụng có được từ khóa học của họ để phát triển các sản phẩm sân bay sáng tạo và an toàn hơn. Làm việc trong các nhóm nhỏ gồm sáu cá nhân, sinh viên được giao nhiệm vụ thiết kế các giải pháp bao gồm kiến ​​trúc phần mềm và phần cứng, phát triển và thử nghiệm mô hình AI cũng như các khía cạnh tương tác trong thế giới thực.

Chủ đề của dự án được cố ý mở rộng, yêu cầu học sinh cộng tác trong nhóm của mình để khám phá và cải tiến các lĩnh vực quan tâm cụ thể dựa trên chuyên môn và sở thích chung của họ. Cách tiếp cận này thúc đẩy sự sáng tạo, tinh thần đồng đội và hiểu biết sâu sắc hơn về ứng dụng thực tế của công nghệ AI trong các tình huống thực tế.

Mỗi nhóm được yêu cầu phát triển các giải pháp AI thời gian thực cho các sân bay thông minh để đạt được các chức năng sau:

1. Hệ thống phải có khả năng phát hiện người dùng là con người và ước tính tư thế cũng như hành vi của họ dựa trên việc phát hiện và theo dõi tư thế chính xác.
2. Hệ thống sẽ có thể phân loại các hành vi khác nhau của đám đông và làm rõ lý do, tầm quan trọng và tính khả thi.
3. Mô hình AI phải được xác thực chéo với các số liệu khác nhau về độ chính xác, tính toán và suy luận.
4. Mô hình AI có thể được triển khai trong thời gian thực để cung cấp thông tin về ưu điểm và nhược điểm của các công nghệ AI hiện tại trong các ứng dụng quan trọng về an toàn này.
5. Hệ thống có thể dựa vào các nguồn cảm biến khác nhau làm đầu vào để cho phép phản ứng tổng hợp cảm biến để đạt được hiệu suất mạnh mẽ, tuy nhiên, các giải pháp hiệu quả nhưng chi phí rất thấp cũng được hoan nghênh.

Nghiên cứu trường hợp 1: Phát hiện té ngã trong môi trường bảo trì máy bay.

Môi trường bảo trì gây ra những mối nguy hiểm đáng kể, bao gồm máy móc không được giám sát, hàng rào hoặc biện pháp bảo vệ vật lý không đầy đủ ở gần khu vực nguy hiểm và không gian làm việc bừa bộn. Trong số những rủi ro này, thương tích do té ngã gây tử vong là phổ biến ở mức đáng báo động. Việc phát hiện và báo cáo kịp thời các sự cố không gây tử vong có thể ngăn ngừa tổn hại hoặc tử vong thêm. Do đó, công trình này đề xuất một hệ thống dựa trên thị giác tích hợp để giám sát nhân viên trong các hoạt động bảo trì máy bay, nâng cao độ an toàn và ngăn ngừa tai nạn (xem hình bên dưới).

Từ kết quả đào tạo và xác nhận ban đầu của mô hình được thiết kế, sự vắng mặt rõ ràng của bộ dữ liệu bảo trì nhà chứa máy bay sân bay được tạo sẵn cho thấy khả năng sai lệch đối với hình ảnh từ các video được quay từ các góc camera vuông góc được chụp từ gần đối tượng. Tận dụng lợi thế của Cranfield, nhà chứa máy bay bảo trì của Đại học Cranfield đã được chọn và sử dụng để thu thập dữ liệu trong dự án này.

Tổng cộng có khoảng 50 video ngắn (từ hai đến năm phút) về các hoạt động bảo trì mô phỏng đã được ghi lại, một số có trường hợp bị ngã và một số khác thì không. Các video đã quay được tách thành khung và được chú thích bằng thư viện phần mềm ước tính tư thế MoveNet và bản đồ vectơ về các vị trí khớp chính của đối tượng đã được tạo. Hình dưới đây hiển thị một số ảnh chụp nhanh của dữ liệu thử nghiệm.

Các sinh viên của chúng tôi đã thử nghiệm các phương pháp tiếp cận mạng nơ-ron tích chập 1-D, 2-D và 3-D để đánh giá định lượng thiết kế của mô hình AI mạnh mẽ nhất. Hình dưới đây là minh họa cho các giải pháp tích chập 3-D.

Cuối cùng, các giải pháp AI được đề xuất đã đạt được kết quả phát hiện tốt đối với hành vi rơi như trong hình bên dưới. Một vài kết luận có thể được rút ra. Đầu tiên, mô hình có 0 phân loại FP, điều này cho thấy mô hình không phân loại sai một cú ngã. Thứ hai, có 940 kết quả âm tính thực sự cho mỗi mô hình, điều này có thể là do mỗi dữ liệu thử nghiệm chứa một phần không rơi (được phân loại là 0) trước khi tác nhân bị ngã.

Nghiên cứu trường hợp 2: Phát hiện dấu hiệu sinh tồn của nhồi máu cơ tim bằng thị giác máy tính và AI biên

Edge AI đề cập đến việc triển khai các ứng dụng trí tuệ nhân tạo trong các thiết bị nằm trên môi trường vật lý. Giá cả phải chăng và dễ sử dụng là những yếu tố chính trong việc áp dụng thuật toán AI trong các tình huống mà người dùng cuối gặp phải những thách thức trong thế giới thực. Trong dự án này, sinh viên của chúng tôi đã đề xuất một mô hình phát hiện cơn đau tim nhẹ và chi phí thấp để ứng phó và cứu hộ nhanh chóng tại sân bay. Quá trình này bao gồm bốn giai đoạn chính như thể hiện trong hình dưới đây.

Giai đoạn đầu tiên bao gồm việc lựa chọn và chuẩn bị một tập dữ liệu hình ảnh thích hợp, cùng với các chú thích cần thiết cho các khung giới hạn của các lớp (đau ngực, ngã).

Hơn nữa, giai đoạn thứ hai là quá trình đào tạo mô hình phát hiện đối tượng của chúng tôi thông qua học chuyển giao. Giai đoạn cụ thể được thực hiện trong Google Colab, sử dụng PyTorch. Sau đó, sau khi hoàn thành giai đoạn đào tạo, mô hình này đã được chèn vào Jetson Nano của NVIDIA, đây là thiết bị nhúng được chúng tôi lựa chọn để sử dụng cho ứng dụng thị giác máy tính Edge AI của chúng tôi.

Giai đoạn thứ ba trong thiết kế hệ thống của chúng tôi là chuyển đổi và tối ưu hóa phù hợp mô hình để nó chạy hiệu quả hơn trên Jetson Nano. Việc tối ưu hóa mô hình của chúng tôi được thực hiện bằng công cụ suy luận TensorRT của NVIDIA và quy trình cụ thể được thực thi trong Jetson Nano (như minh họa trong hình bên dưới).

Bước cuối cùng là thực thi mô hình được tối ưu hóa trên Jetson Nano, sử dụng các khung hình mà nó nhận được từ máy ảnh web làm đầu vào để thực hiện quy trình phát hiện đối tượng theo thời gian thực và phát hiện các lớp của chúng tôi (đau ngực, ngã). Cùng với quá trình này, trong mã suy luận chạy trên Jetson Nano, có hai tình huống cụ thể. Kết quả suy luận cuối cùng được thể hiện trong hình dưới đây.

Nghiên cứu điển hình 3: Giám sát đám đông và phân tích giãn cách xã hội

Các sân bay có lượng hành khách khổng lồ mỗi ngày và tương tự như các địa điểm và tổ chức đông đúc khác, họ phải đảm bảo an toàn công cộng và đảm bảo thực hiện các biện pháp thích hợp để giảm thiểu rủi ro trong đại dịch. Trong dự án này, các sinh viên của chúng tôi đã đề xuất một hệ thống dựa trên thị giác máy tính tích hợp cung cấp khả năng giám sát và phân tích đám đông đa chức năng trên khắp các sân bay. Đầu ra của hệ thống nhằm mục đích mang lại lợi ích cho cả nhân viên quản lý sân bay và hành khách, thông qua việc cung cấp thông tin và phân tích dựa trên đám đông.

Hệ thống này bao gồm một nền tảng tích hợp (xem hình bên dưới) để phân tích và giám sát đám đông ở các địa điểm công cộng bằng cách sử dụng nguồn cấp dữ liệu giám sát video. Trọng tâm đặc biệt là các sân bay thông minh, nhưng khuôn khổ cơ bản có thể thích ứng với mọi bối cảnh công cộng nơi việc phân tích và giám sát các đặc điểm của đám đông là hữu ích.

Các đặc điểm tư thế được trích xuất từ ​​một cảnh được các mô hình hạ nguồn của hệ thống sử dụng để thực hiện các tác vụ duy nhất. Điều này bao gồm đếm người, ước tính khoảng cách giữa các cá nhân, phát hiện đối tượng đeo mặt nạ, phân loại trạng thái (ngồi, đứng, đi, nằm, v.v.) và phân nhóm xã hội. Các kết quả sau đó được kết hợp để tạo thành bảng điều khiển và hệ thống giám sát tích hợp. Ngoại trừ việc sử dụng chung các tính năng tư thế, các tác vụ này thể hiện những thách thức riêng với các phương pháp lập mô hình khác nhau. May mắn thay, do thiết kế hệ thống mô-đun nên có thể trừu tượng hóa từng nhiệm vụ và nhờ các thành viên khác nhau trong nhóm phát triển chúng.

Cuối cùng, một giao diện có thể tương tác được thiết kế để tích hợp tất cả các đầu ra xuôi dòng vào một khung nhìn duy nhất (xem hình bên dưới). Ứng dụng tải các tệp dữ liệu do mô hình hạ nguồn tạo lên bảng điều khiển theo thời gian thực để có thể thực hiện phân tích trạng thái hiện tại của cảnh. Tại bất kỳ thời điểm nào, bạn có thể xem đoạn phim gốc của cảnh đó cùng với các đặc điểm tư thế được trích xuất từ ​​mỗi người trên trình phát video liền kề. Người ra quyết định có thể chuyển đổi giữa chế độ xem boxplot sang chế độ xem bản đồ nhiệt và sau đó thay đổi cảnh quay mà dữ liệu đang được nhận từ hai menu thả xuống. Thống kê liên quan đến cảnh được hiển thị ở bên phải của khung nhìn. Các số liệu thống kê này là tổng trạng thái khẩu trang của mỗi người, tổng hồ sơ rủi ro, tổng trạng thái đặt ra của người, tổng số người, tỷ lệ giãn cách xã hội và biểu đồ tỷ lệ.

Trường hợp 4: Phát hiện bạo lực tại sân bay

Cuối cùng, một trong các nhóm của chúng tôi nhằm mục đích phát triển khung phát hiện bạo lực nhằm ước tính tư thế của con người và phân loại hành vi bạo lực trong đoạn phim giám sát (như minh họa trong hình bên dưới). Thay vì trích xuất trực tiếp các đặc điểm từ khung hình video, khung này sử dụng ViTPose để phát hiện tư thế của con người trong từng khung hình, sau đó xử lý trước và trích xuất các đặc điểm từ thông tin các điểm chính.

Phân tích toàn diện các mô hình khác nhau bằng cách sử dụng nhiều bộ dữ liệu (dựa trên góc, dựa trên khoảng cách, chuỗi 1 giây và 2 giây) với tổng số 162 kết hợp siêu tham số, nhóm cuối cùng đã xác định được một số mô hình đầy hứa hẹn đáp ứng các tiêu chí đánh giá cụ thể. Người ta có thể kết luận rằng các mô hình có thể trích xuất thông tin có giá trị về hành vi bạo lực bằng cách sử dụng các đặc điểm khoảng cách của các điểm chính trên cơ thể như trong hình bên dưới.

Cuối cùng, bằng cách cộng tác với Saab Vương quốc Anh, sinh viên của chúng tôi có thể phát triển và tích hợp các mô hình AI của họ với nền tảng cấp công nghiệp (SAFE), một nền tảng nhận thức tình huống mạnh mẽ được sử dụng rộng rãi ở nhiều đồn cảnh sát Vương quốc Anh để giám sát. Cổng KAFKA được áp dụng theo công cụ AI và được chuyển tiếp đến thiết bị đầu cuối của khách hàng để hiển thị và cảnh báo thêm. Nếu có bất kỳ hành vi bạo lực nào được phát hiện trong video bị chặn có hộp giới hạn, nó sẽ kích hoạt cảnh báo mà chúng tôi đã định cấu hình cụ thể cho mô hình của mình hiển thị video bị chặn trong bố cục máy khách AN TOÀN, nó sẽ cung cấp cho chúng tôi thông báo cảnh báo chi tiết. Cuối cùng, các sinh viên của chúng tôi đã triển khai thành công mô hình AI từ trung tâm DARTeC của chúng tôi và liên lạc với hệ thống Saab SAFE để nâng cao nhận thức về tình huống của con người.

Tạo ra các kỹ sư AI ứng dụng trong tương lai

Đây chỉ là một số mẫu được chọn lọc về các dự án GDP thú vị từ khóa học ThS AAI. Gần đây, các dự án GDP đầy thách thức hơn về giao diện có thể giải thích được với AI, lý luận nhân quả để lập kế hoạch chuyển động tự chủ, AI thông tin vật lý cho phương tiện tự hành và quản lý không phận trong tương lai đã được các sinh viên hiện tại của chúng tôi thực hiện. Chúng tôi tin rằng các nghiên cứu thú vị hơn sẽ sớm được các sinh viên ThS của chúng tôi thực hiện.

Kiểm tra các ấn phẩm nghiên cứu sau đây của sinh viên của chúng tôi trong GDP để biết các giải pháp và kết quả cuối cùng trông thú vị như thế nào:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo và Antonios Tsourdos. “Phát hiện rơi dựa trên tầm nhìn trong môi trường bảo trì máy bay với ước tính tư thế.” Năm 2022, Hội nghị quốc tế của IEEE về Tích hợp và kết hợp đa cảm biến cho các hệ thống thông minh (MFI), trang 1-6. IEEE, 2022.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo và Antonios Tsourdos. “Giảm sự lây truyền vi-rút thông qua Giám sát đám đông và Phân tích khoảng cách xã hội dựa trên AI.” Năm 2022, Hội nghị quốc tế của IEEE về Tích hợp và kết hợp đa cảm biến cho các hệ thống thông minh (MFI), trang 1-6. IEEE, 2022.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. và Tsourdos, A., 2023, Tháng tám. Phát hiện bạo lực hai giai đoạn bằng cách sử dụng mô hình phân loại và ViTPose tại các sân bay thông minh. Vào năm 2023, Đại hội Thế giới Thông minh IEEE (SWC) (trang 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo và Antonios Tsourdos. “Phát hiện hành động bạo lực dựa trên tầm nhìn theo thời gian thực thông qua camera CCTV với ước tính tư thế.” Vào năm 2023, Đại hội Thế giới Thông minh IEEE (SWC), trang 844-849. IEEE, 2023.