和风网标志

通过应用人工智能理学硕士团体设计项目探索更安全、更智能的机场 – 克兰菲尔德大学博客

日期:

此外,一个关键的考虑因素是这些人工智能技术如何适应和彻底改变高价值和高需求基础设施(例如机场、飞机和各种先进移动系统)内的现有生态系统。

利用创新的人工智能技术,发挥克兰菲尔德大学的平台优势, 应用人工智能理学硕士课程 旨在培养跨不同工程领域的应用人工智能的未来领导者。其主要目标是加快全球安全关键应用的可靠人工智能技术的开发和部署。

小组设计项目(GDP)是一个基于问题的学习模块,GDP的目的是让学生设计、实现、验证和测试基于人工智能的实时系统来解决现实世界的问题。 GDP 还旨在为学生提供参与协作工程项目、满足潜在客户的要求并遵守截止日期的经验。

2022 年和 2023 年,就读应用人工智能理学硕士的学生被分配了一个刺激且要求较高的小组设计项目。目标是利用从课程中获得的应用人工智能知识来开发创新且更安全的机场产品。学生们以六人组成的小团队的形式工作,其任务是设计解决方案,包括软件和硬件架构、人工智能模型开发和测试,以及现实世界的参与方面。

该项目的主题有意广泛,要求学生在小组内合作,根据他们的集体专业知识和兴趣探索和完善感兴趣的特定领域。这种方法培养了创造力、团队合作精神,并加深了对人工智能技术在现实场景中实际应用的理解。

每个小组被要求开发智能机场的实时人工智能解决方案,以实现以下功能:

  1. 该系统应能够检测人类用户,并基于精确的姿势检测和跟踪来估计他们的姿势和行为。
  2. 系统应能够对不同的人群行为进行分类,并阐明其原因、重要性和可行性。
  3. 人工智能模型应该在准确性、计算和推理方面使用不同的指标进行交叉验证。
  4. 人工智能模型应该能够实时实施,以了解当前人工智能技术在这些安全关键应用中的优点和缺点。
  5. 该系统可以依赖不同的传感器源作为输入,以实现传感器融合以获得强大的性能,但是,成本非常低但高效的解决方案也受到欢迎。

案例研究 1:飞机维护环境中的跌倒检测。

维护环境会带来重大危险,包括无人看管的机械、危险区域附近围栏或物理防护措施不足以及工作空间杂乱。在这些风险中,致命的坠落伤害非常常见。及时发现并报告非致命事件可以防止进一步的伤害或死亡。因此,这项工作提出了一种基于视觉的集成系统,用于在飞机维护活动期间监控员工,提高安全性并防止事故发生(见下图)。

.fusion-gallery-1 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

从设计模型的初始训练和验证结果来看,明显缺乏现成的机场机库维护数据集,这可能会对从接近主题的垂直摄像机角度捕获的视频中的图像产生偏差。利用克兰菲尔德大学的优势,本项目选择并使用克兰菲尔德大学维修机库进行数据收集。

总共录制了大约 50 个模拟维护活动的短视频(两到五分钟),其中一些有跌倒,另一些则没有。捕获的视频被分割成帧,并使用 MoveNet 姿势估计软件库进行注释,并生成主体关键关节位置的矢量图。下图显示了一些实验数据的快照。

.fusion-gallery-2 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

我们的学生测试了 1-D、2-D 和 3-D 卷积神经网络方法,以定量评估最强大的 AI 模型的设计。下图是 3-D 卷积解决方案的演示。

.fusion-gallery-3 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

最后,所提出的人工智能解决方案对跌倒行为取得了良好的检测结果,如下图所示。可以得出一些结论。首先,该模型的 FP 分类为 0,这表明该模型不会对跌倒进行错误分类。其次,每个模型有 940 个真负例,这可能是因为每个测试数据在演员跌倒之前都包含一部分非跌倒(分类为 0)。

.fusion-gallery-4 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

案例二:利用计算机视觉和边缘AI检测心肌梗塞生命体征

边缘人工智能是指在物理环境中的设备中部署人工智能应用程序。在最终用户遇到现实挑战的情况下,经济性和易用性是采用人工智能算法的关键因素。在这个项目中,我们的学生提出了一种低成本、轻量级的心脏病发作检测模型,用于机场的快速响应和救援。该过程由四个主要阶段组成,如下图所示。

.fusion-gallery-5 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

第一阶段包括适当选择和准备图像数据集,以及类别边界框的必要注释(胸痛、跌倒)。

此外,第二阶段是通过迁移学习训练我们的目标检测器模型。具体阶段是在 Google Colab 中使用 PyTorch 进行的。随后,在完成训练阶段后,该模型被插入到 NVIDIA 的 Jetson Nano 中,这是我们选择用于 Edge AI 计算机视觉应用的嵌入式设备。

我们系统设计的第三阶段是对模型进行适当的转换和优化,使其在 Jetson Nano 上更高效地运行。我们的模型的优化是使用NVIDIA的TensorRT推理引擎进行的,具体过程是在Jetson Nano中执行的(如下图所示)。

.fusion-gallery-6 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

最后一步是优化模型在 Jetson Nano 上的执行,使用从网络摄像头接收到的帧作为输入,执行实时对象检测过程并检测我们的类别(胸痛、跌倒)。伴随着这个过程,在 Jetson Nano 上运行的推理代码中,有两个特定的场景。最终的推理结果如下图所示。

.fusion-gallery-7 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

案例研究 3:人群监测和社交距离分析

机场每天都有大量客流涌入,与其他拥挤的场所和组织类似,机场必须确保公共安全,并确保采取适当的措施来减轻大流行期间的风险。在这个项目中,我们的学生提出了一个基于计算机视觉的集成系统,该系统可以在整个机场提供多功能人群监控和分析。该系统的输出旨在通过提供基于人群的分析和情报,使机场管理人员和乘客受益。

该系统由一个集成平台(见下图)组成,用于使用视频监控源来分析和监控公共场所的人群。重点特别是智能机场,但基本框架适用于分析和监控人群特征有用的任何公共环境。

.fusion-gallery-8 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

系统下游模型使用从场景中提取的姿势特征来执行独特的任务。这包括人数统计、人际距离估计、面具对象检测、状态分类(坐、站、走、躺等)和社交聚类。然后将结果组合起来形成集成的仪表板和监控系统。除了姿势特征的常见使用之外,这些任务代表了不同建模方法的独特挑战。幸运的是,由于模块化系统设计,可以抽象每个任务并让不同的团队成员开发它们。

.fusion-gallery-9 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

最后,设计了一个可交互的界面,将所有下游输出集成到一个视口中(见下图)。该应用程序将下游模型创建的数据文件实时上传到仪表板,以便分析场景的当前状态。在任何给定时间,都可以查看场景的原始镜头,以及从邻近视频播放器上的每个人提取的姿势特征。决策者可以在箱线图视图和热图视图之间切换,然后更改从两个下拉菜单接收数据的片段。有关场景的统计信息显示在视口的最右侧。这些统计数据包括总人数口罩状态、总风险状况、总人数姿势状态、总人数、社交距离比例和比例箱线图。

.fusion-gallery-10 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

案例研究 4:机场暴力检测

最后,我们的一个小组旨在开发一种暴力检测框架,该框架可以估计人体姿势并对监控录像中的暴力行为进行分类(如下图所示)。该框架没有直接从视频帧中提取特征,而是使用 ViTPose 检测每帧中的人体姿势,然后对关键点信息进行预处理和提取特征。

.fusion-gallery-11 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

通过使用多个数据集(基于角度、基于距离、1秒和2秒序列)以及总共162个超参数组合对各种模型进行综合分析,团队最终确定了几个符合特定评估标准的有前景的模型。可以得出结论,模型可以利用身体关键点的距离特征来提取有关暴力行为的有价值的信息,如下图所示。

.fusion-gallery-12 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

最后,通过与英国萨博合作,我们的学生可以开发他们的人工智能模型并将其与工业级平台(SAFE)集成,这是一个强大的态势感知平台,广泛应用于英国许多警察局的监控。 KAFKA网关跟随AI引擎应用并转发至客户端进一步显示和提醒。如果在带有边界框的截获视频中检测到任何暴力行为,它将触发我们专门为我们的模型配置的警报,在 SAFE 客户端布局中显示截获视频,它将向我们提供包含详细信息的警报消息。最终,我们的学生成功部署了 DARTeC 中心的 AI 模型,并与 Saab SAFE 系统进行通信,以增强人类态势感知能力。

.fusion-gallery-13 .fusion-gallery-image {边框:0px 实心#e2e2e2;}

培养未来的应用人工智能工程师

这些只是 AAI 理学硕士课程中精选的一些有趣的 GDP 项目示例。最近,我们当前的学生承担了更具挑战性的 GDP 项目,涉及与人工智能的可解释接口、自主运动规划的因果推理、自动驾驶车辆的物理信息人工智能以及未来空域管理。我们相信我们的硕士生很快就会完成更多令人兴奋的研究。

查看我们的学生在 GDP 期间发表的以下研究出版物,了解最终解决方案和结果的有趣之处:

  • Osigbesan、Adeyemi、Solene Barrat、Harkeerat Singh、Dongzi Xia、Siddharth Singh、Yang Xing、WeisiGuo 和 Antonios Tsourdos。 “飞机维护环境中基于视觉的跌倒检测与姿势估计。” 2022 年 IEEE 智能系统多传感器融合与集成国际会议 (MFI),第 1-6 页。 IEEE,2022。
  • Fraser、Benjamin、Brendan Copp、Gurpreet Singh、Orhan Keyvan、Tongfei Bian、Valentin Sonntag、Yang Xing、WeisiGuo 和 Antonios Tsourdos。 “通过基于人工智能的人群监控和社交距离分析来减少病毒传播。” 2022 年 IEEE 智能系统多传感器融合与集成国际会议 (MFI),第 1-6 页。 IEEE,2022。
  • Üstek, I.、Desai, J.、Torrecillas, IL、Abadou, S.、Wang, J.、Fever, Q.、Kasthuri, SR、Xing, Y.、Guo, W. 和 Tsourdos, A.,2023 年,八月。在智能机场使用 ViTPose 和分类模型进行两阶段暴力检测。 2023 年 IEEE 智能世界大会 (SWC)(第 797-802 页)。 IEEE。
  • 伯努瓦、保罗、马克·布列松、杨兴、郭伟思和安东尼奥斯·索多斯。 “通过闭路电视摄像机进行基于视觉的实时暴力行为检测和姿势估计。” 2023 年 IEEE 智能世界大会 (SWC),第 844-849 页。 IEEE,2023。
.fusion-content-boxes-1 .heading .content-box-heading {颜色:#212934;}
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover .heading .content-box-heading,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover .heading .heading-link .content-box-heading,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover .heading .content-box-heading,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover .heading .heading-link .content-box-heading,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover.link-area-box .fusion-read-more,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover.link-area-box .fusion-read-more::之后,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover.link-area-box .fusion-read-more::之前,
.fusion-content-boxes-1 .fusion-content-box-hover .fusion-read-more:悬停:之后,
.fusion-content-boxes-1 .fusion-content-box-hover .fusion-read-more:hover:之前,
.fusion-content-boxes-1 .fusion-content-box-hover .fusion-read-more:悬停,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover.link-area-box .fusion-read-more,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover.link-area-box .fusion-read-more::之后,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover.link-area-box .fusion-read-more::之前,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover .icon .circle-no,
.fusion-content-boxes-1 .heading .heading-link:hover .content-box-heading {
颜色:#65bc7b;
}
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover .icon .circle-no {
颜色:#65bc7b!重要;
}.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box.link-area-box-hover .fusion-content-box-button {背景:#0e2746;颜色:#ffffff; }.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box.link-area-box-hover .fusion-content-box-button .fusion-button-text {颜色:#ffffff ;}
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover .heading .icon > span {
背景颜色:#65bc7b!重要;
}
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover .heading .icon > span {
边框颜色:#65bc7b!重要;
}

.fusion-content-boxes-1 .fusion-content-box-hover .heading-link:hover .icon i.circle-yes,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box:hover .heading-link .icon i.circle-yes,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-link-icon-hover .heading .icon i.circle-yes,
.fusion-content-boxes-1 .fusion-content-box-hover .link-area-box-hover .heading .icon i.circle-yes {
背景颜色:#65bc7b!重要;
边框颜色:#65bc7b!重要;
}

现货图片

最新情报

现货图片