Além disso, uma consideração crucial é a forma como estas tecnologias de IA podem adaptar-se e revolucionar os ecossistemas existentes em infraestruturas de elevado valor e elevada procura, tais como aeroportos, aeronaves e vários sistemas de mobilidade avançados.

Utilizando tecnologias inovadoras de IA e aproveitando as vantagens da plataforma da Cranfield University, o Curso de Mestrado em Inteligência Artificial Aplicada visa cultivar futuros líderes em IA aplicada em diversos domínios de engenharia. O seu principal objetivo é acelerar o desenvolvimento e a implantação de tecnologias de IA fiáveis ​​para aplicações críticas de segurança em todo o mundo.

O projeto de design de grupo (GDP) é um módulo de aprendizagem baseado em problemas, e o objetivo do PIB é que os alunos projetem, implementem, validem e testem sistemas baseados em IA em tempo real para resolver problemas do mundo real. O GDP também visa proporcionar aos alunos a experiência de trabalhar em um projeto colaborativo de engenharia, satisfazendo os requisitos de um potencial cliente e respeitando prazos.

Em 2022 e 2023, aos alunos inscritos no nosso Mestrado em Inteligência Artificial Aplicada foi atribuído um estimulante e exigente projeto de design de grupo. O objetivo era aproveitar o conhecimento aplicado de IA adquirido em seus cursos para desenvolver produtos aeroportuários inovadores e mais seguros. Trabalhando em pequenas equipes de seis pessoas, os alunos foram encarregados de projetar soluções abrangendo arquitetura de software e hardware, desenvolvimento e teste de modelos de IA, bem como aspectos de envolvimento no mundo real.

O tema do projeto foi intencionalmente amplo, exigindo que os alunos colaborassem dentro dos seus grupos para explorar e refinar áreas específicas de interesse com base nos seus conhecimentos e interesses coletivos. Esta abordagem promoveu a criatividade, o trabalho em equipe e uma compreensão mais profunda da aplicação prática das tecnologias de IA em cenários do mundo real.

Cada grupo foi convidado a desenvolver soluções de IA em tempo real para aeroportos inteligentes para alcançar as seguintes funcionalidades:

1. O sistema deve ser capaz de detectar usuários humanos e estimar suas poses e comportamentos com base na detecção e rastreamento precisos de poses.
2. O sistema deverá ser capaz de classificar diferentes comportamentos das multidões e esclarecer as razões, importância e viabilidade.
3. O modelo de IA deve ser validado cruzadamente com diferentes métricas de precisão, computação e inferência.
4. O modelo de IA deve poder ser implementado em tempo real para informar as vantagens e desvantagens das atuais tecnologias de IA nestas aplicações críticas para a segurança.
5. O sistema pode contar com diferentes fontes de sensores como entrada para permitir a fusão de sensores para um desempenho robusto; no entanto, soluções eficientes, mas de custo muito baixo, também são bem-vindas.

Estudo de caso 1: Detecção de quedas em ambiente de manutenção de aeronaves.

Os ambientes de manutenção apresentam riscos significativos, incluindo máquinas desacompanhadas, cercas ou proteções físicas inadequadas perto de áreas perigosas e espaços de trabalho desordenados. Entre estes riscos, as lesões fatais por queda são alarmantemente comuns. Detectar e reportar prontamente incidentes não fatais poderia evitar mais danos ou mortes. Portanto, este trabalho propõe um sistema integrado baseado em visão para monitorar os funcionários durante as atividades de manutenção de aeronaves, aumentando a segurança e prevenindo acidentes (veja figura abaixo).

A partir dos resultados iniciais de treinamento e validação do modelo projetado, a aparente ausência de um conjunto de dados de manutenção de hangar de aeroporto pronto apresenta a possibilidade de um viés em relação a imagens de vídeos capturados de ângulos de câmera perpendiculares tirados da proximidade do sujeito. Aproveitando as vantagens de Cranfield, o hangar de manutenção da Cranfield University foi escolhido e utilizado para a coleta de dados neste projeto.

No total, foram gravados cerca de 50 vídeos curtos (dois a cinco minutos) de atividades simuladas de manutenção, alguns com quedas e outros sem. Os vídeos capturados foram divididos em quadros e anotados usando a biblioteca de software de estimativa de pose MoveNet e foram gerados mapas vetoriais das principais posições articulares do sujeito. A figura abaixo mostra alguns instantâneos dos dados experimentais.

Nossos alunos testaram as abordagens de redes neurais convolucionais 1-D, 2-D e 3-D para avaliar quantitativamente o design do modelo de IA mais poderoso. A figura abaixo é uma demonstração das soluções de convolução 3-D.

Finalmente, as soluções de IA propostas alcançaram bons resultados de detecção para o comportamento de queda, conforme mostrado na figura abaixo. Algumas conclusões podem ser tiradas. Primeiro, o modelo tinha 0 classificações de FP, o que sugere que o modelo não classifica erroneamente uma queda. Em segundo lugar, existem 940 verdadeiros negativos para cada modelo, o que provavelmente pode ser devido ao fato de cada dado de teste conter uma porção de não-quedas (classificadas como 0) antes do ator cair.

Estudo de caso 2: Detecção de sinais vitais de infarto do miocárdio usando visão computacional e IA de ponta

Edge AI refere-se à implantação de aplicativos de inteligência artificial em dispositivos localizados no ambiente físico. A acessibilidade e a facilidade de uso são fatores-chave na adoção de algoritmos de IA em situações em que os usuários finais enfrentam desafios do mundo real. Neste projeto, nosso aluno propôs um modelo de detecção de ataque cardíaco leve e de baixo custo para resposta rápida e resgate no aeroporto. O processo é composto por quatro etapas principais conforme mostrado na figura abaixo.

A primeira etapa constitui a seleção e preparação adequada de um conjunto de dados de imagens, juntamente com as anotações necessárias para as caixas delimitadoras das classes (dor no peito, queda).

Além disso, como uma segunda etapa vem o treinamento do nosso modelo de detector de objetos via transferência de aprendizagem. A etapa específica foi realizada no Google Colab, utilizando PyTorch. Posteriormente, após a conclusão da etapa de treinamento, o modelo foi inserido no Jetson Nano da NVIDIA, que foi nosso dispositivo embarcado escolhido para ser utilizado em nossa aplicação de visão computacional Edge AI.

A terceira etapa do design do nosso sistema foi a conversão e otimização apropriada do modelo, para que ele funcionasse de forma mais eficiente no Jetson Nano. A otimização do nosso modelo foi realizada utilizando o mecanismo de inferência TensorRT da NVIDIA e o processo específico foi executado no Jetson Nano (conforme mostrado na figura abaixo).

A última etapa é a execução do modelo otimizado no Jetson Nano, utilizando como entradas os frames que recebe de uma webcam, para realizar o processo de detecção de objetos em tempo real e detectar nossas classes (dores no peito, queda). Junto com esse processo, no código de inferência que roda no Jetson Nano, havia dois cenários específicos. Os resultados finais da inferência são mostrados na figura abaixo.

Estudo de caso 3: Monitoramento de multidões e análise de distanciamento social

Os aeroportos recebem enormes fluxos de passageiros todos os dias e, à semelhança de outros locais e organizações lotados, devem garantir a segurança pública e garantir que sejam implementadas medidas adequadas para mitigar os riscos durante as pandemias. Neste projeto, nossos alunos propuseram um sistema integrado baseado em visão computacional que fornece monitoramento e análise multifuncional de multidões em aeroportos. Os resultados do sistema destinam-se a beneficiar tanto o pessoal de gestão do aeroporto como os passageiros, através do fornecimento de análises e inteligência baseadas em multidões.

O sistema consiste numa plataforma integrada (ver figura abaixo) para analisar e monitorizar multidões em locais públicos através de feeds de videovigilância. O foco está especificamente em aeroportos inteligentes, mas a estrutura básica é adaptável a qualquer contexto público onde a análise e o monitoramento das características das multidões sejam úteis.

Os recursos de pose extraídos de uma cena são usados ​​por modelos downstream do sistema para executar tarefas exclusivas. Isso inclui contagem de pessoas, estimativa de distância interpessoal, detecção de objetos de máscara, classificação de status (sentado, em pé, andando, deitado, etc.) e agrupamento social. Os resultados são então combinados para formar o painel integrado e o sistema de monitoramento. Com exceção do uso comum de recursos de pose, essas tarefas representam desafios únicos com diferentes abordagens de modelagem. Felizmente, devido ao design modular do sistema, foi possível abstrair cada tarefa e fazer com que diferentes membros da equipe as desenvolvessem.

Por último, uma interface interativa é projetada para integrar todas as saídas downstream em uma única janela de visualização (veja a figura abaixo). O aplicativo carrega arquivos de dados criados pelos modelos downstream para o painel em tempo real para que a análise do estado atual da cena possa ser feita. A qualquer momento, a filmagem original da cena pode ser visualizada, juntamente com as características da pose extraídas de cada pessoa, em um reprodutor de vídeo adjacente a ela. O tomador de decisão pode alternar entre uma visualização de boxplot para uma visualização de mapa de calor e, posteriormente, alterar a filmagem em que os dados estão sendo recebidos em dois menus suspensos. As estatísticas relativas à cena são exibidas à direita da janela de visualização. Essas estatísticas são status de máscara total de pessoas, perfil de risco total, status de pose de pessoas totais, contagem total de pessoas, proporções de distanciamento social e boxplot de proporções.

Estudo de caso 4: Detecção de violência no aeroporto

Por último, um dos nossos grupos pretende desenvolver uma estrutura de detecção de violência que estime as poses humanas e classifique o comportamento violento em imagens de vigilância (conforme mostrado na figura abaixo). Em vez de extrair recursos diretamente de quadros de vídeo, esta estrutura usa ViTPose para detectar poses humanas em cada quadro e, em seguida, pré-processa e extrai recursos das informações dos pontos-chave.

Análise abrangente de vários modelos usando vários conjuntos de dados (baseados em ângulo, baseados em distância, sequências de 1 segundo e 2 segundos) com um total de 162 combinações de hiperparâmetros, a equipe finalmente identificou vários modelos promissores que atendem a critérios de avaliação específicos. Pode-se concluir que os modelos podem extrair informações valiosas sobre o comportamento violento usando características de distância dos pontos-chave do corpo, conforme mostrado na figura abaixo.

Por último, ao colaborar com a Saab UK, os nossos alunos podem desenvolver e integrar os seus modelos de IA com a plataforma de nível industrial (SAFE), uma poderosa plataforma de sensibilização situacional amplamente utilizada em muitas esquadras de polícia do Reino Unido para vigilância. O gateway KAFKA é aplicado seguindo o mecanismo de IA e encaminhado ao terminal do cliente para posterior exibição e alertas. Caso seja detectada alguma violência no vídeo interceptado com caixas delimitadoras, irá acionar o alarme que configuramos especificamente para o nosso modelo mostrando o vídeo interceptado no layout do cliente SAFE, nos dará a mensagem de alerta com detalhes. No final, nossos alunos implantaram com sucesso o modelo de IA do nosso centro DARTeC e se comunicaram com o sistema Saab SAFE para aumentar a consciência da situação humana.

Criando os engenheiros de IA aplicada do futuro

Estas são apenas algumas amostras selecionadas de projetos interessantes de PIB do curso MSc AAI. Recentemente, projetos de PIB mais desafiadores em interface explicável com IA, raciocínio causal para planejamento de movimento autônomo, IA informada pela física para veículos autônomos e gerenciamento futuro do espaço aéreo foram realizados por nossos alunos atuais. Acreditamos que pesquisas mais interessantes serão entregues por nossos alunos de mestrado em breve.

Verifique as seguintes publicações de pesquisa de nossos alunos durante o PIB para ver como são interessantes as soluções e resultados finais:

• Osigbesan, Adeyemi, Solene Barrat, Harkeerat Singh, Dongzi Xia, Siddharth Singh, Yang Xing, Weisi Guo e Antonios Tsourdos. “Detecção de queda baseada em visão em ambiente de manutenção de aeronaves com estimativa de pose.” Em 2022, Conferência Internacional IEEE sobre Fusão e Integração de Multisensores para Sistemas Inteligentes (MFI), pp. IEEE, 1.
• Fraser, Benjamin, Brendan Copp, Gurpreet Singh, Orhan Keyvan, Tongfei Bian, Valentin Sonntag, Yang Xing, Weisi Guo e Antonios Tsourdos. “Reduzindo a transmissão viral por meio de monitoramento de multidões e análise de distanciamento social baseado em IA.” Em 2022, Conferência Internacional IEEE sobre Fusão e Integração de Multisensores para Sistemas Inteligentes (MFI), pp. IEEE, 1.
• Üstek, İ., Desai, J., Torrecillas, IL, Abadou, S., Wang, J., Fever, Q., Kasthuri, SR, Xing, Y., Guo, W. e Tsourdos, A., 2023, Agosto. Detecção de violência em dois estágios usando modelos ViTPose e classificação em aeroportos inteligentes. Em 2023, IEEE Smart World Congress (SWC) (pp. 797-802). IEEE.
• Benoit, Paul, Marc Bresson, Yang Xing, Weisi Guo e Antonios Tsourdos. “Detecção de ações violentas baseada em visão em tempo real por meio de câmeras CCTV com estimativa de pose.” Em 2023 IEEE Smart World Congress (SWC), pp. IEEE, 844.