야행성 포식자는 뿌리 깊은 초능력을 가지고 있습니다. 칠흑 같은 어둠 속에서도 그들은 주변을 쉽게 조사하고 단색의 풍경 속에 숨어 있는 맛있는 먹이를 찾아낼 수 있습니다.

다음 저녁 식사를 위해 사냥하는 것만이 어둠 속에서 볼 수 있는 유일한 특권은 아닙니다. 달이없는 밤에 시골 비포장 도로를 운전하십시오. 나무와 덤불은 생동감과 질감을 잃습니다. 길을 건너는 동물은 그림자 얼룩이 됩니다. 낮 동안의 정교함에도 불구하고 우리의 눈은 어두운 조명에서 깊이, 질감, 심지어 물체를 처리하는 데 어려움을 겪습니다.

기계에 동일한 문제가 있다는 것은 놀라운 일이 아닙니다. 무수히 많은 센서로 무장하고 있지만 자율주행차는 여전히 그 이름에 걸맞게 살려고 노력하고 있습니다. 그들은 완벽한 기상 조건과 명확한 교통 차선이 있는 도로에서 잘 작동합니다. 하지만 폭우나 안개, 산불 연기, 가로등 없는 도로에서 자동차를 운전하라고 하면 그들은 고군분투합니다.

이번 달에 Purdue University의 한 팀이 낮은 가시성 문제를 정면으로 다루었습니다. 열화상, 물리학 및 기계 학습을 결합하여 그들의 technology 시각적 AI 시스템이 마치 대낮처럼 어둠 속에서 볼 수 있도록 했습니다.

시스템의 핵심에는 적외선 카메라와 AI가 있으며, 이는 주어진 주변 환경에서 자세한 정보를 추출하기 위해 맞춤형 이미지 데이터베이스에서 훈련을 받았습니다. 본질적으로 열 신호를 사용하여 세계를 매핑하도록 스스로 학습합니다. 이전 시스템과 달리 HADAR(Heat-Assisted Detection and Ranging)라고 하는 이 기술은 일반적으로 탐색에 거의 유용하지 않은 얼룩진 유령 같은 이미지를 유발하는 "고스팅 효과"라는 악명 높은 걸림돌을 극복했습니다.

기계에 나이트 비전을 제공하는 것은 자율주행차에만 도움이 되는 것이 아닙니다. 유사한 접근 방식은 또한 보존을 위해 야생 동물을 추적하려는 노력을 강화하거나 공중 보건 조치로 ​​분주한 항구에서 체온을 장거리 모니터링하는 데 도움이 될 수 있습니다.

“HADAR는 보이지 않는 것을 볼 수 있도록 도와주는 특별한 기술입니다.” 말했다 연구 저자 Xueji Wang.

히트 웨이브

우리는 자율주행차를 훈련시키기 위해 자연에서 많은 영감을 얻었습니다. 이전 세대는 음파 탐지기와 반향 위치 측정을 센서로 채택했습니다. 그런 다음 레이저를 사용하여 여러 방향으로 스캔하고 물체를 찾고 빛이 반사되는 속도에 따라 거리를 계산하는 Lidar 스캐닝이 등장했습니다.

강력하지만 이러한 탐지 방법에는 큰 걸림돌이 있습니다. 확장하기 어렵습니다. 이 기술은 "능동적"입니다. 즉, 각 AI 에이전트(예: 자율 차량 또는 로봇)는 주변 환경에 대한 정보를 지속적으로 스캔하고 수집해야 합니다. 도로나 작업 공간에 여러 대의 기계가 있으면 신호가 서로 간섭하여 왜곡될 수 있습니다. 방출된 신호의 전체 수준은 잠재적으로 사람의 눈을 손상시킬 수도 있습니다.

과학자들은 오랫동안 수동적인 대안을 찾아왔습니다. 여기에 적외선 신호가 들어오는 곳이 있습니다. 생체, 차가운 시멘트, 사람의 판지 조각 등 모든 물질은 열 신호를 방출합니다. 이들은 야생 동물을 모니터링하기 위해 야생에서 또는 과학 박물관에서 적외선 카메라로 쉽게 캡처됩니다. 이전에 시도해 보셨을 것입니다. 위로 올라가면 카메라가 XNUMX차원의 당신의 모습을 보여주고 다양한 신체 부위가 밝은 색상의 눈금으로 열을 발산하는 방법을 보여줍니다.

불행히도 결과 이미지는 당신처럼 보이지 않습니다. 몸의 가장자리가 번져 있고 질감이나 3D 공간감이 거의 없습니다.

“사람 얼굴의 열화상 사진에는 윤곽선과 일부 온도 대비만 표시됩니다. 특징이 없어 귀신을 본 것 같다”고 말했다. 말했다 연구 저자 Fanglin Bao 박사. "이러한 정보, 질감 및 기능의 손실은 열 복사를 사용하는 기계 인식의 장애물입니다."

이 고스팅 효과는 물리학으로 인해 가장 정교한 열화상 카메라에서도 발생합니다.

살아있는 몸에서 차가운 시멘트에 이르기까지 모든 물질은 열 신호를 보냅니다. 마찬가지로 전체 환경도 열복사를 배출합니다. 열 신호만으로 이미지를 캡처하려고 하면 주변 열 노이즈가 물체에서 방출되는 소리와 혼합되어 흐릿한 이미지가 생성됩니다.

"그것이 바로 우리가 고스팅을 의미하는 것입니다. 텍스처 부족, 대비 부족, 이미지 내 정보 부족입니다." 말했다 연구를 이끈 Zubin Jacob 박사.

고스트 버스 터즈

HADAR는 기본으로 돌아가 무엇이 뜨겁거나 차갑게 만드는지를 본질적으로 설명하는 열 특성을 분석했다고 Jacob은 말했습니다.

열화상은 함께 뒤섞인 유용한 데이터 스트림으로 구성됩니다. 물체의 온도만 포착하는 것이 아닙니다. 또한 질감과 깊이에 대한 정보도 포함합니다.

첫 번째 단계로 팀은 모든 열 데이터를 질감, 온도 및 방사율(물체에서 방출되는 열의 양)과 같은 유용한 저장소로 분리하는 TeX라는 알고리즘을 개발했습니다. 그런 다음 알고리즘은 다양한 항목이 광 스펙트럼에서 열 신호를 생성하는 방식을 분류하는 맞춤형 라이브러리에서 교육을 받았습니다.

알고리즘은 열물리학에 대한 우리의 이해와 함께 내장되어 있다고 Jacob은 말했습니다. "우리는 또한 일부 고급 카메라를 사용하여 모든 하드웨어와 소프트웨어를 통합하고 칠흑 같은 어둠 속에서도 열복사로부터 최적의 정보를 추출했습니다."라고 그는 덧붙였습니다.

현재 당사의 열화상 카메라는 열화상만으로는 신호를 최적으로 추출할 수 없습니다. 부족한 것은 일종의 "색상"에 대한 데이터였습니다. 우리의 눈이 생물학적으로 빨강, 파랑, 노랑의 세 가지 주요 색상에 연결되어 있는 것과 유사하게 열화상 카메라는 사람의 눈을 넘어서는 여러 파장에서 "볼" 수 있습니다. 이러한 "색상"은 색맹과 유사한 누락된 파장으로 정보를 해독하는 알고리즘에 매우 중요합니다.

이 모델을 사용하여 팀은 고스팅 효과를 완화하고 열화상 카메라에서 더 선명하고 상세한 이미지를 얻을 수 있었습니다.

시연은 HADAR가 "가시성이 낮은 조건에서 컴퓨터 비전 및 이미징 기술을 혁신할 준비가 되어 있음"을 보여줍니다. 말했다 박사 Los Alamos National Laboratory와 University of New Mexico, Albuquerque의 Manish Bhattarai와 Sophia Thompson은 연구에 참여하지 않았습니다.

아인슈타인과 함께 심야 드라이브

개념 증명에서 팀은 HADAR를 다른 AI 기반 컴퓨터 비전 모델과 비교했습니다. 인디애나에 기반을 둔 이 경기장은 분노의 질주: 늦은 밤, 저조도, 실외, 인간의 이미지와 검은색 차 앞에 서 있는 아인슈타인의 골판지 컷아웃이 있는 실외에서 바로 등장합니다.

HADAR는 라이벌과 비교하여 한 번에 장면을 분석하여 유리 고무, 강철, 직물 및 피부를 식별했습니다. 시스템은 사람과 카드보드를 쉽게 해독했습니다. 또한 외부 빛에 관계없이 깊이 인식을 감지할 수 있습니다. "낮에 물체의 범위를 지정하는 정확도는 동일합니다. HADAR 알고리즘을 사용하는 경우 칠흑 같은 어둠 속에서도 마찬가지입니다."라고 Jacob이 말했습니다.

HADAR는 결점이 없는 것이 아닙니다. 주요 트립 업은 가격입니다. 에 따르면 새로운 과학자, 전체 설정은 부피가 클 뿐만 아니라 열화상 카메라와 군용 이미저에 1만 달러가 넘는 비용이 듭니다. (HADAR는 DARPA, 모험적인 모험을 옹호하는 것으로 알려진 국방고등연구계획국(Defense Advanced Research Projects Agency)

시스템은 또한 즉석에서 보정해야 하며 아직 모델에 구축되지 않은 다양한 환경 요인의 영향을 받을 수 있습니다. 처리 속도 문제도 있습니다.

"현재 센서는 하나의 이미지를 생성하는 데 약 30초가 걸리지만 자율주행차의 경우 약 60~XNUMXHz의 프레임 속도 또는 초당 프레임이 필요합니다."라고 Bao는 말했습니다.

현재 HADAR는 아직 Amazon의 기성품 열화상 카메라로는 사용할 수 없습니다. 그러나 팀은 향후 XNUMX년 안에 이 기술을 시장에 출시하여 마침내 빛과 어둠을 연결하고자 합니다.

“진화는 인간을 낮에 편향되게 만들었습니다. 미래에 대한 기계 인식은 낮과 밤 사이의 오랜 이분법을 극복할 것입니다.”라고 Jacob은 말했습니다.

이미지 신용 : Jacob, Bao 등/Purdue University

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 차트프라임. ChartPrime으로 트레이딩 게임을 향상시키십시오. 여기에서 액세스하십시오.
• BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
• 출처: https://singularityhub.com/2023/08/14/new-night-vision-tech-lets-ai-see-pitch-darkness-like-broad-daylight/