제퍼넷 로고

연구원들은 기계 학습에 대한 보다 유연한 접근 방식을 발견합니다.

시간

개요

인공 지능 연구자들은 일련의 성공을 축하했습니다. 신경망, 우리의 두뇌가 구성되는 방식을 대략적으로 모방하는 컴퓨터 프로그램. 그러나 빠른 발전에도 불구하고 신경망은 상대적으로 유연하지 못하며 즉석에서 변경하거나 익숙하지 않은 환경에 적응할 수 있는 능력이 거의 없습니다.

2020년 매사추세츠 공과대학의 연구원 XNUMX명이 팀을 이끌고 새로운 종류의 신경망 실제 지능에 기반하지만 우리 자신의 지능은 아닙니다. 대신 그들은 작은 회충에서 영감을 얻었습니다. Caenorhabditis elegans, 그들이 액체 신경망이라고 부르는 것을 생성합니다. 작년에 돌파구를 마련한 후 새로운 네트워크는 이제 특정 애플리케이션에 대해 기존 네트워크를 대체할 수 있을 만큼 다재다능할 수 있습니다.

액체 신경망은 "우아하고 컴팩트한 대안"을 제공한다고 말했습니다. 켄 골드버그, 버클리 캘리포니아 대학의 로봇 공학자. 그는 이러한 네트워크가 시간이 지남에 따라 변하는 시스템을 모델링하는 다른 소위 연속 시간 신경망보다 더 빠르고 정확하게 실행될 수 있다는 것을 실험에서 이미 보여주고 있다고 덧붙였습니다.

라민 하사니마티아스 레흐너, 새로운 디자인의 원동력은 몇 년 전에 깨달았습니다. C. 엘레 놀라움을 수용할 수 있는 탄력적인 신경망을 만드는 방법을 알아내는 데 사용하기에 이상적인 유기체가 될 수 있습니다. 밀리미터 길이의 바닥 먹이를 먹는 동물은 완전히 지도화된 신경계를 가진 몇 안 되는 생물 중 하나이며 움직이고, 음식을 찾고, 자고, 짝짓기를 하고, 심지어 경험을 통해 배우기까지 다양한 고급 행동을 할 수 있습니다. Lechner는 "변화가 항상 일어나는 현실 세계에 살고 있으며 거의 ​​모든 조건에서 잘 작동할 수 있습니다."라고 말했습니다.

낮은 벌레에 대한 존중은 그와 Hasani를 새로운 액체 네트워크로 이끌었습니다. 여기서 각 뉴런은 시간 경과에 따른 행동을 예측하는 방정식에 의해 관리됩니다. 뉴런이 서로 연결되어 있는 것처럼 이 방정식도 서로 의존합니다. 네트워크는 본질적으로 연결된 방정식의 전체 앙상블을 해결하여 주어진 순간에 시스템의 상태를 특성화할 수 있도록 합니다. 즉, 특정 시간에만 결과를 제공하는 기존의 신경망에서 벗어납니다.

"[그들은] 0.53초, 2.14초 또는 XNUMX초에 무슨 일이 일어나고 있는지 말할 수 있습니다."라고 Lechner는 말했습니다. "하지만 우리와 같은 연속 시간 모델은 XNUMX초나 XNUMX초 또는 선택한 다른 시간에 무슨 일이 일어나고 있는지 설명할 수 있습니다."

액체 네트워크는 인공 뉴런 사이의 연결인 시냅스를 처리하는 방식도 다릅니다. 표준 신경망에서 이러한 연결의 강도는 가중치라는 단일 숫자로 표현할 수 있습니다. 액체 네트워크에서 뉴런 간의 신호 교환은 "비선형" 함수에 의해 제어되는 확률적 프로세스입니다. 즉, 입력에 대한 응답이 항상 비례하지는 않습니다. 예를 들어 입력을 두 배로 늘리면 출력이 훨씬 더 크거나 작아질 수 있습니다. 이 내장된 가변성이 네트워크를 "액체"라고 부르는 이유입니다. 뉴런이 반응하는 방식은 받는 입력에 따라 달라질 수 있습니다.

개요

기존 네트워크의 중심에 있는 알고리즘은 훈련 중에 설정되지만 이러한 시스템에 가중치에 대한 최상의 값을 보정하기 위해 많은 양의 데이터가 공급되면 액체 신경망이 더 적응력이 좋습니다. "그들은 그들이 관찰하는 입력을 기반으로 기본 방정식을 변경할 수 있습니다." 특히 뉴런이 반응하는 속도를 변경한다고 말했습니다. 다니엘라 루스, MIT의 컴퓨터 과학 및 인공 지능 연구소 소장.

이 능력을 보여주기 위한 초기 테스트 중 하나는 자율주행차를 조종하려는 시도였습니다. 기존의 신경망은 고정된 간격으로 자동차 카메라의 시각적 데이터만 분석할 수 있었습니다. 19개의 뉴런과 253개의 시냅스로 구성된 액체 네트워크(머신 러닝 표준에 따라 아주 작음)는 다음과 같을 수 있습니다. 훨씬 더 반응. “예를 들어 도로가 구불구불할 때 우리 모델은 더 자주 샘플링할 수 있습니다.

이 모델은 성공적으로 차량을 궤도에 유지했지만 한 가지 결함이 있었다고 Lechner는 말했습니다. "정말 느렸습니다." 이 문제는 시냅스와 뉴런을 나타내는 비선형 방정식에서 비롯되었습니다. 이 방정식은 일반적으로 컴퓨터에서 반복 계산 없이는 풀 수 없으며 결국 솔루션으로 수렴되기 전에 여러 번 반복됩니다. 이 작업은 일반적으로 솔버라고 하는 전용 소프트웨어 패키지에 위임되며 모든 시냅스와 뉴런에 개별적으로 적용해야 합니다.

안에 작년 종이, 팀은 병목 현상을 극복한 새로운 액체 신경망을 공개했습니다. 이 신경망은 동일한 유형의 방정식에 의존했지만 중요한 발전은 이러한 방정식이 힘든 컴퓨터 계산을 통해 풀릴 필요가 없다는 Hasani의 발견이었습니다. 대신 네트워크는 원칙적으로 연필과 종이로 작업할 수 있는 거의 정확한 또는 "폐쇄형" 솔루션을 사용하여 작동할 수 있습니다. 일반적으로 이러한 비선형 방정식에는 폐쇄형 솔루션이 없지만 Hasani는 사용하기에 충분한 근사 솔루션을 찾았습니다.

Rus는 "폐쇄형 솔루션이 있다는 것은 매개변수 값을 연결하고 기본 수학을 수행할 수 있는 방정식이 있다는 것을 의미하며 답을 얻을 수 있습니다."라고 말했습니다. 컴퓨터가 충분히 가까워졌다고 판단할 때까지 계속 작업하도록 내버려 두지 않고 "한 번에 답을 얻습니다." 그러면 계산 시간과 에너지가 절약되어 프로세스 속도가 상당히 빨라집니다.

"그들의 방법은 정확도를 희생하지 않고도 몇 배나 더 경쟁에서 앞서고 있습니다."라고 말했습니다. 사얀 미트라, University of Illinois, Urbana-Champaign의 컴퓨터 과학자.

Hasani는 그들의 최신 네트워크가 더 빠를 뿐만 아니라 비정상적으로 안정적이어서 시스템이 혼란에 빠지지 않고 막대한 입력을 처리할 수 있음을 의미한다고 말했습니다. "여기서 주요 기여는 안정성 및 기타 훌륭한 속성이 순전히 구조로 인해 이러한 시스템에 구워진다는 것입니다."라고 말했습니다. 스리람 산카라나라야난, 볼더에 있는 콜로라도 대학의 컴퓨터 과학자. 유동적 네트워크는 그가 "스위트 스팟"이라고 부르는 곳에서 작동하는 것 같습니다. 흥미로운 일이 발생할 수 있을 만큼 충분히 복잡하지만 혼란스러운 행동으로 이어질 만큼 복잡하지는 않습니다.

현재 MIT 그룹은 자율 비행 드론에서 최신 네트워크를 테스트하고 있습니다. 무인 항공기는 숲에서 탐색하도록 훈련되었지만 새로운 조건을 처리하는 방법을 확인하기 위해 케임브리지의 도시 환경으로 옮겼습니다. Lechner는 예비 결과가 고무적이라고 말했습니다.

현재 모델을 개선하는 것 외에도 팀은 네트워크 아키텍처를 개선하기 위해 노력하고 있습니다. 다음 단계는 "주어진 작업을 수행하는 데 실제로 필요한 뉴런의 수 또는 소수를 파악하는 것"이라고 Lechner는 말했습니다. 이 그룹은 또한 뉴런을 연결하는 최적의 방법을 고안하기를 원합니다. 현재 모든 뉴런은 다른 모든 뉴런과 연결되어 있지만 그것이 작동하는 방식은 아닙니다. C. 엘레, 시냅스 연결이 더 선택적입니다. 회충의 배선 시스템에 대한 추가 연구를 통해 그들은 시스템의 어떤 뉴런이 함께 연결되어야 하는지 결정하기를 희망합니다.

자율 주행 및 비행과 같은 응용 프로그램 외에도 액체 네트워크는 전력망, 금융 거래, 날씨 및 시간이 지남에 따라 변동하는 기타 현상을 분석하는 데 적합해 보입니다. 또한 Hasani는 최신 버전의 액체 네트워크를 사용하여 "이전에는 실현할 수 없었던 규모로 뇌 활동 시뮬레이션을 수행"할 수 있다고 말했습니다.

Mitra는 특히 이러한 가능성에 흥미를 느꼈습니다. "어떤 면에서는 이 연구가 완전한 순환을 이룰 수 있음을 보여주는 일종의 시적입니다."라고 그는 말했습니다. "신경망은 우리가 자연에서 끌어낸 아이디어가 곧 자연을 더 잘 이해하는 데 도움이 될 정도로 발전하고 있습니다."

spot_img

최신 인텔리전스

spot_img