제퍼넷 로고

Facebook의 새로운 컴퓨터 비전 모델은 임의의 이미지에서 학습하여 최첨단 성능을 달성합니다.

시간

엔터프라이즈 AI 및 데이터에서 가장 중요한 주제에 대해 Transform 2021에 참여하십시오. 상세 정보.


Facebook은 오늘 다양한 컴퓨터 비전 벤치 마크에서 표면적으로 최첨단 결과를 달성하는 수십억 개의 이미지로 훈련 된 AI 모델을 발표했습니다. 레이블이 지정된 데이터 세트에서 학습하는 대부분의 컴퓨터 비전 모델과 달리 Facebook은 데이터 부분 간의 관계를 노출하여 데이터에서 레이블을 생성합니다. 이는 언젠가 인간 수준의 지능을 달성하는 데 중요하다고 여겨지는 단계입니다.

AI의 미래는 주석이 달린 데이터 세트에 의존하지 않고 주어진 모든 정보에서 추론 할 수있는 시스템을 만드는 데 있습니다. 텍스트, 이미지 또는 다른 유형의 데이터를 제공하는 AI 시스템은 이상적으로는 사진 속의 물체를 인식하고, 텍스트를 해석하거나, 요청한 수많은 다른 작업을 수행 할 수 있습니다.

페이스 북은 SElf-supERvised의 약자 인 SEER라는 컴퓨터 비전 모델을 통해이를 향한 발걸음을 내디뎠습니다. SEER에는 수십억 개의 매개 변수가 포함되어 있으며 큐 레이션이나 주석없이 인터넷의 임의의 이미지 그룹에서 학습 할 수 있습니다. 기계 학습 시스템의 기본 부분 인 매개 변수는 과거 학습 데이터에서 파생 된 모델의 일부입니다.

새로운 기술

자기 감독 비전을위한 것은 도전적인 작업입니다. 텍스트를 사용하면 의미 론적 개념을 개별 단어로 나눌 수 있지만 이미지를 사용하면 모델이 어떤 픽셀이 어떤 개념에 속하는지 스스로 결정해야합니다. 문제를 더 어렵게 만들면 동일한 개념이 이미지마다 다를 수 있습니다. 단일 개념에 대한 변형을 파악하려면 다양한 이미지를 많이 살펴 봐야합니다.

Facebook 연구원들은 복잡한 이미지 데이터를 처리하기 위해 AI 시스템을 확장하려면 최소한 두 가지 핵심 구성 요소가 필요하다는 것을 발견했습니다. 첫 번째는 메타 데이터 나 주석없이 방대한 수의 임의 이미지에서 학습 할 수있는 알고리즘이고, 두 번째는이 데이터에서 모든 시각적 개념을 캡처하고 학습 할 수있을만큼 큰 ConvNet 인 컨볼 루션 네트워크였습니다. 1980 년대에 처음 제안 된 컨볼 루션 네트워크는 모델 구성 요소 간의 연결 패턴이 시각 피질과 유사하다는 점에서 생물학적 과정에서 영감을 얻었습니다.

SEER를 개발할 때 Facebook은 자체지도 학습에 대한 회사의 조사에서 비롯된 SwAV라는 알고리즘을 활용했습니다. SwAV는 클러스터링이라는 기술을 사용하여 유사한 시각적 개념의 이미지를 빠르게 그룹화하고 유사성을 활용하여 이전의자가지도 학습에 비해 향상되는 동시에 최대 6 배 적은 교육 시간을 필요로합니다.

페이스 북 SEER

위 : SEER의 모델 아키텍처를 보여주는 단순화 된 회로도.

이미지 크레디트 : Facebook

Facebook에 따르면 SEER 크기의 모델을 훈련하려면 정확도를 떨어 뜨리지 않으면 서 런타임과 메모리 측면에서 효율적인 아키텍처가 필요했습니다. SEER의 연구자들은 RegNets 또는 런타임 및 메모리 제약 조건에 맞추면서 수십억 또는 잠재적으로 수조 개의 매개 변수로 확장 할 수있는 ConvNet 모델 유형을 사용하기로 결정했습니다.

Facebook 소프트웨어 엔지니어 Priya Goyal은 SEER가 512 일 동안 100GB RAM이 장착 된 32 NVIDIA V30 GPU에서 교육을 받았다고 말했습니다.

SEER를 가능하게 한 마지막 부분은 VISSL이라는 범용 라이브러리로, 최첨단 Self Supervised Learning을위한 VIsion 라이브러리의 약자입니다. 현재 Facebook이 오픈 소싱하고있는 VISSL은 다양한 최신 기계 학습 방법으로자가지도 교육을 제공합니다. 이 라이브러리는 GPU 당 메모리 요구 사항을 줄이고 주어진 모델의 훈련 속도를 높이는 알고리즘을 통합하여 대규모 자체 감독 학습을 용이하게합니다.

성능 및 향후 작업

10 억 개의 공개 인스 타 그램 이미지에 대한 사전 교육 후 SEER는 최첨단자가 감독 시스템을 능가했습니다. SEER는 또한 물체 감지, 분할 및 이미지 분류를 포함한 작업에서 모델을 능가했습니다. 인기있는 ImageNet 데이터 세트의 77.9 %에 불과한 예제로 학습했을 때 SEER는 여전히 1 %의 정확도를 달성했습니다. 그리고 단 60.5 %로 훈련했을 때 SEER는 XNUMX % 정확했습니다.

SEER 교육에 사용 된 이미지를 사용하는 인스 타 그램 사용자에게 알림을 받았는지 아니면 연구를 거부 할 기회가 주어 졌는지 묻는 질문에 Goyal은 Facebook이 데이터 정책에서 Instagram 계정 보유자에게 다음을 포함한 연구를 지원하기 위해 사진과 같은 정보를 사용한다고 알린다 고 말했습니다. SEER를 뒷받침하는 친절한. 즉, Facebook은 이미지 또는 SEER 모델 자체를 공유 할 계획이 없습니다. 의도하지 않은 편견.

페이스 북은 블로그 포스트에서“자기지도 학습은 기계가 AI 연구를 위해 특별히 생성 된 훈련 데이터에서가 아니라 전 세계에서 사용 가능한 방대한 정보에서 직접 학습 할 수있게 해주기 때문에 오랫동안 페이스 북 AI의 초점이었습니다. . “자기지도 학습은 다른 연구 분야에서와 마찬가지로 컴퓨터 비전의 미래에 엄청난 영향을 미칩니다. 인간 주석 및 메타 데이터의 필요성을 제거하면 컴퓨터 비전 커뮤니티가 더 크고 다양한 데이터 세트로 작업하고, 임의의 공개 이미지에서 학습하고, 잠재적으로 데이터 큐 레이션과 관련된 일부 편향을 완화 할 수 있습니다. 자가지도 학습은 의료 영상과 같이 이미지 나 메타 데이터가 제한된 영역에서 모델을 전문화하는데도 도움이 될 수 있습니다. 그리고 라벨링을 위해 미리 노력할 필요없이 모델을 더 빠르게 생성하고 배포 할 수 있으므로 빠르게 변화하는 상황에 더 빠르고 정확하게 대응할 수 있습니다. "

VentureBeat

VentureBeat의 사명은 기술 의사 결정권자가 혁신적인 기술과 거래에 대한 지식을 습득 할 수있는 디지털 타운 스퀘어가되는 것입니다. 당사 사이트는 데이터 기술 및 전략에 대한 필수 정보를 제공하여 조직을 이끌 때 안내합니다. 다음에 액세스 할 수 있도록 커뮤니티의 일원이되도록 귀하를 초대합니다.

  • 관심있는 주제에 대한 최신 정보
  • 뉴스 레터
  • 통제 된 사고 리더 콘텐츠 및 Transform과 같은 소중한 이벤트에 대한 할인 된 액세스
  • 네트워킹 기능 등

회원 가입

PrimeXBT 결제
AC Milan의 공식 CFD 파트너와 거래
암호 화폐를 거래하는 가장 쉬운 방법.
출처 : https://venturebeat.com/2021/03/04/facebooks-new-computer-vision-model-achieves-state-of-the-art-performance-by-learning-from-random-images/

spot_img

최신 인텔리전스

spot_img