메타의 새로운 Segment Anything 모델이 공개되었습니다. SAM 모델은 이미지 분할을 위한 고품질 마스크를 만드는 새로운 방법입니다.

알림 : 이미지 분할은 컴퓨터 비전의 기본 작업으로, 이미지를 다른 개체 또는 의미론적 범주에 해당하는 영역으로 분할하는 것을 목표로 하며 개체 감지, 장면 이해, 이미지 편집 및 비디오 분석과 같은 많은 응용 프로그램이 있습니다.

그러나 이미지 분할은 특히 모양, 크기 및 모양이 다양한 여러 개체가 포함된 복잡한 장면을 처리할 때 어려운 문제입니다. 또한 대부분의 기존 이미지 분할 방법은 훈련을 위해 많은 양의 주석이 달린 데이터를 필요로 하므로 얻는 데 많은 비용과 시간이 소요될 수 있습니다. Meta는 SAM 모델로 이 문제를 해결하고자 합니다.

SAM 모델: Meta의 새로운 Segment Anything 모델은 무엇입니까?

SAM(Segment Anything Model)은 새롭고 강력한 인공 지능 모델로 이미지 또는 비디오의 모든 개체를 높은 품질과 효율성으로 분할할 수 있습니다. 분할은 개체를 배경 또는 다른 개체에서 분리하고 해당 모양과 경계를 나타내는 마스크를 만드는 프로세스입니다. SAM 모델을 사용하면 편집, 합성, 추적, 인식 및 분석 작업이 더 쉬워집니다.

SAM은 다음과 같은 몇 가지 면에서 다른 세분화 모델과 다릅니다.

• SAM은 프롬프트 가능합니다. 즉, 분할할 객체를 지정하기 위해 점이나 상자와 같은 다양한 입력 프롬프트를 사용할 수 있습니다. 예를 들어, 사람의 얼굴 주위에 상자를 그리면 Segment Anything Model이 얼굴에 대한 마스크를 생성합니다. 여러 개체를 한 번에 분할하라는 여러 프롬프트를 제공할 수도 있습니다. SAM 모델은 폐색, 반사 및 그림자가 있는 복잡한 장면을 처리할 수 있습니다.
• SAM은 현재까지 가장 큰 분할 데이터 세트인 11만 개의 이미지와 1.1억 개의 마스크로 구성된 방대한 데이터 세트로 훈련되었습니다. 이 데이터 세트는 동물, 식물, 차량, 가구, 음식 등과 같은 광범위한 개체 및 범주를 다룹니다. SAM은 일반화 능력과 데이터 다양성 덕분에 이전에 본 적이 없는 개체를 분할할 수 있습니다.
• SAM은 다양한 세분화 작업에서 강력한 제로샷 성능을 제공합니다. Zero-shot은 SAM이 특정 작업이나 도메인에 대한 추가 교육이나 미세 조정 없이 개체를 분할할 수 있음을 의미합니다. 예를 들어 SAM은 사전 지식이나 감독 없이 얼굴, 손, 머리카락, 옷, 액세서리를 분류할 수 있습니다. SAM은 또한 적외선 이미지 또는 깊이 지도와 같은 다양한 방식으로 개체를 분할할 수 있습니다.

SAM 모델은 COCO와 같은 다양한 이미지 분할 벤치마크에서 인상적인 결과를 얻습니다. SAM은 또한 로고, 텍스트, 얼굴 또는 스케치 분할과 같은 몇 가지 제로 샷 분할 작업에서 이전의 완전히 감독된 방법을 능가하거나 일치합니다. 다양한 도메인과 시나리오에서 다용성과 견고성을 보여줍니다.

앞으로: SAM 모델(Segment Anything Model) 프로젝트는 아직 초기 단계입니다. Meta에 따르면 다음은 Segment Anything 모델의 향후 응용 프로그램 중 일부입니다.

• 미래의 AR 안경은 SAM을 사용하여 평범한 물체를 인식하고 유용한 알림과 지침을 제공할 수 있습니다.

• SAM은 농업 및 생물학과 같은 다른 많은 분야에 영향을 미칠 수 있습니다. 언젠가는 농부와 과학자들에게 도움이 될 수도 있습니다.

SAM 모델은 컴퓨터 비전 및 인공 지능 연구에서 돌파구가 될 수 있습니다. 대규모 데이터에서 학습하고 새로운 작업과 영역으로 이전할 수 있는 모델인 비전 기반 모델의 가능성을 보여줍니다.

SAM 모델(Segment Anything Model) 기능

다음은 SAM 모델의 기능 중 일부입니다.

• SAM 모델을 사용하여 사용자는 분할에 포함하거나 생략할 개별 포인트를 선택하여 개체를 빠르고 쉽게 분할할 수 있습니다. 경계 상자는 모델에 대한 단서로 사용할 수도 있습니다.
• 분할되는 항목과 관련하여 불확실성이 존재하는 경우 SAM 모델은 실제 세계에서 분할을 해결하는 데 중요하고 중요한 기술인 유효한 마스크를 많이 생성할 수 있습니다.
• 이제 Segment Anything Model을 사용하면 자동 개체 감지 및 마스킹이 간단해집니다.
• 이미지 임베딩을 미리 계산한 후 Segment Anything 모델은 즉시 모든 프롬프트에 대한 세분화 마스크를 제공하여 모델과 실시간 상호 작용을 가능하게 합니다.

인상적이지 않나요? 그렇다면 그 배후에 있는 기술은 무엇입니까?

SAM 모델은 어떻게 작동합니까?

NLP 및 보다 최근에는 컴퓨터 비전에서 가장 흥미로운 발견 중 하나는 기초 모델을 사용하여 새로운 데이터 세트 및 작업에 대해 제로 샷 및 퓨 샷 학습을 가능하게 하는 "프롬프트" 접근 방식을 사용하는 것입니다. 메타는 이 분야에서 동기를 찾았습니다.

전경/배경 포인트, 대략적인 상자 또는 마스크, 자유형 텍스트 또는 이미지에서 분할할 항목을 나타내는 기타 입력이 제공되면 Meta AI 팀은 Segment Anything Model에 적절한 분할 마스크를 생성하도록 가르쳤습니다. 적절한 마스크에 대한 필요성은 출력이 프롬프트가 참조할 수 있는 항목 중 하나에 대한 적절한 마스크여야 함을 의미합니다(예: 셔츠의 한 점은 셔츠나 셔츠를 입은 사람을 나타낼 수 있음). 이 작업은 모델 사전 교육에 사용되며 일반 다운스트림 분할 문제의 솔루션을 안내합니다.

Meta는 사전 교육 작업과 대화형 데이터 수집이 모델 구성에 특정 제한을 부과한다는 사실을 알아차렸습니다. 특히, 주석 작성자는 브라우저에서 Segment Anything 모델을 대화식으로, 실시간으로, CPU에서 활용할 수 있어야 효과적입니다. 런타임 요구 사항을 충족하려면 품질과 속도 사이에 약간의 타협이 있어야 한다는 사실에도 불구하고 간단한 접근 방식이 만족스러운 결과를 생성한다는 사실을 발견했습니다.

백엔드에서 이미지 인코더는 이미지에 대한 고유한 임베딩을 생성하는 반면 경량 인코더는 모든 쿼리를 임베딩 벡터로 즉시 변환할 수 있습니다. 그런 다음 분할 마스크를 예상하기 위해 경량 디코더를 사용하여 이 두 데이터 소스를 병합합니다. 이미지 임베딩이 계산된 후 SAM은 약 50ms의 세그먼트로 웹 브라우저의 모든 쿼리에 응답할 수 있습니다.

SAM은 이미지와 비디오를 쉽고 유연하게 편집하고자 하는 창의적인 전문가와 열광적인 사람들에게 유용한 도구입니다. 하지만 먼저 액세스하고 사용하는 방법을 배워야 합니다.

SAM 모델(Segment Anything Model)을 사용하는 방법은 무엇입니까?

SAM은 Meta AI Research(구 Facebook AI Research)에서 개발했으며 다음에서 공개적으로 사용할 수 있습니다. GitHub의. SAM을 온라인으로 사용해 볼 수도 있습니다. 데모 또는 1억 개의 마스크와 1만 개의 이미지로 구성된 데이터 세트(SA-11B)를 다운로드하십시오. 이 모델은 사용하기 매우 쉽습니다. 다음 단계를 따르십시오.

• 데모를 다운로드하거나 Segment Anything Model 데모로 이동하십시오.
• 이미지를 업로드하거나 갤러리에서 이미지를 선택하세요.
• 추가 및 주제 영역
  • 점을 추가하여 영역을 마스크합니다. 영역 추가를 선택한 다음 개체를 선택합니다. 영역 제거를 선택하여 마스크를 다듬은 다음 영역을 선택합니다.

그런 다음 원하는 대로 작업을 완료하세요!

자세한 내용은 클릭 여기에서 지금 확인해 보세요..

이미지 예의 : 메타

AI 101

AI가 처음이신가요? 여전히 AI 기차를 탈 수 있습니다! 우리는 상세한 AI 용어집 가장 일반적으로 사용되는 인공 지능 용어 그리고 설명 인공 지능의 기본 뿐만 아니라 AI의 위험과 이점. 자유롭게 사용하십시오. 학습 AI를 사용하는 방법 게임 체인저입니다! AI 모델 세상이 바뀔 것이다.

우리가 검토한 AI 도구

거의 매일 새로운 도구, 모델 또는 기능이 나타나 우리의 삶을 변화시킵니다. OpenAI ChatGPT 플러그인, 그리고 우리는 이미 최고의 것들을 검토했습니다:

• 텍스트 대 텍스트 AI 도구

배우고 싶니 ChatGPT를 효과적으로 사용하는 방법? 로 전환하지 않고도 사용할 수 있는 몇 가지 팁과 요령이 있습니다. 채팅 GPT 플러스! AI 도구를 사용하려고 할 때 "와 같은 오류가 발생할 수 있습니다.ChatGPT는 현재 용량이 꽉 찼습니다.” 및 "1시간 동안 요청이 너무 많습니다. 나중에 다시 시도하세요.". 예, 정말 성가신 오류이지만 걱정하지 마세요. 우리는 그것들을 고치는 방법을 알고 있습니다. ChatGPT 표절은 무료인가요? 한 가지 답을 찾기 어려운 질문입니다. 표절이 두렵다면 자유롭게 사용하세요. AI 표절 검사기. 또한, 당신은 다른 확인 할 수 있습니다 AI 챗봇 및 AI 에세이 작가 더 나은 결과를 위해.

• 텍스트 투 이미지 AI 도구

아직 몇 가지가 있는 동안 인공 지능 생성 이미지에 대한 논쟁, 사람들은 여전히 ​​찾고 있습니다 최고의 AI 예술 생성기. AI가 디자이너를 대체할 것인가? 계속 읽고 알아보십시오.

• 기타 AI 도구

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/