경계 상자 주석은 시간이 오래 걸리고 지루한 작업으로 주석 작성자가 개체의 경계에 꼭 맞는 주석을 만들어야 합니다. 예를 들어 경계 상자 주석 작업에는 주석이 달린 객체의 모든 가장자리가 주석으로 둘러싸여 있는지 확인하기 위해 주석자가 필요합니다. 실제로 개체 가장자리에 정확하고 잘 정렬된 주석을 만드는 것은 힘든 과정입니다.

이 게시물에서는 어노테이터의 노력을 줄여주는 기계 학습(ML) 모델로 구동되는 Snapper라는 새로운 대화형 도구를 소개합니다. Snapper 도구는 시끄러운 주석을 자동으로 조정하여 고품질 수준에서 데이터에 주석을 추가하는 데 필요한 시간을 줄입니다.

스내퍼 개요

Snapper는 객체 주석을 실시간으로 이미지 기반 객체에 "스냅"하는 대화형 지능형 시스템입니다. Snapper를 사용하여 주석 작성자는 상자를 그려 경계 상자 주석을 배치한 다음 경계 상자에 대한 즉각적인 자동 조정을 확인하여 경계 객체에 더 잘 맞도록 합니다.

Snapper 시스템은 두 개의 하위 시스템으로 구성됩니다. 첫 번째 하위 시스템은 주석 관련 마우스 이벤트를 가로채고 모델의 예측 렌더링을 처리하는 프런트 엔드 ReactJS 구성 요소입니다. 우리는 이 프런트 엔드를 아마존 세이지 메이커 그라운드 진실 주석 UI. 두 번째 하위 시스템은 프런트 엔드 클라이언트로부터 요청을 수신하고 요청을 ML 모델로 라우팅하여 조정된 바운딩 박스 좌표를 생성하고 데이터를 다시 클라이언트로 보내는 모델 백엔드로 구성됩니다.

주석자에 최적화된 ML 모델

최근 몇 년 동안 컴퓨터 비전 커뮤니티에서 엄청난 수의 고성능 개체 감지 모델이 제안되었습니다. 그러나 이러한 최신 모델은 일반적으로 유도되지 않은 물체 감지에 최적화되어 있습니다. 사용자의 주석을 조정하기 위한 Snapper의 "스냅" 기능을 용이하게 하기 위해 모델에 대한 입력은 개체의 존재에 대한 마커 역할을 할 수 있는 주석 작성자가 제공하는 초기 경계 상자입니다. 또한 시스템에는 지원하려는 의도된 개체 클래스가 없기 때문에 Snapper의 조정 모델은 시스템이 다양한 개체 클래스에서 잘 작동하도록 개체에 구애받지 않아야 합니다.

일반적으로 이러한 요구 사항은 일반적인 ML 객체 감지 모델의 사용 사례와 크게 다릅니다. 우리는 전통적인 물체 감지 문제가 "물체 중심을 감지한 다음 차원을 회귀"로 공식화한다는 점에 주목합니다. 경계 상자 가장자리의 정확한 예측은 먼저 정확한 상자 중심을 찾은 다음 가장자리까지의 스칼라 거리를 설정하는 데 결정적으로 의존하기 때문에 직관에 반합니다. 또한 분류기 점수만 사용할 수 있기 때문에 가장자리 위치의 불확실성에 초점을 맞춘 좋은 신뢰 추정치를 제공하지 않습니다.

Snapper 모델에 사용자의 주석을 조정할 수 있는 기능을 제공하기 위해 경계 상자 조정을 위해 맞춤 설계된 ML 모델을 설계하고 구현합니다. 입력으로 모델은 이미지와 해당 경계 상자 주석을 사용합니다. 이 모델은 컨볼루션 신경망을 사용하여 이미지에서 특징을 추출합니다. 기능 추출 후 방향성 공간 풀링이 각 차원에 적용되어 적절한 에지 위치를 식별하는 데 필요한 정보를 집계합니다.

경계 상자에 대한 위치 예측을 다른 위치에 대한 분류 문제로 공식화합니다. 전체 개체를 보면서 분류 작업으로 각 픽셀의 위치에서 직접 가장자리의 유무를 추론하도록 기계에 요청합니다. 이렇게 하면 각 에지에 대한 추론이 바로 로컬 이웃의 이미지 기능을 사용하므로 정확도가 향상됩니다. 또한 이 방식은 서로 다른 에지 사이의 추론을 분리하여 모호하지 않은 에지 위치가 불확실한 에지 위치의 영향을 받지 않도록 합니다. 또한 모델이 개체의 각 가장자리를 독립적으로 고려하고(인간 주석 작성자가 하는 것처럼) 각 가장자리의 위치에 대해 해석 가능한 분포(또는 불확실성 추정치)를 제공하므로 가장자리에 대한 직관적인 신뢰도 추정치를 제공합니다. 이를 통해 보다 효율적이고 정확한 인적 검토를 위해 덜 자신감 있는 가장자리를 강조할 수 있습니다.

Snapper 도구 벤치마킹 및 평가

실제로 우리는 Snapper 도구가 경계 상자 주석 작업을 능률화하고 사용자가 선택하기에 매우 직관적이라는 것을 알게 되었습니다. 도구를 객관적으로 특성화하기 위해 Snapper에 대한 정량 분석도 수행했습니다. 우리는 타당성을 검사하기 위해 IoU(Intersection over Union)와 edge 및 corner deviance라는 두 가지 척도를 사용하는 객체 감지 모델에 일종의 평가 표준을 사용하여 Snapper의 조정 모델을 평가했습니다. IoU는 주석의 중첩 영역을 주석의 통합 영역으로 나누어 두 주석 간의 정렬을 계산하여 0-1 범위의 메트릭을 생성합니다. 에지 편차 및 코너 편차는 실측값에서 벗어난 에지 및 코너의 비율을 픽셀 값으로 취하여 계산됩니다.

Snapper를 평가하기 위해 무작위로 조정하여 잡음이 있는 주석 데이터를 동적으로 생성했습니다. COCO ground truth 경계 상자는 지터와 함께 조정됩니다. 지터를 추가하는 절차는 먼저 각 축에서 해당 경계 상자 치수의 최대 10%까지 경계 상자의 중심을 이동한 다음 경계 상자의 크기를 0.9-1.1 사이의 무작위 샘플링 비율로 재조정합니다. 여기에서 이러한 메트릭을 공식의 검증 세트에 적용합니다. MS-COCO 데이터 세트 훈련에 사용됩니다. 구체적으로 IoU가 90%를 초과하는 경계 상자의 비율과 해당 지상 실측에서 XNUMX~XNUMX픽셀 미만으로 벗어나는 모서리 편차 및 모서리 편차의 비율을 계산합니다. 다음 표는 조사 결과를 요약한 것입니다.

앞의 표에서 볼 수 있듯이 Snapper의 조정 모델은 세 가지 지표 각각에서 노이즈 데이터의 두 소스를 크게 개선했습니다. 고정밀 주석에 중점을 두고 Snapper를 지터가 있는 MS COCO 데이터 세트에 적용하면 IoU가 90%를 초과하는 경계 상자의 비율이 40% 이상 증가합니다.

결론

이 게시물에서는 Snapper라는 새로운 ML 기반 주석 도구를 소개했습니다. Snapper는 SageMaker 모델 백엔드와 Ground Truth 라벨 지정 UI에 통합되는 프런트 엔드 구성 요소로 구성됩니다. 시뮬레이트된 노이즈 경계 상자 주석에서 Snapper를 평가한 결과 불완전한 경계 상자를 성공적으로 개선할 수 있음을 발견했습니다. 레이블 작업에 Snapper를 사용하면 비용을 크게 줄이고 정확도를 높일 수 있습니다.

더, 방문 내용 Amazon SageMaker 데이터 라벨링 오늘 상담을 예약하십시오.

저자 소개

조나단 벅 기계 학습과 분산 시스템의 교차점에서 일하는 Amazon Web Services의 소프트웨어 엔지니어입니다. 그의 작업에는 머신 러닝 모델을 생산하고 머신 러닝으로 구동되는 새로운 소프트웨어 애플리케이션을 개발하여 고객에게 최신 기능을 제공하는 것이 포함됩니다.

알렉스 윌리엄스 AWS AI의 인간 참여 루프(Human-in-the-Loop) 과학 팀의 응용 과학자로서 인간-컴퓨터 상호 작용(HCI)과 기계 학습의 교차점에서 대화형 시스템 연구를 수행합니다. Amazon에 합류하기 전에는 테네시 대학의 전기 공학 및 컴퓨터 과학과 교수로 재직하면서 PAIRS(People, Agents, Interactions, and Systems) 연구소를 공동으로 이끌었습니다. 그는 또한 Microsoft Research, Mozilla Research 및 University of Oxford에서 연구 직책을 역임했습니다. 그는 정기적으로 프렘에서 자신의 작품을 발표합니다.

민바이 자율 주행 및 사용자 친화적인 AI 도구 분야에 중점을 둔 2D/3D 컴퓨터 비전을 전문으로 하는 AWS의 응용 과학자입니다. 일하지 않을 때는 자연, 특히 인적 드문 곳을 탐험하는 것을 즐깁니다.

쿠마르 첼라필라 Amazon Web Services의 총괄 관리자 겸 이사이며 휴먼 인 루프 시스템, AI DevOps, 지리 공간 ML 및 ADAS/자율주행차 개발과 같은 ML/AI 서비스 개발을 이끌고 있습니다. AWS 이전에 Kumar는 Uber ATG 및 Lyft 레벨 5의 엔지니어링 이사였으며 머신 러닝을 사용하여 인식 및 매핑과 같은 자율 주행 기능을 개발하는 팀을 이끌었습니다. 또한 LinkedIn, Twitter, Bing 및 Microsoft Research에서 검색, 추천 및 광고 제품을 개선하기 위해 기계 학습 기술을 적용하는 작업을 했습니다.

패트릭 하프너 AWS Sagemaker Ground Truth 팀의 수석 응용 과학자입니다. 그는 LeNet Convolutional Neural Network를 적용하여 인식을 확인했던 1995년부터 인간 참여 루프(Human-in-the-Loop) 최적화 작업을 해왔습니다. 그는 라벨링 비용을 최소화하기 위해 ML 알고리즘과 라벨링 UI가 함께 최적화되는 전체적인 접근 방식에 관심이 있습니다.

에란 리 휴먼 인 더 루프 서비스, AWS AI, Amazon의 응용 과학 관리자입니다. 그의 연구 관심사는 3D 딥 러닝, 비전 및 언어 표현 학습입니다. 이전에는 Alexa AI의 수석 과학자, Scale AI의 기계 학습 책임자 및 Pony.ai의 수석 과학자였습니다. 그 전에는 Uber ATG의 인식 팀과 Uber의 기계 학습 플랫폼 팀에서 자율 주행을 위한 기계 학습, 기계 학습 시스템 및 AI의 전략적 이니셔티브를 담당했습니다. 그는 Bell Labs에서 경력을 시작했으며 Columbia University의 겸임 교수였습니다. 그는 ICML'17 및 ICCV'19에서 자습서를 공동 강의했으며 NeurIPS, ICML, CVPR, ICCV에서 자율 주행, 3D 비전 및 로봇 공학, 기계 학습 시스템 및 적대적 기계 학습을 위한 기계 학습에 대한 여러 워크샵을 공동 조직했습니다. 그는 Cornell University에서 컴퓨터 과학 박사 학위를 받았습니다. 그는 ACM 펠로우이자 IEEE 펠로우입니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/snapper-provides-machine-learning-assisted-labeling-for-pixel-perfect-image-object-detection/