심층 강화 학습 시스템은 AI, 특히 로봇 분야에서. 그러나 현실 세계에서 이러한 시스템은 개발 중에 노출되지 않은 여러 상황과 동작에 직면합니다.

인간의 목표 달성을 돕기 위해 인간과 협력 할 수있는 시스템을 향한 단계에서 Microsoft, University of California, Berkeley 및 University of Nottingham의 연구원들은 방법론 Overcooked 게임의 단순화 된 버전에서 시연 할 수있는 인간 -AI 협업에 테스트 패러다임을 적용했습니다. Overcooked의 플레이어는 장애물과 위험 요소로 가득 찬 주방의 여러 요리사를 제어하여 시간 제한에 따라 주문할 식사를 준비합니다.

팀은 Overcooked가 견고성 벤치마킹을 염두에두고 설계 될 필요는 없지만 시스템이 처리 할 수 ​​있어야하는 상태에서 잠재적 인 엣지 케이스를 성공적으로 테스트 할 수 있고 시스템이 함께 플레이 할 수 있어야하는 파트너도 성공적으로 테스트 할 수 있다고 주장합니다. 예를 들어 Overcooked에서 시스템은 접시가 실수로 카운터에 놓인 경우와 파트너가 생각 중이거나 키보드에서 떨어져 있기 때문에 잠시 동안 그대로있을 때와 같은 시나리오와 경쟁해야합니다.

위 : 연구원의 테스트 환경에서 캡처 한 화면입니다.

연구자들은 다양한 집단의 다른 협업 시스템으로 시스템을 훈련시키는 것을 포함하여 시스템 견고성을 개선하기위한 여러 기술을 조사했습니다. Overcooked에서 실험하는 동안, 그들은 여러 테스트 시스템이 언제 방해가 될지 (예 : 파트너가 재료를 운반 할 때)와 파트너가 한동안 유휴 상태를 유지 한 후 주문을 픽업하고 배송해야하는시기를 인식 할 수 있는지 여부를 관찰했습니다. .

연구원들에 따르면, 현재의 심층 강화제는 적어도 Overcooked에서 측정 한 것만 큼 강력하지 않습니다. 그들이 테스트 한 시스템 중 비디오 게임에서 65 % 이상을 기록한 시스템은 없었습니다. 연구원들은 Overcooked가 미래에 유용한 인간 -AI 협업 지표로 사용될 수 있다고 말합니다.

“우리는 우리의 [Overcooked] 테스트 스위트가 단순히 검증 보상을 고려하여 사용할 수없는 정보를 제공하고 특정 기술에 대한 결론이 더 예비 적이라는 것을 주요 발견으로 강조합니다. “우리 작업의 자연스러운 확장은 인간 -AI 협업 외에 다른 영역으로 단위 테스트 사용을 확장하는 것입니다.… 향후 작업을위한 대안은 에이전트가 특정 인간 파트너에게 온라인으로 적응하도록 교육하기 위해 메타 학습을 탐색하는 것입니다. 그것은 놀고 있습니다. 이는 특히 메모리를 통한 에이전트 견고성에서 상당한 이득을 가져올 수 있습니다. "