Apple 연구원들은 ReALM AI라는 새로운 제품을 공개했습니다. 이 제품은 사용자 화면의 내용을 이해하여 그에 따라 요청에 응답할 수 있다고 주장합니다.

연구원에 따르면 이 모델은 매개변수가 적음에도 불구하고 다양한 작업에서 GPT-4를 능가합니다. 이는 iOS 18의 공식 출시를 앞두고 나온 것입니다. WWDC 2024 6월에는 큰 압박이 예상됩니다. 새로운 시리 2.0. 그러나 Apple이 WWDC 2024에 맞춰 새로운 ReALM을 Siri에 통합할지는 아직 확실하지 않습니다.

또한 읽기 : 니키 미나즈(Nicki Minaj), 케이트 페리(Kate Perry), 기타 아티스트 200명, 음악 '평가절하' 이유로 AI 개발자 비난

화면 이해

Apple은 AI 관련 발표를 하면서 AI 분야를 따라잡기 위해 노력해 왔습니다. 이제 iPhone 제조업체의 연구원들은 "화면에 표시된 내용을 이해"할 수 있는 새로운 AI 모델인 ReALM을 출시하는 획기적인 성과를 거두었습니다.

AI 스타트업을 인수한 지 불과 한 달 만이다. 다윈AI. 연구진에 따르면 이 모델은 사용자 화면의 정보를 텍스트로 변환합니다. 이를 통해 "대량의 이미지 인식 없이" 장치에서 작동할 수 있습니다.

에 명시된 모델 연구 논문 매개변수가 적음에도 불구하고 GPT-4보다 훨씬 뛰어난 성능을 발휘했으며 화면에 있는 내용과 백그라운드에서 실행 중인 작업을 모두 고려합니다.

예를 들어, 사용자가 웹페이지를 탐색하다가 전화하고 싶은 업체를 찾았을 때 Siri에게 "이 업체에 전화해 달라고"만 요청할 수 있습니다. 이제 ReALM을 사용하면 모델을 통해 Siri가 연락처 세부 정보를 '확인'하고 '직접 통화를 시작'할 수 있습니다.

이는 모델이 화면 컨텍스트를 이해하여 사용자 경험을 향상시키는 방법을 보여줍니다.

MSPowerUser에 따르면 신고, 새 모델을 향후 Siri 업데이트에 통합하면 Apple이 보다 원활하고 "핸즈프리 사용자 경험"을 만드는 데 도움이 됩니다. 이는 또한 Gemini와 같은 대규모 언어 모델을 배포하지 않고도 Siri에게 더 많은 대화 능력을 제공할 것으로 예상됩니다.

보고서는 추가로 다음과 같이 언급합니다. 아이폰 메이커 또한 필요한 결과를 얻기 위해 여러 프롬프트의 필요성을 줄일 수 있는 MM1과 AI 이미지 조작기를 개발 중입니다.

AI 뉴스: Apple 연구원들이 화면 맥락을 '보고' 이해할 수 있는 새로운 AI 모델을 공개했습니다.

또한 SWE-agent, Anthropic, Apple Vision Pro 및 Baidu라는 오픈 소스 AI 에이전트의 추가 개발도 포함됩니다.

현재 AI에서 진행되고 있는 모든 일은 다음과 같습니다.

— 로완 청(@rowancheung) 2024 년 4 월 3 일

경쟁 우위

연구 논문에 따르면 ReALM은 다양한 데이터 세트에서 동료 및 이전 모델을 능가했습니다. 여기에는 합성, 대화 및 보이지 않는 대화 데이터 세트가 포함되었습니다.

또한 연구 논문은 ReALM이 화면 정보에서 OpenAI의 GPT-4와 완벽하게 작동하는 방식을 구체적으로 강조합니다. 연습 중에 ReALM은 텍스트 코딩에만 의존한 반면 GPT-4는 스크린샷에 액세스할 수 있었습니다.

연구자들이 성능을 평가했을 때 GPT-4와 ReALM 모두 동일한 결과를 보였습니다.

MSPowerUser에 따르면 "그러나 ReALM은 사용자 요청에 대한 미세 조정으로 인해 도메인별 쿼리의 경우 GPT-4보다 성능이 뛰어났습니다."

연구원들은 "우리는 특히 화면 데이터 세트의 이점을 강조하고 텍스트 인코딩 접근 방식을 사용하는 모델이 스크린샷이 제공됨에도 불구하고 GPT-4와 거의 비슷한 성능을 발휘할 수 있다는 점을 확인하고 싶습니다."라고 설명했습니다.

연구원에 따르면 이를 통해 ReALM은 "사용자 의도의 뉘앙스를 파악하고 그에 따라 대응"할 수 있습니다.

모델의 반대편

이 연구는 ReALM이 참조 해결을 위해 LLM을 활용하는 방법을 강조합니다. MSPowerUser에 따르면 이 모델은 "온디바이스 애플리케이션에 대한 효율성을 유지하면서 화면상의 엔터티를 자연어 텍스트로 변환함으로써 사용자의 화면과 요청을 이해할 수 있습니다."

그러나 모델은 화면상의 개체의 위치를 ​​인코딩하지만 "공간 관계에 대한 복잡한 이해가 필요한 복잡한 사용자 쿼리"의 모든 세부 정보를 캡처하지 못할 수도 있습니다.

에 따르면 톰 가이드, 이것은 지난 몇 달 동안 Apple이 AI 공간에 처음으로 진출한 것이 아닙니다. 이 회사는 장치의 효율성을 높이기 위한 다양한 도구를 개발해 왔으며 AI를 비즈니스의 중심으로 만들겠다는 의지를 보여주었습니다.

이제 ReALM은 기존 모델을 강화하여 더 빠르고 효율적으로 만드는 데 중점을 둔 iPhone 제조업체의 최신 제품입니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://metanews.com/apple-researchers-boast-its-realm-understands-screen-context/