Alibaba Group의 지능형 컴퓨팅 연구소 연구원들은 인물 사진에 생명을 불어넣는 EMO: Emote Portrait Alive라는 AI 도구를 개발했습니다.

이 도구를 사용하면 사용자는 스틸 이미지에 오디오 및 비디오를 추가할 수 있습니다. 이 도구를 사용하면 모나리자로 더 잘 알려진 유명한 레오나르도 다빈치의 라 조콘다(La Gioconda)와 같은 오래된 초상화를 가지고 놀면서 그녀가 머리 포즈, 동작, 얼굴 표정 및 정확한 립싱크로 말하고 노래하게 만들 수 있습니다.

표현력이 뛰어난 오디오 기반 인물 사진 비디오 생성 도구

"EMO: Emote Portrait Alive: 약한 조건 하에서 Audio2Video 확산 모델을 사용하여 표현적인 인물 영상 생성"이라는 보고서에서,  연구원 새로운 도구, 기능, 완벽한 결과를 위해 도구를 사용하는 방법에 대한 통찰력을 제공합니다.

표현력이 풍부한 오디오 기반 초상화 제작 AI 도구를 사용하면 사용자는 얼굴 표정이 포함된 음성 아바타 비디오를 만들 수 있습니다. 연구원에 따르면 이 도구를 사용하면 "입력 오디오의 길이에 따라" 길이에 관계없이 비디오를 만들 수 있습니다.

연구진은 “단일 캐릭터 이미지와 노래 등 음성 오디오를 입력하면 표정이 풍부한 표정과 다양한 머리 자세가 포함된 음성 아바타 영상을 생성할 수 있다”고 말했다.

“우리의 방법은 다양한 언어로 된 노래를 지원하고 다양한 초상화 스타일을 생생하게 구현합니다. 오디오의 음색 변화를 직관적으로 인식하여 역동적이고 표현력이 풍부한 아바타를 생성할 수 있습니다.”

또한 읽기 : OpenAI, New York Times가 ChatGPT를 "해킹"하여 저작권 사례를 개발한다고 주장

초상화에서 말하고 노래하기

연구원들에 따르면, AI 기반 도구는 음악을 처리할 뿐만 아니라 다양한 언어로 된 음성 오디오도 수용합니다.

연구원들은 "또한 우리의 방법은 지나간 시대의 인물 사진, 그림, 3D 모델과 AI 생성 콘텐츠를 애니메이션화하여 실제와 같은 움직임과 사실감을 불어넣는 기능을 갖추고 있습니다"라고 말했습니다.

그러나 그것은 거기서 끝나지 않습니다. 사용자는 다양한 스타일과 언어로 독백이나 공연을 펼치는 영화배우의 초상화와 이미지를 가지고 놀 수도 있습니다.

X 플랫폼을 채택한 일부 AI 애호가들은 이를 "놀랍다"고 표현했습니다.

2. 셰익스피어와 이야기하는 모나리자 pic.twitter.com/26k29aAz1P

— 최민(@minchoi) 2024년 ２월 28일

현실과 AI의 경계가 얇아지고 있다

EMO 도구 소식 Alibaba 기술 기업이 계속해서 신제품을 출시함에 따라 다른 사용자들은 AI와 현실 사이의 경계가 곧 사라질 것이라고 생각하게 되었습니다.

“AI와 현실의 경계는 그 어느 때보다 얇아졌습니다.” 게시된 루벤 X에서는 다른 사람들이 생각하는 동안 틱톡 서비스 곧 창조물로 넘쳐날 것입니다.

“이렇게 정확하고 현실적인 결과는 처음 봤습니다. 비디오 AI 올해는 믿을 만한 해가 될 것이라고 약속했다”고 말했다. 폴 은밀한.

다른 사람들은 이것이 크리에이티브의 판도를 바꿀 수 있다고 생각하지만, 최민 역시 이에 대해 조심스럽습니다.

“창의적인 일을 위해서라면 좋겠습니다. 잘못된 사람의 손에 들어가면 위험할 수 있습니다.”

도구 사용

프로세스를 설명하면서 연구원들은 EMO 프레임워크가 두 단계로 구성되어 있다는 점을 강조했습니다. 첫 번째 단계는 프레임 인코딩으로 알려져 있으며, 여기서 ReferenceNet은 참조 이미지와 모션 프레임에서 특징을 추출하기 위해 배포됩니다.

다음 단계는 사전 훈련된 오디오 인코더가 "오디오 임베딩을 처리"하는 확산 프로세스 단계입니다. 완벽한 얼굴 이미지를 만들기 위해 사용자는 얼굴 영역 마스크와 다중 프레임 노이즈를 통합합니다.

"이러한 메커니즘은 각각 캐릭터의 정체성을 보존하고 캐릭터의 움직임을 조절하는 데 필수적입니다."라고 설명의 일부가 읽혀집니다.

"추가로 시간 모듈은 시간 차원을 조작하고 속도 동작을 조정하는 데 활용됩니다."

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://metanews.com/the-mona-lisa-can-now-talk-thanks-to-emo/