Hiç hareketsiz fotoğraflarınızın konuşabilmesini veya şarkı söyleyebilmesini dilediniz mi? Emote Portrait Alive'ın kısaltması olan EMO ile tanışın. Alibaba'nın Akıllı Hesaplama Enstitüsü'ndeki araştırmacılar tarafından geliştirilen EMO, tam da bunu yapmak için tasarlanmış bir yapay zeka sistemidir.

EMO, sesi doğrudan video karelerine dönüştürerek karmaşık 3D modelleri atlayarak animasyona benzersiz bir yaklaşım getiriyor. Bu, animasyonlu videolarınızın, tek bir fotoğraf ve ses klibindeki konuşma veya şarkının doğal hareketlerini ve ifadelerini koruduğu anlamına gelir.

Alibaba AI: Canlı Portre Portresi (EMO) nedir?

EMO veya Emote Portrait Alive, Alibaba'nın Akıllı Bilgi İşlem Enstitüsü'ndeki araştırmacılar tarafından geliştirilen bir yapay zeka sistemidir. Onun birincil işlevi statik portre fotoğraflarını canlandırın, konunun gerçekçi bir şekilde konuştuğunu veya şarkı söylediğini gösteren videolar oluşturmak.

EMO'yu diğerlerinden ayıran şey, bu animasyonları oluşturma yaklaşımıdır. EMO, genellikle insan ifadesinin nüanslarını yakalamakta zorlanan geleneksel yöntemlere güvenmek yerine, ses dalga formlarını doğrudan video karelerine dönüştürür. Bu, animasyon oluşturmak için ara 3D modellere veya yüz işaretlerine ihtiyaç duymadığı anlamına gelir. Bunun yerine, doğal konuşmayla ilişkilendirilen ince yüz hareketlerini ve bireysel yüz stillerini yakalamaya odaklanır.

Az önce 👀

bu şimdiye kadar gördüğüm en muhteşem audio2video.
Adı EMO: Canlı Portreyi İfade Et pic.twitter.com/3b1AQMzPYu

— Zaman Gezgini Stelfie (@StelfieTT) Şubat 28, 2024

EMO'ya güç veren teknoloji, gerçekçi sentetik görüntüler oluşturma yeteneğiyle bilinen bir yayılma modeline dayanıyor. Sistemi eğitmek için araştırmacılar konuşmalar, filmler, TV şovları ve müzik performansları da dahil olmak üzere çeşitli kaynaklardan gelen konuşan kafa videolarından oluşan geniş bir veri kümesi kullandı. Bu kapsamlı eğitim, EMO'nun konunun kimliğini koruyarak ve ifade gücünü aktararak yüksek kaliteli videolar üretmesine olanak tanır.

EMO, konuşma videoları oluşturmanın yanı sıra şarkı söyleyen portreleri de canlandırabilir. Ağız şekillerinin ve yüz ifadelerinin vokallerle senkronize edilmesi, farklı tarz ve sürelerde şarkı söyleme videoları oluşturulabilir.

EMO'nun gelişimi, kişiselleştirilmiş video içeriği oluşturmaya yönelik heyecan verici olanaklar sunarken, aynı zamanda etik kaygıları da beraberinde getiriyor. gibi yanlış kullanım riski vardır. bürünme veya yayılması yanlış bilgi. Bu nedenle, bu tür teknolojilerin dağıtımına dikkatle yaklaşmak ve bu etik kaygıları gidermek için uygun önlemlerin alındığından emin olmak çok önemlidir.

Pika Dudak Senkronizasyonu AI tarafından oluşturulan videoları da konuşturuyor

EMO nasıl çalışır?

EMO sistemi iki ana aşamada çalışır: Çerçevelerin Kodlanması ve Yayılma Süreci.

• Çerçeve kodlaması: Animasyonun temelini oluşturmak için referans görüntülerden ve hareket çerçevelerinden özellikler çıkarır.
• Difüzyon süreci: Ses girişini işlemek için önceden eğitilmiş bir ses kodlayıcı kullanır. Animasyon oluşturmak için yüz bölgesi maskelerini çoklu çerçeve gürültüsüyle birleştirir. Backbone Network, Referans-Dikkat ve Ses-Dikkat mekanizmalarının yardımıyla animasyonların gürültüsünü giderir. Zamansal Modüller hareket hızını ayarlar.

EMO'yla neler yapabilirsiniz?

EMO, gerçekçi animasyonlu videolar oluşturmak için çok yönlü bir araç sunar ve kişiselleştirilmiş ve etkileyici içerik oluşturma olanaklarını genişletir, örneğin:

• şan: Şarkı söyleyen ses girişleriyle senkronize edilmiş etkileyici yüz ifadeleriyle vokal avatar videoları oluşturur.

• Dil ve Stil: Dinamik avatar animasyonları için ton değişimlerini yakalayan çeşitli dilleri ve portre stillerini destekler.
• Hızlı ritim: Karakter animasyonlarının hızlı tempolu ritimlerle senkronizasyonunu sağlar.
• konuşma: Çeşitli dillerde ve tarzlarda konuşulan ses girişlerine yanıt olarak portreleri canlandırır.
• Aktörler arası performans: Filmlerdeki veya diğer medyadaki karakterleri çok dilli ve çok kültürlü bağlamlarda tasvir eder.

Özetle Emote Portrait Alive olarak da bilinen EMO, animasyon teknolojisinde önemli bir gelişmedir. Durağan resimleri, konuların gerçekçi bir şekilde konuşuyor veya şarkı söylüyor gibi göründüğü canlı videolara dönüştürebilir. EMO bunu, sesi doğrudan video karelerine dönüştürerek, yüz ifadelerini ve hareketleri doğru bir şekilde yakalayarak başarır. EMO, dinamik görsel içerik oluşturmak için heyecan verici olanaklar sunarken, potansiyel kötüye kullanımına ilişkin etik kaygıların da ele alınması gerekmektedir. Bununla birlikte EMO, durağan görüntüleri hayata geçirmek için değerli bir araç sunuyor ve gelecekte görsel medyayla etkileşim şeklimizi potansiyel olarak dönüştürebilir.

Daha detaylı bilgi için, okuyun onun araştırma makalesidir.

Öne çıkan resim kredisi: EMO: İfade Portre Canlı araştırması

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://dataconomy.com/2024/02/29/emote-portrait-alive-emo-alibaba-ai/