Meta a introduit un autre concept d'IA dans l'industrie du métaverse. Selon un récent tweet d'Allen T., éducateur et développeur en IA, la société a publié un nouveau framework appelé Audio2Photoreal.
Audio2Photoréal est un cadre permettant de générer des avatars photoréalistes corsés qui sont naturellement pilotés par les gestes de la voix de l'auteur. Ces avatars prennent vie grâce à l’audio vocal intégré au mouvement gestuel des humains.
À partir de la parole audio brute des individus, un modèle est créé pour générer les gestes photoréalistes correspondants. Le système se compose de deux modèles génératifs qui représentent les codes d’expression et les poses corporelles d’un avatar.
Selon des clips mis en ligne par Allen T, différentes parties d'un individu, notamment la bouche, les mains et le visage, sont affectées par cet ajout.
Meta présente Audio2Photoreal
Générer des avatars photoréalistes corsés dont les gestes sont naturellement pilotés par la voix de l'auteur
Le métaverse va être amusant.
6 exemples amusants et démo ci-dessous : pic.twitter.com/EeImouEakC
–Allen T (@Mr_AllenT) 4 janvier 2024
Certaines des démos publiées sont plusieurs échantillons générés, deux conversations personnelles, un échantillon d'avatars féminins générés et des poses guides pilotant le modèle de diffusion. Allen T. a ajouté que le métaverse va être amusant avec ce développement. Ailleurs, la communauté technologique semble enthousiasmée suite aux commentaires sur la publication. Un utilisateur @EverettWorld tweeté, "Si le Metaverse ressemble à ça, j'en suis !"
Cependant, un autre utilisateur a déclaré qu’il ne faisait plus beaucoup confiance à Meta. Selon @AIandDesign, Meta est nocif pour les humains suite à toute cette histoire de Cambridge Analytica. L'utilisateur ajoute,
« Tout cela est tellement cool. J'aimerais juste que ce ne soit pas Meta. Je ne leur fais plus beaucoup confiance. Après toute cette histoire de Cambridge Analytica, j’en ai totalement fini avec Meta. Ils sont nuisibles à l’humanité. Littéralement. Je suis sur FB mais uniquement pour des trucs de famille.
La technologie derrière le concept Audio2Photoreal
ArXiv, une plateforme de partage de recherches organisée permettant aux scientifiques de partager leurs recherches avant qu'elles ne soient évaluées par des pairs, a donné plus d'informations sur Audio2Photoréal.
Le mouvement corporel d'un avatar est synthétisé à l'aide d'un modèle de diffusion conditionné respectivement par l'audio ou le texte. Pour le mouvement du visage, un modèle de diffusion audio-conditionné a été construit à partir de l'entrée audio.
Cependant, le corps et le visage suivent des dynamiques très différentes, où le visage est fortement corrélé à l’audio d’entrée tandis que le corps a une corrélation plus faible avec la parole.
Importance d'Audio2Photoreal dans le métaverse
L’implication de Meta dans le Metaverse vise à rendre l’écosystème plus réaliste. Ces avatars Audio2Photoreal peuvent refléter l’expression faciale et les gestes corporels d’un individu grâce à l’utilisation de l’audio.
Cela crée une connexion similaire à celle lorsque les individus ont une conversation en face à face. La personne aura des traits physiques uniques comme la taille, la couleur de la peau et des cheveux, la forme du corps et d’autres propriétés précises. Travailler dans le Écosystème métaverse devient plus flexible car il ne nécessite aucune webcam, vidéo ou caméra de smartphone de qualité.
Facebook, X et Instagram poursuivent l'Ohio pour faire cesser la loi sur les médias sociaux
Dans un autre développement récent, NetChoice, une société représentant des plateformes de médias sociaux comme Facebook, Instagram et X, a déposé une plainte. procès contre la nouvelle loi de l’Ohio sur les réseaux sociaux le 5 janvier.
La société a lancé une action en justice de 34 pages visant à bloquer la loi de l’Ohio sur la notification parentale sur les réseaux sociaux, qui serait entrée en vigueur le 15 janvier, mais uniquement sur les comptes créés après cette date.
La loi sur les réseaux sociaux insiste sur le fait que les plateformes doivent obtenir le consentement des parents pour leurs utilisateurs âgés de 16 ans ou moins. Cependant, le procès indique que la loi « mettrait un obstacle important à la capacité de certains mineurs de s’exprimer sur ces sites Web ».
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://metanews.com/meta-introduces-audio2photoreal-to-facilitate-metaverse-interactions/
