Meta heeft een ander AI-concept geïntroduceerd in de metaverse-industrie. Volgens een recente tweet van Allen T., een AI-docent en ontwikkelaar, heeft het bedrijf een nieuw raamwerk uitgebracht genaamd Audio2Photoreal.
Audio2Fotorealistisch is een raamwerk voor het genereren van krachtige fotorealistische avatars die op natuurlijke wijze door gebaren worden aangestuurd door de stem van de auteur. Deze avatars komen tot leven door middel van spraakgeluid dat is geïntegreerd in de bewegingsbewegingen van mensen.
Op basis van de ruwe audiospraak van individuen wordt een model gemaakt om overeenkomstige fotorealistische gebaren te genereren. Het systeem bestaat uit twee generatieve modellen die de expressiecodes en lichaamshoudingen van een avatar vertegenwoordigen.
Volgens clips geüpload door Allen T worden verschillende delen van een individu, inclusief de mond, handen en gezicht, beïnvloed door deze toevoeging.
Meta introduceert Audio2Photoreal
Het genereren van krachtige fotorealistische avatars die op natuurlijke wijze gebaren maken, aangedreven door de stem van de auteur
De metaverse wordt leuk.
Hieronder 6 leuke voorbeelden en demo: pic.twitter.com/EeImouEakC
— Allen T (@Mr_AllenT) 4 januari 2024
Sommige van de vrijgegeven demo's bestaan uit meerdere gegenereerde voorbeelden, twee persoonlijke gesprekken, een voorbeeld van gegenereerde vrouwelijke avatars en gidsposities die het diffusiemodel aandrijven. Allen T. voegde eraan toe dat de metaverse leuk gaat worden met deze ontwikkeling. Elders lijkt de technische gemeenschap enthousiast na reacties op de post. Een gebruiker @EverettWorld tweeted, “Als Metaverse er zo uitziet, doe ik mee!”
Een andere gebruiker was echter geïrriteerd dat hij Meta niet veel meer vertrouwt. Volgens @AIandDesign, Meta is schadelijk voor de mens Ik volg het hele Cambridge Analytica-gedoe. De gebruiker voegt toe,
“Dit is allemaal zo cool. Ik wou dat het Meta niet was. Ik vertrouw ze niet veel meer. Na het hele Cambridge Analytica-gedoe ben ik helemaal klaar met Meta. Ze zijn schadelijk voor de mensheid. Letterlijk. Ik zit op FB, maar alleen voor familiezaken.”
De technologie achter het Audio2Photoreal-concept
ArXiv, een beheerd platform voor het delen van onderzoek, waar wetenschappers onderzoek kunnen delen voordat het door vakgenoten is beoordeeld, gaf meer inzichten over Audio2Fotorealistisch.
De lichaamsbeweging van een avatar wordt gesynthetiseerd met behulp van een diffusiemodel dat is gebaseerd op respectievelijk audio of tekst. Voor de gezichtsbeweging werd op basis van de audio-invoer een audiogeconditioneerd diffusiemodel geconstrueerd.
Het lichaam en het gezicht volgen echter een zeer verschillende dynamiek, waarbij het gezicht sterk gecorreleerd is met de invoeraudio, terwijl het lichaam een zwakkere correlatie heeft met spraak.
Belang van Audio2Photoreal in de metaverse
Meta’s betrokkenheid bij de Metaverse is erop gericht het ecosysteem realistischer te maken. Deze Audio2Photoreal-avatars kunnen de gezichtsuitdrukking en lichaamsgebaren van een individu weerspiegelen door middel van audio.
Het creëert een verbinding die vergelijkbaar is met wanneer individuen een face-to-face gesprek voeren. De persoon zal unieke fysieke kenmerken hebben, zoals lengte, huid- en haarkleur, lichaamsvorm en andere nauwkeurige eigenschappen. Werken in de Metavers ecosysteem wordt flexibeler omdat er geen webcams, video's of hoogwaardige smartphonecamera's nodig zijn.
Facebook, X en Instagram klagen Ohio aan om de wet op sociale media stop te zetten
In een andere recente ontwikkeling heeft NetChoice, een bedrijf dat sociale-mediaplatforms zoals Facebook, Instagram en X vertegenwoordigt, een aanvraag ingediend proces tegen de nieuwe socialemediawet van Ohio op 5 januari.
Het bedrijf heeft een 34 pagina's tellende rechtszaak aangespannen om de Social Media Parental Notification Act van Ohio te blokkeren, die op 15 januari van kracht zou zijn geworden, maar alleen op accounts die na genoemde datum zijn aangemaakt.
De wet op sociale media dringt erop aan dat platforms toestemming van ouders moeten krijgen voor hun gebruikers van 16 jaar of jonger. In de rechtszaak wordt echter gesteld dat de wet “een aanzienlijke hindernis zou vormen voor het vermogen van sommige minderjarigen om op die websites te spreken.”
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://metanews.com/meta-introduces-audio2photoreal-to-facilitate-metaverse-interactions/
