Le dernier système de recherche en IA de Meta permet aux casques et aux lunettes de comprendre la disposition et le mobilier de votre pièce.

Appelé Scénario, Meta affirme que le système exploite la même technique sous-jacente que les grands modèles de langage (LLM), sauf qu'au lieu de prédire le prochain fragment de langage, il prédit les éléments architecturaux et de mobilier dans une capture de nuage de points 3D du même type que celle capturée par les casques pour permettre un suivi de position autonome. .

Le résultat est une série de formes 3D primitives qui représentent les limites fondamentales du meuble ou de l'élément donné.

Quest 3 est capable de générer un maillage 3D brut de votre pièce et de déduire les positions de vos murs, sol et plafond à partir de ce maillage 3D. Mais le casque ne sait pas actuellement quelles formes au sein de ce maillage représentent des éléments plus spécifiques comme les portes, les fenêtres, les tables, les chaises et les canapés. Les casques Quest permettent aux utilisateurs de marquer manuellement ces objets comme de simples cuboïdes rectangulaires s'ils le souhaitent, mais comme cela est facultatif et ardu, les développeurs ne peuvent pas compter sur les utilisateurs pour l'avoir fait.

Si une technologie telle que SceneScript était intégrée à la configuration de scènes de réalité mixte de Quest 3, les développeurs pourraient automatiquement placer du contenu virtuel sur ou autour d'éléments de mobilier spécifiques. Ils pourraient remplacer uniquement vos fenêtres par des portails, ou votre chaise par un siège virtuel, ou transformer votre canapé en une position de sac de sable. Ces choses sont possibles aujourd'hui en demandant à l'utilisateur de marquer les meubles manuellement, ou parfois avec des algorithmes manuels interprétant le maillage de la scène, mais SceneScript pourrait le rendre transparent et automatique.

Une technologie comme SceneScript pourrait également avoir un énorme potentiel pour les assistants IA dans les futurs casques et ses éventuelles lunettes AR. Meta donne l'exemple de questions telles que « Ce bureau rentrera-t-il dans ma chambre ? ou "Combien de pots de peinture faudrait-il pour peindre cette pièce ?", ainsi que des commandes telles que "Placez l'[application AR/MR] sur la grande table".

Pour l'instant, Meta décrit SceneScript uniquement comme une recherche et non comme une mise à jour des fonctionnalités du produit à court terme. Bien que cette technologie puisse éventuellement arriver sur Quest 3, rien ne laisse penser que cela se produira de si tôt.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://www.uploadvr.com/meta-scenescript-research/