Zephyrnet-logotyp

Meta Research får headset och glasögon att känna igen möbler

Datum:

Metas senaste AI-forskningssystem gör att headset och glasögon förstår din rumslayout och möbler.

kallade SceneScript, Meta säger att systemet utnyttjar samma underliggande teknik som stora språkmodeller (LLM) förutom att istället för att förutsäga nästa språkfragment förutsäger det arkitektoniska och möbelelement inom en 3D-punktmolnfångst av samma typ som headset redan fångar för att möjliggöra fristående positionsspårning .

Resultatet är en serie primitiva 3D-former som representerar de grundläggande gränserna för den givna möbeln eller elementet.

Metas SceneScript i aktion

Quest 3 kan generera ett rått 3D-nät av ditt rum och kan härleda positionerna för dina väggar, golv och tak från detta 3D-nät. Men headsetet vet för närvarande inte vilka former inom detta nät som representerar mer specifika element som dörrar, fönster, bord, stolar och soffor. Quest-headset låter användare markera dessa objekt som enkla rektangulära rätblock manuellt om de vill, men eftersom detta är valfritt och mödosamt kan utvecklare inte lita på att användarna har gjort det.

Om en teknik som SceneScript integrerades i Quest 3:s mixed reality-scener skulle utvecklare automatiskt placera virtuellt innehåll på eller runt specifika möbelelement. De kan ersätta bara dina fönster med portaler, eller din stol med en virtuell sittplats, eller ändra din soffa till en sandsäcksposition. Dessa saker är möjliga idag genom att be användaren att markera möblerna manuellt, eller ibland med manuella algoritmer som tolkar scennätet, men SceneScript kan göra det sömlöst och automatiskt.

Metas SceneScript i aktion

Teknik som SceneScript kan också ha en enorm potential för AI-assistenter i framtida headset och dess eventuella AR-glasögon. Meta ger exempel på frågor som "Kommer det här skrivbordet att passa i mitt sovrum?" eller "Hur många krukor med färg skulle det ta för att måla det här rummet?", samt kommandon som "Placera [AR/MR-appen] på det stora bordet".

Än så länge beskriver Meta SceneScript enbart som forskning, inte som en produktfunktionsuppdatering på kort sikt. Även om den här tekniken så småningom kan komma till Quest 3, finns det inget som tyder på att det kommer att hända snart.

plats_img

Senaste intelligens

plats_img