Zephyrnet-logo

Generatieve data-intelligentie

AI

Een revolutie in computergraphics brengt 3D Reality Capture naar de massa

Heruitgegeven door Plato
Heruitgegeven door Plato

Datum:

Aantal keer bekeken: 94

Als oorlogswapen is het vernietigen van cultureel erfgoed een gemeenschappelijke methode: door gewapende indringers om een ​​gemeenschap van hun eigen identiteit te beroven. Het was dan ook geen verrassing dat historici en specialisten op het gebied van cultureel erfgoed zich in februari 2022 schrap zetten voor de komende verwoesting, toen Russische troepen Oekraïne binnenvielen. Tot nu toe heeft UNESCO dat in de oorlog tussen Rusland en Oekraïne gedaan bevestigd schade aan honderden religieuze en historische gebouwen en tientallen openbare monumenten, bibliotheken en musea.

Terwijl nieuwe technologieën leuk vinden goedkope drones, 3D afdrukken en privé satellietinternet mag dan een duidelijk 21e-eeuws slagveld creëren dat onbekend is bij conventionele legers, een andere reeks technologieën creëert nieuwe mogelijkheden voor burgerarchivarissen buiten de frontlinies om Oekraïens erfgoed te behouden.

Back-up Oekraïne, een samenwerkingsproject tussen de Deense Nationale Commissie van UNESCO en Polycam, een tool voor het maken van 3D, stelt iedereen die alleen over een telefoon beschikt in staat hoogwaardige, gedetailleerde en fotorealistische 3D-modellen van erfgoedsites te scannen en vast te leggen, iets wat alleen mogelijk is met dure en lastige apparatuur van een paar jaar geleden.

Backup Ukraine is een opmerkelijke uitdrukking van de verbluffende snelheid waarmee 3D-opname- en grafische technologieën zich ontwikkelen, aldus Bilawal Sidhu, een technoloog, engelinvesteerder en voormalig Google-productmanager die aan 3D-kaarten en AR/VR werkte.

“Technologieën voor het vastleggen van realiteit bevinden zich op een duizelingwekkende exponentiële curve van democratisering”, legde hij mij uit in een interview voor Hub voor singulariteit.

Volgens Sidhu was het genereren van 3D-middelen mogelijk geweest, maar alleen met dure tools zoals DSLR-camera's, lidar-scanners en dure softwarelicenties. Als voorbeeld noemde hij het werk van CyArk, een non-profitorganisatie die twintig jaar geleden werd opgericht met als doel professionele 3D-opnametechnologie te gebruiken om cultureel erfgoed over de hele wereld te behouden.

“Wat krankzinnig is en wat er veranderd is, is dat ik dat nu allemaal kan doen met de iPhone in je zak”, zegt hij.

In onze discussie heeft Sidhu drie verschillende, maar onderling verbonden technologietrends uiteengezet die deze vooruitgang aandrijven. Ten eerste is er sprake van een daling van de kosten van het soort camera's en sensoren die een object of ruimte kunnen vastleggen. Ten tweede is er een cascade van nieuwe technieken die gebruik maken van kunstmatige intelligentie om voltooide 3D-middelen te construeren. En ten derde is er de toename van de rekenkracht, grotendeels aangedreven door GPU's, die in staat zijn grafisch-intensieve objecten op apparaten breed beschikbaar te maken voor consumenten.

Lidar-scanners zijn een voorbeeld van de prijs-prestatieverbetering van sensoren. Voor het eerst gepopulariseerd als de omvangrijke, draaiende sensoren bovenop autonome voertuigen, en in de prijzen gevallen tienduizenden dollarsmaakte lidar in 12 zijn consumententechnologiedebuut op de iPhone 2020 Pro en Pro Max. De mogelijkheid om een ​​ruimte te scannen op dezelfde manier waarop zelfrijdende auto's de wereld zien, betekende dat plotseling iedereen snel en goedkoop genereer gedetailleerde 3D-middelen. Dit was echter nog steeds alleen beschikbaar voor de rijkste Apple-klanten.

Een van de meest ingrijpende keerpunten in de sector vond datzelfde jaar plaats toen onderzoekers bij Google geïntroduceerd neurale stralingsvelden, gewoonlijk NeRF's genoemd.

Deze aanpak maakt gebruik van machine learning construeer een geloofwaardig 3D-model van een object of ruimte op basis van 2D-foto's of video. Het neurale netwerk ‘hallucineert’ hoe een volledige 3D-scène eruit zou zien, aldus Sidhu. Het is een oplossing voor 'bekijk synthese', een uitdaging op het gebied van computergraphics die probeert iemand vanuit elk gezichtspunt een ruimte te laten zien vanuit slechts een paar bronafbeeldingen.

“Dus dat ding kwam uit en iedereen realiseerde zich dat we nu een ultramoderne beeldsynthese hebben die briljant werkt voor alle dingen waar fotogrammetrie het moeilijk mee heeft gehad, zoals transparantie, doorschijnendheid en reflectiviteit. Dit is een beetje gek”, voegt hij eraan toe.

De computer vision-gemeenschap kanaliseerde hun enthousiasme in commerciële toepassingen. Bij Google onderzochten Sidhu en zijn team de technologie voor meeslepende weergave, een 3D-versie van Google Maps. Voor de gemiddelde gebruiker is de verspreiding van consumentvriendelijke applicaties zoals Luma AI en anderen betekenden dat iedereen met alleen een smartphonecamera fotorealistische 3D-items kon maken. Het creëren van hoogwaardige 3D-inhoud bleef niet langer beperkt tot de lidar-elite van Apple.

Nu verdient een andere potentieel nog veelbelovendere methode om de synthese van visies op te lossen de aandacht die kan wedijveren met die vroege NeRF-opwinding. Gaussiaanse spatten is een weergavetechniek die de weg nabootst driehoeken worden gebruikt voor traditionele 3D-middelen, maar in plaats van driehoeken is het een “vlek” van kleur, uitgedrukt door een wiskundige functie die bekend staat als een gaussiaanse functie. Naarmate meer gaussianen op elkaar worden gestapeld, wordt een zeer gedetailleerd en gestructureerd 3D-element zichtbaar. De acceptatiesnelheid voor splatting is verbluffend om te zien.

Het is pas een paar maanden geleden, maar demos overspoelen X, en zowel Luma AI als Polycam bieden tools om gaussiaanse splats te genereren. Andere ontwikkelaars werken al aan manieren om ze te integreren in traditionele game-engines zoals Unity en Unreal. Splats krijgen ook aandacht van de traditionele computergraphics-industrie, omdat hun weergavesnelheid hoger is dan die van NeRF's, en ze kunnen worden bewerkt op manieren die al bekend zijn bij 3D-artiesten. (NeRF's staan ​​dit niet toe, aangezien ze worden gegenereerd door een niet te ontcijferen neuraal net.)

Voor een goede uitleg over hoe gaussiaanse splatting werkt en waarom het buzz genereert, zie deze video van Sidhu.

Ongeacht de details bevinden we ons voor consumenten beslist op een moment waarop een telefoon 3D-middelen van Hollywood-kaliber kan genereren die niet zo lang geleden alleen goed uitgeruste productieteams konden produceren.

Maar waarom doet 3D-creatie überhaupt ertoe?

Om de verschuiving naar 3D-inhoud te begrijpen, is het de moeite waard om op te merken dat het technologielandschap zich richt op een toekomst van ‘ruimtelijk computergebruik’. Hoewel overmatig gebruikte termen als de metaverse misschien tot oogrollen leiden, is de onderliggende geest een erkenning dat 3D-omgevingen, zoals die worden gebruikt in videogames, virtuele werelden en digitale tweelingen, een grote rol te spelen hebben in onze toekomst. 3D-middelen zoals die geproduceerd door NeRFs en splatting staan ​​klaar om de inhoud te worden waar we ons in de toekomst mee zullen bezighouden.

Binnen deze context is een grootschalige ambitie de hoop op een real-time 3D-kaart van de wereld. Hoewel er tools beschikbaar zijn voor het genereren van statische 3D-kaarten, blijft de uitdaging het vinden van manieren om die kaarten actueel te houden in een steeds veranderende wereld.

“Er is het bouwen van het wereldmodel, en dan is er het in stand houden van dat wereldmodel. Met deze methoden waar we het over hebben, denk ik dat we eindelijk de technologie hebben om het probleem van het 'behouden van het model' op te lossen door middel van crowdsourcing”, zegt Sidhu.

Projecten als Google's Immersive View zijn goede vroege voorbeelden van de gevolgen hiervan voor de consument. Hoewel hij niet wil speculeren wanneer dit uiteindelijk mogelijk zou zijn, was Sidhu het ermee eens dat er op een gegeven moment de technologie zal bestaan ​​waarmee een gebruiker in VR overal op aarde rond kan lopen met een realtime, meeslepende ervaring van wat daar gebeurt. . Dit type technologie zal ook bijdragen aan inspanningen in de toekomst op avatar gebaseerde “teleportatie”, vergaderingen op afstand en andere sociale bijeenkomsten.

Een andere reden om enthousiast te zijn, zegt Sidhu, is het vastleggen van 3D-geheugen. Apple leunt er bijvoorbeeld zwaar op 3D-foto en video voor hun Vision Pro mixed reality-headset. Sidhu vertelde me bijvoorbeeld dat hij onlangs een hoogwaardige replica van het huis van zijn ouders had gemaakt voordat ze verhuisden. Hij zou ze dan de ervaring kunnen geven om erin te lopen met behulp van virtual reality.

“Het diepgewortelde gevoel hebben dat je daar terug bent, is zo krachtig. Daarom ben ik zo optimistisch over Apple, want als ze dit 3D-mediaformaat voor elkaar krijgen, kan het voor gewone mensen spannend worden.”

Van grotkunst tot olieverfschilderijen: de impuls om aspecten van onze zintuiglijke ervaring te behouden is diep menselijk. Net zoals de fotografie ooit stillevens heeft ingezet als middel voor conservering, lijken 3D-creatietools klaar om onze al lang bestaande affaire met 2D-beelden en video te vervangen.

Maar net zoals fotografie slechts een fractie van een moment in de tijd kan vastleggen, kunnen 3D-modellen onze relatie met de fysieke wereld niet volledig vervangen. Toch zijn dit voor degenen die de verschrikkingen van de oorlog in Oekraïne meemaken wellicht welkome ontwikkelingen die een meer meeslepende manier bieden om te behouden wat nooit echt kan worden vervangen.

Krediet van het beeld: polycam

spot_img

Laatste intelligentie

spot_img

Copyright @ 2024 Plato Technologies Inc.