Onderzoekers van Intel's Intelligent Systems Lab hebben een nieuwe methode onthuld om door de computer gegenereerde beelden te verbeteren met fotorealistische afbeeldingen. Gedemonstreerd met GTA Vmaakt de aanpak gebruik van deep-learning om frames te analyseren die door het spel zijn gegenereerd en vervolgens nieuwe frames te genereren op basis van een dataset met echte afbeeldingen. Hoewel de techniek in zijn onderzoekstoestand tegenwoordig te traag is voor echte gameplay, zou het een fundamenteel nieuwe richting kunnen betekenen voor realtime computergraphics van de toekomst.

Ondanks dat ze in 2013 zijn uitgebracht, GTA V blijft een behoorlijk goed uitziende game. Toch is het verre van wat echt zou passen bij de definitie van 'fotorealistisch'.

Hoewel we hebben kunnen creëren vooraf gerenderd echt fotorealistische beelden al geruime tijd, dit in realtime doen is nog steeds een grote uitdaging. Hoewel real-time raytracing ons een nieuwe stap in de richting van realistische graphics brengt, is er nog steeds een kloof tussen zelfs de best uitziende games van vandaag en echt fotorealisme.

Onderzoekers van Intel's Intelligent Systems Lab hebben gepubliceerd onderzoek dat een state-of-the-art benadering aantoont om echt fotorealistische real-time graphics te creëren door er een deep-learning systeem bovenop te leggen GTA V's bestaande rendering-engine. De resultaten zijn behoorlijk indrukwekkend en tonen een stabiliteit die vergelijkbare methoden ver overtreft.

In concept is de methode vergelijkbaar met NVIDIA's Deep Learning Super Sampling (DLSS). Maar terwijl DLSS is ontworpen om een ​​afbeelding op te nemen en vervolgens een scherpere versie van dezelfde afbeelding te genereren, neemt de methode van het Intelligent Systems Lab een afbeelding op en verbetert vervolgens het fotorealisme ervan door te putten uit een dataset van real-life beelden, met name een dataset met de naam Cityscapes met Street View-beelden vanuit het perspectief van een auto. De methode creëert een geheel nieuw frame door kenmerken uit de gegevensset te extraheren die het beste overeenkomen met wat wordt weergegeven in het frame dat oorspronkelijk is gegenereerd door de GTA V game-engine.

Deze 'stijloverdracht'-benadering is niet geheel nieuw, maar wat is nieuw met deze benadering is de integratie van G-buffergegevens - gecreëerd door de game-engine - als onderdeel van het beeldsyntheseproces.

Een G-buffer is een weergave van elk spelframe met informatie zoals diepte, albedo, normale kaarten en objectsegmentatie, die allemaal worden gebruikt in het normale weergaveproces van de game-engine. In plaats van alleen te kijken naar het laatste frame dat wordt weergegeven door de game-engine, kijkt de methode van het Intelligent Systems Lab naar alle extra gegevens die beschikbaar zijn in de G-buffer om beter te kunnen raden uit welke delen van de fotorealistische dataset het zou moeten putten in om een ​​nauwkeurige weergave van de scène te creëren.

Deze benadering geeft de methode zijn grote temporele stabiliteit (bewegende objecten zien er geometrisch consistent uit van het ene frame naar het volgende) en semantische consistentie (objecten in het nieuw gegenereerde frame geven correct weer wat zich in het originele frame bevond). De onderzoekers vergeleken hun methode met andere benaderingen, waarvan er vele met name met die twee punten worstelden.

- - - - -

De methode draait momenteel op wat de onderzoekers - Stephan R. Richter, Hassan Abu AlHaija en Vladlen Koltun - 'interactieve snelheden' noemen, het is vandaag de dag nog steeds te traag om praktisch te gebruiken in een videogame (met slechts 2 FPS met een Nvidia RTX 3090 GPU). In de toekomst zijn de onderzoekers echter van mening dat de methode kan worden geoptimaliseerd om samen te werken met een game-engine (in plaats van er bovenop), wat het proces zou kunnen versnellen tot praktisch bruikbare snelheden - misschien ooit om echt fotorealistische afbeeldingen naar VR.

“Onze methode integreert op leren gebaseerde benaderingen met conventionele real-time rendering pipelines. We verwachten dat onze methode zal blijven profiteren van toekomstige grafische pijplijnen en compatibel zal zijn met real-time ray tracing ”, concluderen de onderzoekers. […] "Aangezien G-buffers die als invoer worden gebruikt, native op de GPU worden geproduceerd, zou onze methode dieper in game-engines kunnen worden geïntegreerd, waardoor de efficiëntie toeneemt en mogelijk het niveau van realisme verder wordt verhoogd."

Coinsmart. Beste Bitcoin-beurs in Europa
Bron: https://www.roadtovr.com/intel-research-gta-v-photorealistic-graphics-deep-learning-vr/