Dat is het idee erachter Project #MovingStills, een Sneak-technologie van Adobe. “Ons doel was simpel. We wilden uitzoeken hoe we het stilstaande beeld visueel interessanter en aantrekkelijker konden maken om naar te kijken”, zegt Long Mai, wetenschappelijk onderzoeker bij Adobe. #MovingStills maakt gebruik van AI-technologie, mogelijk gemaakt door Adobe Sensei, om extreem realistische, video-achtige bewegingen over (of in) een foto te genereren. Het werk werd gedaan in samenwerking met Long Mai, Jimei Yang en Simon Niklaus.

Long Mai merkt op dat dit niet de eerste poging is om beweging en visueel belang aan foto's toe te voegen. In het pre-digitale tijdperk pionierde documentairemaker Ken Burns op beroemde wijze met de techniek om beweging aan historische foto's toe te voegen door de camera over het beeld te bewegen en een zachte pan of zoom toe te voegen voor visuele interesse.

Meer recentelijk werd een techniek die bekend staat als 2.5D parallax populair, waardoor creatievelingen die Adobe Photoshop gebruiken objecten in een foto kunnen isoleren en gedifferentieerde bewegingen tussen voorgrondonderwerpen en achtergrond kunnen genereren, waardoor een gelaagde diepte-illusie ontstaat.

Wat #Moving Stills uniek maakt, is dat het AI gebruikt om de werkelijke 3D-geometrie en dieptekaart van een scène te schatten en opnieuw te creëren, en er vervolgens een camerapad doorheen synthetiseert. Het effect is een verbazingwekkend realistische bewegende video, waarbij nieuwe pixels worden gegenereerd voor delen van de scène die verborgen zijn achter occlusies en zichtbaar worden terwijl de camera beweegt, of waarbij een levensecht perspectief wordt toegevoegd aan diepteveranderingen terwijl de camera vooruit of achteruit beweegt in een scène.

“Het was een heel uitdagend probleem om op te lossen”, legt Long Mai uit. “Om AI te trainen om een ​​voorspellend dieptemodel te genereren, moesten we een dataset kunnen construeren die duizenden weergaven van verschillende scènes vanuit verschillende hoeken bevatte. De doorbraak kwam toen we ons realiseerden dat we een 3D-rendering-engine (traditioneel gebruikt voor het maken van videogames) konden gebruiken om onze eigen virtuele scènes te creëren en er vervolgens met een virtuele camera doorheen te lopen, waarbij we vanuit verschillende hoeken foto's van alles maakten. Het leverde de uitgebreide gegevens op die we nodig hadden.”

Op Adobe MAX 2018 liet Long Mai het publiek zien hoe #MovingStills video-achtige camerabewegingen kon genereren met portretten, landschappen en interieurs, en hoe de technologie kon worden gecombineerd met bedieningselementen waarmee creatievelingen de beweging van het camerapad door de scène konden bepalen, of om genereer met slechts één klik bewegende diavoorstellingen uit een verzameling afbeeldingen.

#MovingStills is een technologie die belooft de fotografie een boost te geven, het publiek te boeien en een hernieuwd gevoel van leven en diepte aan historische beelden te geven, maar Long Mai is nog steeds niet tevreden. Deels is dat te danken aan zijn ervaring met eerdere projecten.

Hij begon in 2016 voor het eerst bij Adobe te werken als onderzoeksstagiair en trad in 2017 fulltime in dienst bij Adobe. Zijn eerste onderzoeksproject betrof het werken aan #ConceptCanvas, een technologie voor het toevoegen van creatieve visuele en ruimtelijke zoekfuncties aan Adobe Stock. "Het gaf me een nieuwe waardering voor de complexiteit van ruimtelijke relaties in een bepaald beeld, en het niveau van specificiteit en controle dat creatieven nodig hebben in hun workflow", zegt hij.

Diezelfde lessen vormen de leidraad voor zijn doelen voor #MovingStills. Ten eerste wil hij de technologie optimaliseren om sneller te werken. “Diepteschatting is nog steeds een heel uitdagend proces en het kost veel GPU-kracht en tijd om het model te bouwen. We willen een plek bereiken waar het binnen enkele seconden kan werken, in plaats van minuten”, legt hij uit.

Hij zou ook graag meer specifieke controle willen toevoegen aan het camerapad en functies voor het animeren van andere aspecten van de scène. “We willen binnen de gegenereerde scène van drie vrijheidsgraden naar zes vrijheidsgraden gaan. Als we wat meer parallax-effecten kunnen toevoegen en elementen zoals water, wolken, bladeren of menselijk haar kunnen animeren, kunnen we mogelijk beginnen met het genereren van realistische 3D-omgevingen voor virtual reality of andere meeslepende technologieën, gewoon door te beginnen met een 2D-foto”, mijmert hij.

Dit verhaal maakt deel uit van een serie waarin je de mensen en technologie die werden tentoongesteld als onderdeel van Adobe Sneaks van dichterbij bekijkt. Lees andere Peek Behind the Sneaks-verhalen hier.

Bron: https://theblog.adobe.com/project-movingstills-turns-still-photos-into-video/