Runway heeft Midjourney en Stable Diffusion terzijde geschoven en introduceert de eerste clips van tekst-naar-video AI-kunst waarvan het bedrijf zegt dat deze volledig wordt gegenereerd door een tekstprompt.

Het bedrijf zei dat het een wachtlijst aanbiedt om deel te nemen aan wat het "Gen 2" van tekst-naar-video-AI noemt, nadat het een vergelijkbare wachtlijst had aangeboden voor zijn eerste, eenvoudigere tekst-naar-video-tools die een echte scène gebruiken als een model.

. AI-kunst ontstond vorig jaar, gebruikte het een tekst-naar-afbeelding-model. Een gebruiker zou een tekstprompt invoeren die de scène beschrijft, en de tool zou proberen een afbeelding te maken met behulp van wat het wist van echte 'zaden', artistieke stijlen, enzovoort. Diensten zoals Midjourney voer deze taken uit op een cloudserver, terwijl Stabiele diffusie en Stabiele horde profiteer van vergelijkbare AI-modellen die op thuis-pc's worden uitgevoerd.

Tekst-naar-video is echter de volgende stap. Er zijn verschillende manieren om dit te bereiken: Pollinations.ai heeft een aantal modellen verzameld die u kunt uitproberen, een daarvan neemt gewoon een paar gerelateerde scènes en construeert een animatie die ze aan elkaar rijgt. Een andere maakt eenvoudig een 3D-model van een afbeelding en stelt u in staat om rond te zoomen.

Runway pakt het anders aan. Het bedrijf biedt al aan AI-aangedreven videotools: inpainting om objecten uit een video te verwijderen (in tegenstelling tot een afbeelding), AI-aangedreven bokeh, transcripties en ondertitels, en meer. Met de eerste generatie van zijn tekst-naar-video-tools kon je een scène uit de echte wereld construeren en deze vervolgens als model gebruiken om er een door tekst gegenereerde video overheen te leggen. Dit wordt normaal gesproken gedaan als een afbeelding, waarbij u een foto van een Golden Retriever kunt maken en AI kunt gebruiken om de foto om te zetten in een foto van bijvoorbeeld een Doberman.

Dat was Gen 1. Runway's Gen 2, zoals het bedrijf tweette, kan bestaande afbeeldingen of video's als basis gebruiken. Maar de technologie kan ook volledig automatisch een korte videoclip genereren op basis van een tekstprompt en niets meer.

Zoals de tweet van Runway aangeeft, zijn de clips zowel kort (maximaal een paar seconden), erg korrelig en hebben ze last van een lage framesnelheid. Het is ook niet duidelijk wanneer Runway het model zal vrijgeven voor vroege toegang of algemene toegang. Maar de voorbeelden op de Runway Gen 2-pagina laten een breed scala aan video-prompts zien: pure tekst-naar-video-AI, tekst+afbeelding naar video, enzovoort. Het lijkt erop dat hoe meer input je het model geeft, hoe meer geluk je hebt. Het toepassen van een video-overlay over een bestaand object of scène leek de meest vloeiende video en de hoogste resolutie te bieden.

Runway biedt al een "Standaard"-abonnement van $ 12 / mo dat onbeperkte videoprojecten mogelijk maakt. Maar voor bepaalde tools, zoals het daadwerkelijk trainen van je eigen portret of dierengenerator, is een extra vergoeding van $ 10 vereist. Het is onduidelijk wat Runway voor zijn nieuwe model in rekening zal brengen.

Welke landingsbaan doet laten zien, is echter dat we in een paar korte maanden zijn overgestapt van tekst-naar-beeld AI-kunst naar tekst-naar-video AI-kunst... en het enige wat we kunnen doen is ons hoofd schudden van verbazing.