Ați dorit vreodată să editați un videoclip pentru a elimina sau adăuga pe cineva, să schimbați fundalul, să îl faceți să dureze puțin mai mult sau să schimbați rezoluția pentru a se potrivi cu un anumit raport de aspect, fără a-l comprima sau întinde? Pentru cei dintre voi care au desfășurat deja campanii de publicitate, cu siguranță ați dorit să aveți variante ale videoclipurilor dvs. pentru testarea AB și să vedeți ce funcționează cel mai bine. Ei bine, această nouă cercetare a lui Niv Haim și colab. vă poate ajuta să faceți totul într-un singur videoclip și în HD! Într-adevăr, folosind un videoclip simplu, puteți efectua orice sarcini pe care tocmai le-am menționat în câteva secunde sau câteva minute pentru videoclipuri de înaltă calitate. Îl poți folosi practic pentru orice aplicație de manipulare video sau generare video pe care o ai în minte. Depășește chiar și GAN-urile în toate privințele și nu folosește nicio cercetare de învățare profundă și nici nu necesită un set de date uriaș și impractic! Și cel mai bun lucru este că această tehnică este scalabilă la videoclipuri de înaltă rezoluție
Ați dorit vreodată să editați un videoclip pentru a elimina sau adăuga pe cineva, să schimbați fundalul, să îl faceți să dureze puțin mai mult sau să schimbați rezoluția pentru a se potrivi cu un anumit raport de aspect, fără a-l comprima sau întinde? Pentru cei dintre voi care au desfășurat deja campanii de publicitate, cu siguranță ați dorit să aveți variante ale videoclipurilor dvs. pentru testarea AB și să vedeți ce funcționează cel mai bine.
Ei bine, această nouă cercetare a lui Niv Haim și colab. vă poate ajuta să faceți totul într-un singur videoclip și în HD!
Într-adevăr, folosind un videoclip simplu, puteți efectua orice sarcini pe care tocmai le-am menționat în câteva secunde sau câteva minute pentru videoclipuri de înaltă calitate. Îl poți folosi practic pentru orice aplicație de manipulare video sau generare video pe care o ai în minte. Depășește chiar și GAN-urile în toate privințele și nu folosește nicio cercetare de învățare profundă și nici nu necesită un set de date uriaș și impractic!
Și cel mai bun lucru este că această tehnică este scalabilă la videoclipuri de înaltă rezoluție...
Priveste filmarea
Referinte
►Citiți articolul complet: https://www.louisbouchard.ai/vgpnn-ge…
►Hârtie acoperită: Haim, N., Feinstein, B., Granot, N., Shocher, A., Bagon, S., Dekel, T. și Irani, M. (2021). Generație diversă dintr-un singur videoclip făcută posibilă. ArXiv, abs/2109.08591.
►Tehnica care a fost adaptată de la imagini la videoclipuri: Niv Granot, Ben Feinstein, Assaf Shocher, Shai Bagon și Michal Irani. Drop the gan: În apărarea patch-urilor vecinilor cei mai apropiați ca modele generatoare de imagine unică. arXiv preprint arXiv:2103.15545, 2021.
►Cod (disponibil în curând): https://nivha.github.io/vgpnn/
►Buletinul meu informativ (O nouă aplicație AI explicată săptămânal în e-mailurile tale!): https://www.louisbouchard.ai/newsletter/
Transcriere video
00:00
ți-ai dorit vreodată să editezi un videoclip?
00:02
eliminați sau adăugați pe cineva schimbați
00:04
fundalul îl face să dureze puțin mai mult sau
00:06
modificați rezoluția pentru a se potrivi cu un anumit
00:08
raportul de aspect fără comprimare sau
00:10
întinzând-o pentru cei dintre voi care
00:12
a rulat deja campanii publicitare
00:14
cu siguranță a vrut să aibă variații ale
00:16
videoclipurile tale pentru testarea ab și vezi ce
00:19
funcționează cel mai bine această nouă cercetare a niv
00:22
haim ital te poate ajuta să faci toate acestea
00:24
dintr-un singur videoclip și în mare
00:27
definiție într-adevăr folosind un videoclip simplu
00:29
poti indeplini orice sarcina pe care doar eu
00:32
menționat în secunde sau în câteva minute
00:34
pentru videoclipuri de înaltă calitate poți
00:36
practic, folosește-l pentru orice videoclip
00:38
manipulare sau generare video
00:40
aplicația pe care o ai în minte chiar
00:42
depășește armele în orice fel și nu
00:45
folosi orice cercetare fantezie de deep learning nici
00:48
necesită un set de date imens și nepractic
00:51
și cel mai bun lucru este că asta
00:52
tehnica este scalabilă la rezoluție înaltă
00:55
videoclipuri nu este doar pentru cercetare
00:57
scopuri cu videoclipuri de 256 x 256 pixeli oh
01:01
și bineînțeles că îl poți folosi cu imagini
01:04
sa vedem cum functioneaza modelul
01:06
numit patch generativ bazat pe video
01:08
cei mai apropiați vecini vgpnn în loc să folosească
01:11
algoritmi și modele complexe precum gans
01:14
sau transformatoare cercetatorii care
01:16
dezvoltat vgpn opta pentru un mult mai simplu
01:19
abordare dar revăzută pe cea mai apropiată
01:22
algoritmul vecin mai întâi ei downscale
01:24
imaginea într-un mod piramidal unde fiecare
01:26
nivelul este o rezoluție de floare decât cea
01:28
unul deasupra, apoi adaugă zgomot aleatoriu la
01:31
cel mai gros nivel pentru a genera a
01:33
imagine diferită, similară cu ceea ce fac armele
01:36
în spațiul comprimat după codificare
01:38
notă imaginea că aici voi spune
01:40
imagine pentru simplitate dar în acest caz
01:42
deoarece se aplică videoclipurilor procesul
01:45
se realizează pe trei cadre simultan
01:48
adăugând o dimensiune de timp dar
01:49
explicația rămâne aceeași cu un plus
01:52
pas la final imaginea la
01:54
cea mai grosieră scară cu zgomot adăugat este
01:56
împărțit în mai multe pătrate mici
01:59
patchează toate patch-urile din imagine cu
02:01
zgomotul adăugat sunt înlocuite cu cele mai multe
02:04
plasture similare de la scalarea inițială
02:06
jos imaginea fără zgomot asta cel mai mult
02:09
plasture similare se măsoară cu
02:11
Algoritmul celui mai apropiat vecin așa cum vom face
02:13
vezi că majoritatea acestor patch-uri vor rămâne
02:15
la fel dar in functie de zgomotul adaugat
02:17
unele patch-uri se vor schimba suficient pentru a
02:19
face-le să semene mai mult cu altele
02:21
patch din imaginea inițială acesta este
02:24
ieșire vpn vedeți aici aceste modificări
02:27
sunt doar suficiente pentru a genera un nou
02:29
versiunea imaginii, apoi aceasta prima
02:31
ieșirea este mărită și utilizată pentru a compara
02:34
cu imaginea de intrare a scalei următoare
02:36
să acționeze ca o versiune zgomotoasă a acestuia și
02:38
aceiași pași se repetă în acest următor
02:41
iterație în care împărțim aceste imagini
02:43
petice mici și înlocuiți-l pe cel anterior
02:45
generate cu cele mai asemănătoare
02:48
cei de la pasul curent să intrăm în
02:50
acest modul VPN tocmai l-am acoperit ca tine
02:53
se poate vedea aici singura diferență față de
02:55
pasul inițial cu zgomot adăugat este
02:58
că comparăm upscale-ul generat
03:00
imagine aici desemnată ca q cu o mărire
03:03
versiunea imaginii anterioare doar așa
03:06
are același nivel de detalii notat ca
03:09
k practic folosind nivelul de mai jos ca
03:12
comparații comparăm q și k și apoi
03:15
selectați patch-urile corespunzătoare în
03:17
imagine de la acest nivel curent v la
03:20
generați noua imagine pentru acest pas
03:22
care va fi folosit pentru următorul
03:24
iterație așa cum vedeți aici cu mic
03:26
săgețile k este doar o versiune de lux a
03:28
imaginea pe care am creat-o reducere v în
03:31
pasul inițial al acestui algoritm unde
03:33
am creat scalarea piramidală
03:35
versiuni ale imaginii noastre pentru care se face acest lucru
03:38
comparați același nivel de claritate în
03:40
ambele imagini ca upscale generate
03:42
imaginea din stratul anterior q va fi
03:45
mult mai neclară decât imaginea de la
03:48
pasul actual v și va fi foarte greu
03:50
pentru a găsi patch-uri similare acest lucru se repetă
03:53
până ajungem înapoi în vârful
03:54
piramidă cu rezultate de înaltă rezoluție
03:57
atunci toate aceste patch-uri generate sunt
03:59
pliat într-un videoclip și voilà poți
04:02
repeta asta cu diferite zgomote sau
04:04
modificări pentru a genera orice variații
04:06
pe care vrei să-l faci pe videoclipurile tale hai să facem o rapidă
04:09
recapitulați imaginea este redusă la scară
04:11
zgomotul de mai multe scale este adăugat la
04:13
imagine la scară corsa care este împărțită în
04:16
mici petice pătrate fiecare petic zgomotos este
04:18
apoi înlocuit cu cel mai asemănător
04:20
patch-uri din aceeași imagine comprimată
04:23
fără zgomot care provoacă câteva modificări aleatorii
04:26
în imagine păstrând în același timp realismul atât
04:28
imaginea și imaginea nou generate
04:31
fără zgomot de acest pas sunt upscalate
04:33
și comparat pentru a găsi cele mai asemănătoare
04:36
petice cu cel mai apropiat vecin din nou
04:38
aceste plasturi cele mai asemănătoare sunt atunci
04:40
alese din imagine la curent
04:42
rezoluție pentru a genera o nouă imagine pentru
04:45
pasul din nou și repetăm asta
04:47
upscaling și compararea pașilor până când noi
04:49
ajunge înapoi în vârful piramidei cu
04:52
rezultate de înaltă rezoluție desigur că
04:54
rezultatele nu sunt perfecte poti inca
04:56
vezi unele artefacte ca oameni care apar
04:58
și dispărând în locuri ciudate sau
05:00
pur și simplu copy-liping pe cineva în unele
05:02
cazuri făcând foarte evident dacă tu
05:05
concentrează-te asupra ei, totuși este doar primul
05:07
hârtie atacând manipulări video cu
05:09
algoritmul vecinului cel mai apropiat și
05:11
făcându-l scalabil la rezoluție înaltă
05:13
videoclipuri pe care este întotdeauna minunat de văzut
05:15
abordări diferite sunt super entuziasmat
05:18
pentru a vedea că următoarea lucrare se îmbunătățește
05:20
si acesta rezultatele sunt inca
05:22
destul de impresionante și ar putea fi folosite
05:24
ca instrument de creștere a datelor pentru modele
05:26
lucrând la videoclipuri din cauza lor foarte scăzută
05:29
timpul de rulare permițând altor modele să se antreneze
05:31
pe seturi de date mai mari și mai diverse
05:33
fara costuri mari daca esti interesat
05:35
în a afla mai multe despre această tehnică i
05:37
va recomanda insistent citirea lor
05:38
hârtie este prima legătură în
05:40
descriere vă mulțumesc pentru vizionare și
05:42
tuturor celor care îmi susțin munca
05:44
patreon sau comentând și dând like la
05:46
videoclipuri aici pe youtube
05:54
tu
engleză (generată automat)
TOATE
Încărcat recent
vizionat
Tag-uri
Creați-vă contul gratuit pentru a vă debloca experiența de citire personalizată.
PlatoAi. Web3 Reimaginat. Inteligența datelor amplificată.
Faceți clic aici pentru a accesa.
