Oletko koskaan halunnut muokata videota poistaaksesi tai lisätäksesi jonkun, muuttaaksesi taustaa, pidentääksesi sitä tai muuttaaksesi resoluutiota sopivaksi tiettyyn kuvasuhteeseen pakkaamatta tai venyttämättä sitä? Niille teistä, jotka ovat jo toteuttaneet mainoskampanjoita, halusitte varmasti saada variaatioita videoistanne AB -testaukseen ja nähdä, mikä toimii parhaiten. No, tämä uusi tutkimus, jonka ovat kirjoittaneet Niv Haim et ai. voi auttaa sinua tekemään kaiken yhdellä videolla ja teräväpiirtona! Itse asiassa yksinkertaisen videon avulla voit suorittaa kaikki mainitsemani tehtävät sekunneissa tai muutaman minuutin korkealaatuisille videoille. Voit periaatteessa käyttää sitä mihin tahansa videonkäsittely- tai videonmuodostussovellukseen. Se jopa ylittää GAN: t kaikin tavoin, eikä käytä mitään syvän oppimisen hienoa tutkimusta eikä vaadi valtavaa ja epäkäytännöllistä aineistoa! Ja mikä parasta, tämä tekniikka on skaalattavissa korkean resoluution videoihin
Oletko koskaan halunnut muokata videota poistaaksesi tai lisätäksesi jonkun, muuttaaksesi taustaa, pidentääksesi sitä tai muuttaaksesi resoluutiota sopivaksi tiettyyn kuvasuhteeseen pakkaamatta tai venyttämättä sitä? Niille teistä, jotka ovat jo toteuttaneet mainoskampanjoita, halusitte varmasti saada variaatioita videoistanne AB -testaukseen ja nähdä, mikä toimii parhaiten.
No, tämä uusi tutkimus, jonka ovat kirjoittaneet Niv Haim et ai. voi auttaa sinua tekemään kaiken yhdellä videolla ja teräväpiirtona!
Itse asiassa yksinkertaisen videon avulla voit suorittaa kaikki mainitsemani tehtävät sekunneissa tai muutaman minuutin korkealaatuisille videoille. Voit periaatteessa käyttää sitä mihin tahansa videonkäsittely- tai videonmuodostussovellukseen. Se jopa ylittää GAN: t kaikin tavoin, eikä käytä mitään syvän oppimisen hienoa tutkimusta eikä vaadi valtavaa ja epäkäytännöllistä aineistoa!
Ja mikä parasta, tämä tekniikka on skaalautuva korkean resoluution videoille ...
Katso video
Viitteet
►Lue koko artikkeli: https://www.louisbouchard.ai/vgpnn-ge…
►Paperi: Haim, N., Feinstein, B., Granot, N., Shocher, A., Bagon, S., Dekel, T., & Irani, M. (2021). Monipuolinen sukupolvi yhdestä videosta mahdollisti. ArXiv, abs/2109.08591.
►Tekniikka, joka on mukautettu kuvista videoihin: Niv Granot, Ben Feinstein, Assaf Shocher, Shai Bagon ja Michal Irani. Pudota gan: Laastarien puolustamiseksi lähimmät naapurit yhden kuvan generatiivisina malleina. arXiv esipainatus arXiv: 2103.15545, 2021.
►Koodi (saatavilla pian): https://nivha.github.io/vgpnn/
►Oma uutiskirje (uusi tekoälysovellus, joka selitetään viikoittain sähköposteihisi!): https://www.louisbouchard.ai/newsletter/
Video-transkripti
00:00
oletko koskaan halunnut muokata videota
00:02
poistaa tai lisätä joku muuttaa
00:04
taustan ansiosta se kestää hieman kauemmin tai
00:06
muuttaa resoluutiota sopivaksi
00:08
kuvasuhde ilman pakkausta tai
00:10
venyttämällä sitä niille teistä, jotka
00:12
olet jo suorittanut sinulle mainoskampanjoita
00:14
varmasti halusi saada variaatioita
00:16
videoita ab -testausta varten ja katso mitä
00:19
toimii parhaiten tämä uusi niv: n tutkimus
00:22
haim ital voi auttaa sinua tekemään nämä kaikki
00:24
yhdestä videosta ja korkealla
00:27
määritelmä todellakin yksinkertaisen videon avulla
00:29
voit suorittaa mitä tahansa tehtäviä
00:32
mainitaan sekunneissa tai muutamassa minuutissa
00:34
korkealaatuisia videoita varten
00:36
Käytä sitä periaatteessa mihin tahansa videoon
00:38
manipulointia tai videon luomista
00:40
sovellus, joka sinulla on mielessä
00:42
ylittää aseet millään tavalla ja ei
00:45
älä käytä mitään syvän oppimisen hienoja tutkimuksia
00:48
vaatii valtavan ja epäkäytännöllisen tietojoukon
00:51
ja parasta on, että tämä
00:52
tekniikka on skaalattavissa korkealle resoluutiolle
00:55
videoita ei ole tarkoitettu vain tutkimukseen
00:57
tarkoituksiin 256 x 256 pikselin videoilla oh
01:01
ja tietysti voit käyttää sitä kuvien kanssa
01:04
katsotaan miten malli toimii
01:06
kutsutaan videopohjaiseksi generatiiviseksi laastariksi
01:08
lähimmät naapurit vgpnn käytön sijaan
01:11
monimutkaisia algoritmeja ja malleja, kuten gans
01:14
tai muuttaa tutkijat
01:16
kehitetty vgpn valitse paljon yksinkertaisempi
01:19
lähestyä, mutta kävi uudelleen lähimmässä
01:22
Naapurialgoritmi pienentää ensin
01:24
kuva pyramidilla tavalla, jossa jokainen
01:26
taso on kukka resoluutio kuin
01:28
yksi yllä, sitten ne lisäävät satunnaista kohinaa
01:31
karkein taso tuottaa a
01:33
erilainen kuva kuin aseet
01:36
pakatussa tilassa koodauksen jälkeen
01:38
Huomaa kuva, jonka sanon tässä
01:40
kuva yksinkertaisuuden vuoksi, mutta tässä tapauksessa
01:42
koska sitä sovelletaan videoihin
01:45
tehdään kolmella kehyksellä samanaikaisesti
01:48
lisäämällä aikaulottuvuuden, mutta
01:49
selitys pysyy samana lisäyksellä
01:52
astu kuvan lopussa kohtaan
01:54
karkein asteikko, johon on lisätty kohinaa
01:56
jaettu useisiin pieniin neliöihin
01:59
korjaa kaikki kuvan laastarit -merkillä
02:01
melu lisätään eniten
02:04
vastaava laastari alkuperäisestä skaalatusta
02:06
alaspäin ilman kohinaa tämä eniten
02:09
vastaava laastari mitataan
02:11
lähimmälle naapurialgoritmille
02:13
katso suurin osa näistä laastareista pysyy
02:15
sama mutta lisämeluista riippuen
02:17
jotkut laastarit muuttuvat juuri tarpeeksi
02:19
saada ne näyttämään enemmän samanlaisilta kuin toiset
02:21
laastari alkuperäisessä kuvassa tämä on
02:24
vpn -ulostulo näet nämä muutokset
02:27
riittää uuden luomiseen
02:29
kuvan versio, sitten tämä ensin
02:31
tuotosta suurennetaan ja sitä käytetään vertailuun
02:34
seuraavan asteikon tulokuvan kanssa
02:36
toimimaan meluisana versiona siitä ja
02:38
samat vaiheet toistetaan seuraavassa
02:41
iteraatio jaoimme nämä kuvat
02:43
pieniä laastareita ja korvaa aiemmat
02:45
luodut, joilla on eniten samanlaisia
02:48
mennään nykyisessä vaiheessa olevien kanssa
02:50
Tämän vpn -moduulin katimme juuri kuten sinä
02:53
Tässä näkyy ainoa ero
02:55
ensimmäinen vaihe, johon kuuluu kohinaa, on
02:58
että vertaamme syntynyttä tasoa
03:00
kuva on merkitty q: ksi suurennettuna
03:03
versio edellisestä kuvasta
03:06
on merkitty samaan tasoon kuin
03:09
k pohjimmiltaan käyttämällä alla olevaa tasoa as
03:12
vertailussa vertaamme q ja k ja sitten
03:15
valitse vastaavat korjaustiedostot
03:17
kuva nykyiseltä tasolta v tasolle
03:20
luo uusi kuva tähän vaiheeseen
03:22
jota käytetään seuraavaan
03:24
iteraatio kuten näet täällä pienen kanssa
03:26
nuolet k on vain hyväpalkkainen versio
03:28
luomamme kuvan pienennys v
03:31
tämän algoritmin ensimmäinen vaihe missä
03:33
loimme pyramidisen skaalauksen
03:35
versioistamme kuvastamme tämä tehdään
03:38
vertaa samaa terävyyttä
03:40
molemmat kuvat tasokkaana
03:42
kuva edellisestä kerroksesta q on
03:45
paljon epäselvämpi kuin kuvan
03:48
nykyinen vaihe v ja se on erittäin vaikeaa
03:50
samanlaisten laastareiden löytämiseksi tämä toistetaan
03:53
kunnes pääsemme takaisin alkuun
03:54
pyramidi korkealla resoluutiolla
03:57
sitten kaikki nämä luodut laastarit ovat
03:59
taitettu videoksi ja voila voit
04:02
toista tämä eri äänillä tai
04:04
muutokset mahdollisten vaihtelujen luomiseksi
04:06
haluat videoidesi, teemme nopeasti
04:09
kuva on pienennetty
04:11
laitteeseen lisätään usean asteikon kohinaa
04:13
Corsa -asteikkokuva, joka on jaettu
04:16
pieniä neliönmuotoisia laastareita jokainen meluisa laastari on
04:18
korvataan sitten vastaavimmalla
04:20
korjauksia samasta pakatusta kuvasta
04:23
ilman melua aiheuttaen muutamia satunnaisia muutoksia
04:26
kuvassa pitäen realismia molemmat
04:28
juuri luotu kuva ja kuva
04:31
ilman tämän vaiheen kohinaa skaalataan
04:33
ja verrataan vastaavimpien löytämiseen
04:36
laastaria lähimmän naapurin kanssa
04:38
nämä eniten samanlaiset laastarit ovat silloin
04:40
valittu nykyisestä kuvasta
04:42
resoluutio uuden kuvan luomiseksi
04:45
vaihe uudelleen ja toistamme tämän
04:47
skaalaus ja vaiheiden vertailu, kunnes me
04:49
palata pyramidin huipulle
04:52
korkean resoluution tulokset tietysti
04:54
Tulokset eivät ole täydellisiä, voit silti
04:56
nähdä joitain esineitä, kuten ihmisiä
04:58
ja katoavat outoihin paikkoihin tai
05:00
yksinkertaisesti kopioi ja liitä joku joihinkin
05:02
tapaukset tekevät sen hyvin ilmeiseksi, jos sinä
05:05
keskity siihen, se on vielä ensimmäinen
05:07
paperi hyökkää videokäsittelyyn
05:09
lähimmän naapurin algoritmi ja
05:11
tekee siitä skaalattavan korkealle resoluutiolle
05:13
videoita on aina mahtavaa katsella
05:15
erilaisia lähestymistapoja olen erittäin innoissani
05:18
nähdä seuraava paperi paranee
05:20
myös tämän tulokset ovat edelleen
05:22
melko vaikuttava ja niitä voitaisiin käyttää
05:24
mallien tietojen lisäystyökaluna
05:26
työskentelee videoiden parissa niiden alhaisen määrän vuoksi
05:29
käyttöaika, joka mahdollistaa muiden mallien harjoittelun
05:31
suuremmille ja monipuolisemmille tietojoukoille
05:33
ilman suuria kustannuksia, jos olet kiinnostunut
05:35
oppia lisää tästä tekniikasta i
05:37
suosittelen vahvasti niiden lukemista
05:38
paperi on ensimmäinen linkki
05:40
kuvaus kiitos katsomisesta ja
05:42
kaikille, jotka tukevat työtäni
05:44
patreon tai kommentoimalla ja tykkäämällä
05:46
videoita täällä youtubessa
05:54
te
Englanti (automaattisesti luotu)
Kaikki
Äskettäin ladattu
Katsotut
Tunnisteet
Luo ilmainen tili avataksesi mukautetun lukukokemuksen.
PlatoAi. Web3 kuvasi uudelleen. Data Intelligence Amplified.
Napsauta tätä päästäksesi.
