제퍼넷 로고

이 AI는 딥 러닝이나 데이터 세트 없이 원활한 비디오 조작을 수행합니다.

시간

비디오를 편집하여 누군가를 제거하거나 추가하거나, 배경을 변경하거나, 좀 더 오래 지속되도록 하거나, 압축하거나 늘리지 않고 특정 종횡비에 맞게 해상도를 변경하고 싶었던 적이 있습니까? 이미 광고 캠페인을 실행한 사람들의 경우 AB 테스트를 위해 비디오의 변형을 갖고 가장 효과가 있는 것이 무엇인지 확인하고 싶었을 것입니다. Niv Haim et al.의 이 새로운 연구는 하나의 비디오와 HD로 모든 것을 할 수 있도록 도와드립니다! 실제로, 간단한 비디오를 사용하여 고품질 비디오를 위해 내가 방금 언급한 모든 작업을 몇 초 또는 몇 분 안에 수행할 수 있습니다. 기본적으로 염두에 두고 있는 모든 비디오 조작 또는 비디오 생성 응용 프로그램에 사용할 수 있습니다. 모든 면에서 GAN을 능가하며 딥 러닝의 화려한 연구를 사용하지 않으며 거대하고 비실용적인 데이터 세트가 필요하지 않습니다! 그리고 가장 좋은 점은 이 기술을 고해상도 비디오로 확장할 수 있다는 것입니다.

영상

Louis Bouchard Hacker Noon 프로필 사진

루이 부샤르

비전문가에게 인공 지능 용어와 뉴스를 설명합니다.

비디오를 편집하여 누군가를 제거하거나 추가하거나, 배경을 변경하거나, 좀 더 오래 지속되도록 하거나, 압축하거나 늘리지 않고 특정 종횡비에 맞게 해상도를 변경하고 싶었던 적이 있습니까? 이미 광고 캠페인을 실행한 사용자의 경우 AB 테스트를 위해 비디오의 변형을 갖고 가장 효과적인 것을 확인하고 싶었을 것입니다.

Niv Haim et al.의 이 새로운 연구는 하나의 비디오와 HD로 모든 것을 할 수 있도록 도와드립니다!

실제로, 간단한 비디오를 사용하여 고품질 비디오를 위해 내가 방금 언급한 모든 작업을 몇 초 또는 몇 분 안에 수행할 수 있습니다. 기본적으로 염두에 두고 있는 모든 비디오 조작 또는 비디오 생성 응용 프로그램에 사용할 수 있습니다. 모든 면에서 GAN을 능가하며 딥 러닝의 화려한 연구를 사용하지 않으며 거대하고 비실용적인 데이터 세트가 필요하지 않습니다!

그리고 가장 좋은 점은 이 기술을 고해상도 비디오로 확장할 수 있다는 것입니다…

비디오보기

참조

► 전체 기사 읽기 : https://www.louisbouchard.ai/vgpnn-ge…
►논문 대상: Haim, N., Feinstein, B., Granot, N., Shocher, A., Bagon, S., Dekel, T., & Irani, M.(2021). 하나의 비디오에서 다양한 생성이 가능합니다. ArXiv, abs/2109.08591.
►이미지에서 비디오로 적용된 기술: Niv Granot, Ben Feinstein, Assaf Shocher, Shai Bagon, Michal Irani. gan 삭제: 단일 이미지 생성 모델로 가장 가까운 이웃 패치를 방어합니다. arXiv 사전 인쇄 arXiv:2103.15545, 2021.
►코드(곧 사용 가능): https://nivha.github.io/vgpnn/
►내 뉴스레터(매주 이메일로 설명되는 새로운 AI 애플리케이션!): https://www.louisbouchard.ai/newsletter/

비디오 대본

00:00

비디오를 편집하고 싶었던 적이 있습니까

00:02

누군가를 제거하거나 추가하십시오.

00:04

배경이 좀 더 오래 지속되도록 하거나

00:06

특정에 맞게 해상도 변경

00:08

압축하지 않은 종횡비 또는

00:10

당신을 위해 그것을 스트레칭

00:12

이미 광고 캠페인을 실행했습니다

00:14

확실히 변형을 원했습니다.

00:16

ab 테스트를 위해 동영상을 보고 무엇을

00:19

niv의 이 새로운 연구에서 가장 잘 작동합니다.

00:22

haim ital은 이 모든 것을 도와드릴 수 있습니다.

00:24

하나의 비디오에서

00:27

실제로 간단한 비디오를 사용하여 정의

00:29

당신은 내가 그냥 모든 작업을 수행할 수 있습니다

00:32

몇 초 또는 몇 분 안에 언급

00:34

고품질 비디오를 위해

00:36

기본적으로 모든 비디오에 사용

00:38

조작 또는 비디오 생성

00:40

당신이 그것을 염두에두고 응용 프로그램

00:42

모든 면에서 총을 능가하며 그렇지 않습니다.

00:45

딥 러닝 공상 연구를 사용하거나

00:48

거대하고 비현실적인 데이터 세트가 필요합니다.

00:51

그리고 가장 좋은 점은 이것이

00:52

기술은 고해상도로 확장 가능

00:55

비디오는 연구만을 위한 것이 아닙니다.

00:57

256 x 256 픽셀 비디오의 목적

01:01

물론 이미지와 함께 사용할 수 있습니다.

01:04

모델이 어떻게 작동하는지 봅시다

01:06

비디오 기반 생성 패치라고 함

01:08

가장 가까운 이웃 vgpnn을 사용하는 대신

01:11

gan과 같은 복잡한 알고리즘 및 모델

01:14

또는 변압기 연구원은

01:16

개발된 vgpn은 훨씬 더 간단한 것을 선택합니다.

01:19

접근했지만 가장 가까운 곳을 다시 방문했습니다.

01:22

이웃 알고리즘 먼저 축소

01:24

피라미드 방식의 이미지는 각각

01:26

레벨은 꽃 해상도보다

01:28

위의 하나는 임의의 노이즈를 추가합니다.

01:31

생성하는 가장 거친 수준

01:33

총이 하는 것과 유사한 다른 이미지

01:36

인코딩 후 압축된 공간에

01:38

여기서 내가 말할 이미지 메모

01:40

단순함을 위한 이미지이지만 이 경우

01:42

동영상 프로세스에 적용되기 때문에

01:45

XNUMX개의 프레임에 동시에 만들어집니다

01:48

시간 차원을 추가하지만

01:49

설명은 추가로 동일하게 유지됩니다.

01:52

이미지의 끝에 단계

01:54

노이즈가 추가된 가장 거친 스케일은

01:56

여러 개의 작은 사각형으로 분할

01:59

이미지의 모든 패치를 다음으로 패치합니다.

02:01

추가된 노이즈는 대부분의 노이즈로 대체됩니다.

02:04

초기 스케일과 유사한 패치

02:06

가장 노이즈 없는 다운 이미지

02:09

유사한 패치는 다음으로 측정됩니다.

02:11

가장 가까운 이웃 알고리즘

02:13

이 패치의 대부분은 유지됩니다

02:15

동일하지만 추가된 노이즈에 따라

02:17

일부 패치는

02:19

그것들을 다른 것과 더 비슷하게 보이게하십시오.

02:21

초기 이미지의 패치입니다.

02:24

VPN 출력은 여기에 이러한 변경 사항이 표시됩니다.

02:27

새로운 것을 생성하기에 충분합니다.

02:29

이미지의 버전 다음이 먼저

02:31

출력이 업스케일되고 비교하는 데 사용됩니다.

02:34

다음 스케일의 입력 이미지로

02:36

그것의 시끄러운 버전으로 작동하고

02:38

이 다음에서 동일한 단계가 반복됩니다.

02:41

이 이미지를

02:43

작은 패치 및 이전 교체

02:45

가장 유사한 생성

02:48

현재 단계에 있는 사람들은

02:50

우리가 방금 다루었던 이 VPN 모듈

02:53

여기에서 유일한 차이점을 볼 수 있습니다

02:55

노이즈가 추가된 초기 단계는

02:58

생성된 고급형을 비교합니다.

03:00

여기에서 q로 표시된 이미지는 확대된

03:03

이전 이미지의 버전

03:06

로 표시된 것과 동일한 수준의 세부 정보를 가집니다.

03:09

k 기본적으로 아래 수준을 다음과 같이 사용합니다.

03:12

비교 우리는 q와 k를 비교한 다음

03:15

에서 해당 패치를 선택하십시오.

03:17

현재 레벨 v에서 까지의 이미지

03:20

이 단계에 대한 새 이미지 생성

03:22

다음에 사용할 것

03:24

여기에서 볼 수 있듯이 반복

03:26

화살표 k는 고급 버전입니다.

03:28

우리가 만든 이미지 축소 v

03:31

이 알고리즘의 초기 단계

03:33

우리는 피라미드 스케일링을 만들었습니다

03:35

이 작업이 수행되는 이미지의 버전

03:38

같은 수준의 선명도를 비교

03:40

두 이미지 모두 고급 생성

03:42

이전 레이어 q의 이미지는

03:45

의 이미지보다 훨씬 더 흐릿합니다.

03:48

현재 단계 v 매우 어려울 것입니다

03:50

유사한 패치를 찾기 위해 이것이 반복됩니다.

03:53

정상으로 돌아올 때까지

03:54

고해상도 결과가 있는 피라미드

03:57

생성된 모든 패치는

03:59

비디오로 접혀서 짜잔

04:02

다른 소음으로 이것을 반복하거나

04:04

변형을 생성하기 위한 수정

04:06

당신이 원하는 동영상에 빠르게

04:09

요약하면 이미지가 축소되었습니다.

04:11

다중 스케일 노이즈가 추가됩니다.

04:13

로 분할되는 코르사 스케일 이미지

04:16

작은 정사각형 패치 각 노이즈 패치는

04:18

그런 다음 가장 유사한 것으로 교체

04:20

동일한 압축 이미지의 패치

04:23

무작위 변경이 거의 발생하지 않는 노이즈 없이

04:26

리얼리즘을 유지하면서 이미지에

04:28

새로 생성된 이미지 및 이미지

04:31

이 단계의 소음 없이 업스케일링됩니다.

04:33

가장 유사한 것을 찾는 것과 비교하여

04:36

가장 가까운 이웃과 다시 패치

04:38

가장 유사한 패치는 다음과 같습니다.

04:40

현재 이미지에서 선택한

04:42

새 이미지를 생성하기 위한 해상도

04:45

단계를 다시 수행하고 이것을 반복합니다.

04:47

단계를 확장하고 비교할 때까지

04:49

와 함께 피라미드의 꼭대기로 돌아가십시오.

04:52

고해상도 결과는 물론

04:54

결과는 아직 완벽하지 않습니다

04:56

나타나는 사람과 같은 일부 유물을 참조하십시오

04:58

이상한 곳에서 사라지거나

05:00

단순히 누군가를 복사하여 붙여넣기

05:02

당신이 그것을 매우 분명하게 만드는 경우

05:05

집중해 아직 처음일 뿐이야

05:07

페이퍼 공격 비디오 조작

05:09

최근접이웃 알고리즘과

05:11

고해상도로 확장 가능

05:13

영상은 언제봐도 멋있다

05:15

나는 매우 흥분된다

05:18

다음 논문이 개선되는 것을 보기 위해

05:20

이것도 결과는 아직

05:22

매우 인상적이며 사용할 수 있습니다.

05:24

모델용 데이터 증강 도구

05:26

매우 낮기 때문에 비디오 작업

05:29

다른 모델이 학습할 수 있도록 하는 런타임

05:31

더 크고 다양한 데이터 세트에 대해

05:33

관심이 있다면 큰 비용 없이

05:35

이 기술에 대해 더 많이 배우면서 나는

05:37

그들의 독서를 강력히 추천할 것입니다

05:38

종이의 첫 번째 링크입니다.

05:40

설명 시청해주셔서 감사합니다.

05:42

내 작업을 지원하는 모든 사람에게

05:44

패트리온 또는 댓글과 좋아요를 통해

05:46

여기 YouTube의 동영상

05:54

당신

영어(자동 생성)

All

최근 업로드

관심

태그

Hacker Noon 가입

무료 계정을 만들어 맞춤형 독서 경험을 잠금 해제하세요.

PlatoAi. Web3 재창조. 데이터 인텔리전스 증폭.
액세스하려면 여기를 클릭하십시오.

출처: https://hackernoon.com/this-ai-performs-seamless-video-manipulation-without-deep-learning-or-datasets?source=rss

spot_img

최신 인텔리전스

spot_img