ビデオを編集して誰かを削除または追加したり、背景を変更したり、長持ちさせたり、圧縮や拡大をせずに特定のアスペクト比に合うように解像度を変更したりしたいと思ったことはありませんか？ すでに広告キャンペーンを実施している方は、ABテスト用に動画のバリエーションを用意して、何が最も効果的かを確認したいと思ったことは確かです。 さて、NivHaimらによるこの新しい研究。 XNUMXつのビデオとHDですべてを行うのに役立ちます！ 実際、簡単なビデオを使用すると、高品質のビデオについて、先ほど触れたタスクを数秒または数分で実行できます。 基本的に、あなたが考えているあらゆるビデオ操作またはビデオ生成アプリケーションに使用できます。 あらゆる点でGANを上回り、ディープラーニングの派手な調査を使用せず、巨大で非実用的なデータセットも必要としません。 そして最高のことは、このテクニックが高解像度のビデオにスケーラブルであることです
ビデオを編集して誰かを削除または追加したり、背景を変更したり、長持ちさせたり、圧縮や拡大をせずに特定のアスペクト比に合うように解像度を変更したりしたいと思ったことはありませんか？ すでに広告キャンペーンを実施している方は、ABテスト用に動画のバリエーションを用意して、何が最も効果的かを確認したいと思ったことは確かです。
さて、NivHaimらによるこの新しい研究。 XNUMXつのビデオとHDですべてを行うのに役立ちます！
実際、簡単なビデオを使用すると、高品質のビデオについて、先ほど触れたタスクを数秒または数分で実行できます。 基本的に、あなたが考えているあらゆるビデオ操作またはビデオ生成アプリケーションに使用できます。 あらゆる点でGANを上回り、ディープラーニングの派手な調査を使用せず、巨大で非実用的なデータセットも必要としません。
そして最高のことは、このテクニックが高解像度のビデオにスケーラブルであることです…
ビデオを見る
参考文献
►記事全文を読む: https://www.louisbouchard.ai/vgpnn-ge…
►対象となる論文：Haim、N.、Feinstein、B.、Granot、N.、Shocher、A.、Bagon、S.、Dekel、T。、およびIrani、M。（2021） 単一のビデオからの多様な生成が可能になりました。 ArXiv、abs /2109.08591。
►画像から動画に適応した手法：Niv Granot、Ben Feinstein、Assaf Shocher、Shai Bagon、MichalIrani。 ガンを落とす：パッチの最近傍を単一の画像生成モデルとして防御します。 arXiv preprint arXiv：2103.15545、2021。
►コード（まもなく利用可能）： https://nivha.github.io/vgpnn/
►私のニュースレター（新しいAIアプリケーションが毎週あなたのメールに説明されています！）： https://www.louisbouchard.ai/newsletter/
ビデオトランスクリプト
00:00
ビデオを編集したいと思ったことはありますか
00:02
誰かを削除または追加して変更する
00:04
背景はそれを少し長持ちさせるか
00:06
特定に合うように解像度を変更します
00:08
圧縮せずにアスペクト比または
00:10
あなたのそれらのためにそれを伸ばす
00:12
すでに広告キャンペーンを実行しました
00:14
確かにのバリエーションが欲しかった
00:16
abテスト用のビデオと内容を確認する
00:19
nivによるこの新しい研究は最もうまく機能します
00:22
haim italは、これらすべてを行うのに役立ちます
00:24
単一のビデオから高
00:27
確かに簡単なビデオを使用した定義
00:29
あなたは私がちょうど
00:32
数秒または数分で言及
00:34
高品質のビデオのためにあなたはすることができます
00:36
基本的にすべてのビデオに使用します
00:38
操作またはビデオ生成
00:40
あなたもそれを念頭に置いているアプリケーション
00:42
あらゆる点で銃よりも優れており、そうではありません
00:45
ディープラーニングの派手な調査を使用することも、
00:48
巨大で実用的でないデータセットが必要
00:51
そして最高のことはこれが
00:52
技術は高解像度にスケーラブルです
00:55
ビデオそれは研究のためだけではありません
00:57
256 x256ピクセルのビデオでの目的
01:01
そしてもちろんあなたはそれを画像で使うことができます
01:04
モデルがどのように機能するか見てみましょう
01:06
ビデオベースの生成パッチと呼ばれます
01:08
を使用する代わりに最近傍vgpnn
01:11
ガンのような複雑なアルゴリズムとモデル
01:14
またはその研究者を変換します
01:16
開発されたvgpnは、はるかに単純なものを選択します
01:19
アプローチしますが、最も近いものを再訪しました
01:22
最近傍アルゴリズムは最初にダウンスケールします
01:24
それぞれがピラミッドの方法で画像
01:26
レベルは花の解像度よりも
01:28
上記のXNUMXつは、ランダムノイズを追加します
01:31
生成する最も粗いレベル
01:33
銃と同じような別の画像
01:36
エンコード後の圧縮されたスペースで
01:38
ここで私が言うイメージノート
01:40
簡単にするための画像ですが、この場合は
01:42
それはビデオに適用されるのでプロセス
01:45
XNUMXつのフレームで同時に作成されます
01:48
時間ディメンションを追加しますが、
01:49
説明は追加で同じままです
01:52
最後にステップで画像
01:54
ノイズが追加された最も粗いスケールは
01:56
複数の小さな正方形に分割
01:59
画像内のすべてのパッチにパッチを適用します
02:01
追加されたノイズはほとんどに置き換えられます
02:04
最初にスケーリングされたものからの同様のパッチ
02:06
これが最もノイズのないダウンイメージ
02:09
同様のパッチは、
02:11
私たちがするように最近傍アルゴリズム
02:13
これらのパッチのほとんどが残りますを参照してください
02:15
同じですが、追加されたノイズによって異なります
02:17
一部のパッチは、次のように変更されます。
02:19
それらを別のものにもっと似せる
02:21
初期画像のパッチこれは
02:24
ここに表示されるVPN出力これらの変更
02:27
新しいを生成するのにちょうど十分です
02:29
画像のバージョン、次にこれが最初
02:31
出力はアップスケールされ、比較に使用されます
02:34
次のスケールの入力画像で
02:36
それとの騒々しいバージョンとして機能する
02:38
この次のステップでも同じ手順が繰り返されます
02:41
これらの画像を分割する反復
02:43
小さなパッチと以前のものを置き換えます
02:45
最も類似したものを生成
02:48
現在のステップのものに取り掛かりましょう
02:50
このvpnモジュールについて説明しました
02:53
ここで唯一の違いを見ることができます
02:55
ノイズを追加した最初のステップは
02:58
生成された高級感を比較する
03:00
ここでの画像は、拡大されたqとして示されています
03:03
前の画像のバージョン
03:06
と同じレベルの詳細が示されています
03:09
k基本的に以下のレベルを使用します
03:12
比較qとkを比較してから
03:15
で対応するパッチを選択します
03:17
この現在のレベルvからへの画像
03:20
このステップの新しい画像を生成します
03:22
次に使用されます
03:24
あなたがここで見るように小さな反復
03:26
矢印kはの高級バージョンです
03:28
ダウンスケーリングvで作成した画像
03:31
このアルゴリズムの最初のステップは
03:33
ピラミッドスケーリングを作成しました
03:35
私たちの画像のバージョンこれは
03:38
で同じレベルのシャープネスを比較します
03:40
生成された高級感としての両方の画像
03:42
前のレイヤーqからの画像は
03:45
の画像よりもはるかにぼやけています
03:48
現在のステップvとそれは非常に難しいでしょう
03:50
同様のパッチを見つけるためにこれが繰り返されます
03:53
トップに戻るまで
03:54
高解像度の結果が得られるピラミッド
03:57
次に、これらの生成されたパッチはすべて
03:59
あなたができるビデオと出来上がりに折りたたまれます
04:02
別のノイズでこれを繰り返すか、
04:04
バリエーションを生成するための変更
04:06
あなたはあなたのビデオに欲しいです簡単にやりましょう
04:09
画像を要約すると、
04:11
複数のスケールのノイズがに追加されます
04:13
に分割されているコルサスケール画像
04:16
小さな正方形のパッチ各ノイズの多いパッチは
04:18
その後、最も類似したものに置き換えられます
04:20
同じ圧縮画像からのパッチ
04:23
ランダムな変化をほとんど引き起こさないノイズなし
04:26
リアリズムを保ちながら画像に
04:28
新しく生成された画像と画像
04:31
このステップのノイズなしでアップスケールされます
04:33
そして、最も類似したものを見つけるために比較しました
04:36
最も近い隣人と再びパッチを当てる
04:38
これらの最も類似したパッチは
04:40
現在の画像から選択
04:42
新しい画像を生成するための解像度
04:45
もう一度ステップして、これを繰り返します
04:47
私たちまでのステップのアップスケーリングと比較
04:49
ピラミッドのトップに戻る
04:52
もちろん高解像度の結果
04:54
結果は完璧ではありませんあなたはまだすることができます
04:56
人々が現れるようないくつかのアーティファクトを見る
04:58
奇妙な場所で消えたり
05:00
誰かをコピーして貼り付けるだけです
05:02
あなたが
05:05
それでもそれに焦点を当てるそれは最初のものだけです
05:07
紙を攻撃するビデオ操作
05:09
最近傍アルゴリズムと
05:11
高解像度にスケーラブルにする
05:13
ビデオを見るのはいつも素晴らしいです
05:15
さまざまなアプローチ私はとても興奮しています
05:18
次の論文が改善されるのを見る
05:20
これも結果はまだです
05:22
非常に印象的で、それらを使用することができます
05:24
モデルのデータ拡張ツールとして
05:26
彼らの非常に低いためにビデオに取り組んでいます
05:29
他のモデルがトレーニングできるようにするランタイム
05:31
より大きく、より多様なデータセット
05:33
あなたが興味を持っているなら多くの費用なしで
05:35
このテクニックについてもっと学ぶことで私は
05:37
彼らを読むことを強くお勧めします
05:38
紙それはの最初のリンクです
05:40
説明見てくれてありがとう
05:42
私の仕事をサポートしているすべての人に
05:44
patreonまたはコメントしていいねすることによって
05:46
ここyoutubeのビデオ
05:54
貴社
英語（自動生成）
すべて
最近アップロードされた
監視
タグ
無料のアカウントを作成して、カスタムの読書体験のロックを解除します。
PlatoAi。 Web3の再考。 増幅されたデータインテリジェンス。
アクセスするには、ここをクリックしてください。
