Runway は Midjourney と Stable Diffusion を脇に置き、テキストからビデオへの AI アートの最初のクリップを導入しました。同社は、テキスト プロンプトによって完全に生成されると述べています。

同社は、実世界のシーンをモデル。

日時 昨年登場した AI アート、テキストから画像へのモデルを使用しました。 ユーザーがシーンを説明するテキスト プロンプトを入力すると、ツールは現実世界の「種」や芸術的スタイルなどについて知っていることを使用して画像を作成しようとします。 Midjourneyのようなサービス これらのタスクをクラウド サーバー上で実行しながら、 安定拡散 & 安定の大群 家庭用 PC で実行されている同様の AI モデルを活用します。

ただし、テキストからビデオへの変換は次のステップです。 これを実現するにはさまざまな方法があります: Pollinations.ai にはいくつかのモデルが蓄積されており、それらを試すことができます。 そのうちの1つ 関連するいくつかのシーンを取り、それらをつなぎ合わせてアニメーションを構築するだけです。 別 単純に画像の 3D モデルを作成する ズームすることができます。

滑走路は別のアプローチを取ります。 同社はすでに提供している AI を活用した動画ツール: (画像ではなく) ビデオからオブジェクトを削除するための修復、AI を利用したボケ、トランスクリプトと字幕など。 そのテキストからビデオへのツールの第 XNUMX 世代では、現実世界のシーンを構築し、それをモデルとして使用して、テキストで生成されたビデオをその上に重ねることができました。 これは通常、画像として行われます。たとえば、ゴールデン レトリバーの写真を撮り、AI を使用してその写真をドーベルマンの写真に変換します。

それが第 1 世代でした。ランウェイの第 2 世代は、会社がツイートしたように、既存の画像や動画をベースとして使用できます。 しかし、このテクノロジーは、テキスト プロンプトから短いビデオ クリップを完全に自動生成することもできます。

滑走路のつぶやきが示すように、クリップは両方とも短く (せいぜい数秒)、非常に粗く、フレーム レートが低いことに悩まされています。 ランウェイが早期アクセスまたは一般アクセスのモデルをいつリリースするかは明らかではありません. ただし、Runway Gen 2 ページの例では、さまざまなビデオ プロンプトが表示されます。純粋なテキストからビデオへの AI、テキスト + 画像からビデオへの変換などです。 モデルに与える入力が多いほど、運が良くなるようです。 ビデオの「オーバーレイ」を既存のオブジェクトまたはシーンに適用すると、最も滑らかなビデオと最高の解像度が得られるようです。

Runway はすでに、無制限のビデオ プロジェクトを可能にする月額 12 ドルの「標準」プランを提供しています。 ただし、実際に独自のポートレートや動物ジェネレーターをトレーニングするなどの特定のツールには、10 ドルの追加料金が必要です。 滑走路がその新しいモデルにいくら請求するかは不明です.

何の滑走路 ありません しかし、わずか数か月で、テキストから画像への AI アートからテキストからビデオへの AI アートへと移行したことを示しています。