IntelのIntelligentSystems Labの研究者は、写実的なグラフィックスでコンピューター生成画像を強化するための新しい方法を明らかにしました。 で実証 GTA V、このアプローチでは、ディープラーニングを使用してゲームによって生成されたフレームを分析し、実際の画像のデータセットから新しいフレームを生成します。 研究状態の技術は、今日の実際のゲームプレイには遅すぎますが、将来のリアルタイムコンピュータグラフィックスの根本的に新しい方向性を表す可能性があります。

2013年にリリースされたにもかかわらず、 GTA V かなり見栄えの良いゲームのままです。 それでも、「フォトリアリスティック」の定義に真に適合するものとはほど遠いものです。

作成できましたが 事前レンダリング かなり長い間、真に写実的な画像を作成しましたが、リアルタイムでそれを行うことは依然として大きな課題です。 リアルタイムレイトレーシングは、リアルなグラフィックスに向けて新たな一歩を踏み出しますが、今日の最も見栄えの良いゲームでさえ、真のフォトリアリズムとの間にはまだギャップがあります。

IntelのIntelligentSystemsLabの研究者は 最先端のアプローチを実証する公開された研究 ディープラーニングシステムを上に重ねることで、真にフォトリアリスティックなリアルタイムグラフィックスを作成します GTA V 既存のレンダリングエンジン。 結果は非常に印象的で、同様の方法をはるかに超える安定性を示しています。

概念的には、この方法はNVIDIAのディープラーニングスーパーサンプリング（DLSS）に似ています。 DLSSは画像を取り込んで同じ画像のより鮮明なバージョンを生成するように設計されていますが、Intelligent Systems Labのメソッドは画像を取り込んでから、実際の画像のデータセットから描画することでフォトリアリズムを強化します。 Cityscapesと呼ばれるデータセット 車の視点からのストリートビュー画像が特徴です。 このメソッドは、データセットから、元々生成されたフレームに表示されているものと最も一致する特徴を抽出することにより、まったく新しいフレームを作成します。 GTA V ゲームエンジン。

この「スタイル転送」アプローチは完全に新しいものではありませんが、 新しく追加されました このアプローチでは、画像合成プロセスの一部として、ゲームエンジンによって作成されたGバッファデータを統合します。

Gバッファは、各ゲームフレームの表現であり、深度、アルベド、法線マップ、オブジェクトセグメンテーションなどの情報が含まれます。これらはすべて、ゲームエンジンの通常のレンダリングプロセスで使用されます。 Intelligent Systems Labのメソッドは、ゲームエンジンによってレンダリングされた最終フレームだけを見るのではなく、Gバッファーで利用可能なすべての追加データを調べて、フォトリアリスティックデータセットのどの部分から描画する必要があるかをより正確に推測します。シーンの正確な表現を作成するため。

このアプローチは、メソッドに優れた時間的安定性（移動するオブジェクトがXNUMXつのフレームから次のフレームに幾何学的に一貫しているように見える）と意味的一貫性（新しく生成されたフレーム内のオブジェクトが元のフレームにあったものを正しく表す）を与えるものです。 研究者たちは、彼らの方法を他のアプローチと比較しましたが、その多くは特にこれらのXNUMXつの点に苦労していました。

– – – – –

この方法は現在、研究者（Stephan R. Richter、Hassan Abu AlHaija、Vladlen Koltun）が「インタラクティブレート」と呼んでいるもので実行されていますが、今日でもビデオゲームで実用化するには遅すぎます（NvidiaRTXを使用してわずか2FPSを打つ） 3090 GPU）。 ただし、将来的には、この方法をゲームエンジンと連携して動作するように最適化できると考えています。これにより、プロセスを実用的な速度まで高速化できます。おそらく、いつの日か、真にフォトリアリスティックなグラフィックスを実現できます。 VR。

「私たちの方法は、学習ベースのアプローチを従来のリアルタイムレンダリングパイプラインと統合します。 私たちの方法は、今後もグラフィックスパイプラインに利益をもたらし、リアルタイムのレイトレーシングと互換性があると期待しています」と研究者たちは結論付けています。 […]「入力として使用されるGバッファーはGPUでネイティブに生成されるため、私たちの方法はゲームエンジンにより深く統合され、効率が向上し、リアリズムのレベルがさらに向上する可能性があります。」

コインスマート。 BesteBitcoin-ヨーロッパのBörse
出典：https：//www.roadtovr.com/intel-research-gta-v-photorealistic-graphics-deep-learning-vr/