Stable Video Diffusionをもとにした3D生成モデル【Stable Video 3D】

2024年3月23日

URLをコピーしました！

Stable Video 3Dとは何か、その重要性について簡単に紹介

2024年3月18日、Stability AIが世に放った「Stable Video 3D」は、3Dコンテンツ生成のフロンティアを大きく押し広げました。一枚の画像から、動きのある3Dモデルを生成するこの革新的ツールは、ただの新技術を超え、クリエイターやデザイナーがこれまでにない方法で表現できる新しい扉を開いたのです。

Stable Video Diffusionを基にした進化の概要

Stable Video 3Dは、その名が示す通り、Stable Video Diffusion（SVD）を基にしています。SVDは既に動画生成の分野で大きな注目を集めていましたが、Stable Video 3Dはこれに一歩さらに踏み込み、静止画から時間と空間を超えた3Dの動きを生み出すことに成功しました。この技術がもたらす可能性は計り知れず、1300を超える「いいね」が公式X（おそらくソーシャルメディアの一種）に投稿されたことからも、その注目度の高さが伺えます。

Stable Video 3Dの概要

Stable Video 3Dの基本情報と特徴

Stable Video 3Dは、単一の画像から3Dの動画を生成する能力を持つ、まさに未来を象徴するような技術です。576×576の解像度で21フレームの動画を生成できるこのツールは、単に動画を作り出すだけではありません。それは、画像に映されたオブジェクトを中心に、あたかもカメラが回転しながらその周囲を撮影しているかのような、リアルな3D映像を生み出します。

主な機能：SV3D_uとSV3D_pの紹介

このツールには、主に2つの機能があります。「SV3D_u」は、単一の画像から自動的に軌道動画を生成する機能です。一方、「SV3D_p」は、ユーザーが指定したカメラ軌道に沿って3D映像を作り出す機能です。これにより、ユーザーはより細かく動画の生成をコントロールできるようになります。

参考：https://sv3d.github.io/static/paper.pdf

生成プロセスの説明と技術的背景

Stable Video 3Dの背後には、対照学習モデルのCLIPと拡散モデルベースのUNetが動いています。これらの技術を組み合わせることで、単一の静止画から動的な3D映像を生成することが可能になります。学習プロセスでは、「staticなカメラの軌道」と「dynamicなカメラの軌道」を条件として与え、これによりモデルは様々な角度からの映像を想像し、生成する能力を身につけます。

Stable Video 3Dのライセンス

商用利用、改変、配布の可否

Stable Video 3Dは、Stability AI Non-Commercial Research Community Licenseのもとで配布されており、非商用目的での使用が可能です。具体的には、商用利用は許可されていませんが、改変や配布は非商用目的であれば許可されています。これにより、研究者や趣味で使用するユーザーは比較的自由にこのツールを活用することができます。

非商用での利用方法

非商用での利用には、Hugging Faceからモデルの重みをダウンロードすることで、誰でもアクセス可能です。これにより、技術的な知識を持つ一般のユーザーも、Stable Video 3Dの機能を自由に試すことができます。

Stable Video 3Dの使い方

Hugging Faceでのモデルのダウンロード方法

Stable Video 3Dを使用する最初のステップは、Hugging Faceから必要なモデルの重みをダウンロードすることです。これは、公式ページにアクセスし、利用規約に同意した後に行うことができます。

Google Colabを使ったインストールと実行手順

実際にモデルを動かすためには、Google Colabを開きます。以下のコマンドを実行してインストール。

!git clone https://github.com/Stability-AI/generative-models
%cd generative-models
!pip install -r requirements/pt2.txt
!pip install .

次に、stabilityai/sv3dのFilesから

sv3d_u.safetensors
sv3d_p.safetensors

の2つのファイルをダウンロードし、「generative-models/checkpoints」に置きます。

次に、好きな画像1枚を、generative-modelsの直下に置きましょう。下のコマンドを実行すると、SV3D_uによって生成できます。

パタメータの意味

–input_path：入力画像のパス
–version：モデル（ここではsv3d_u）【Stable Video 3D】Stable Video Diffusionをもとにした3D生成モデル

!python scripts/sampling/simple_video_sample.py --input_path input.png --version sv3d_u

インストールや実行時のトラブルシューティング

実際にモデルを動かす際には、様々なトラブルが発生する可能性があります。例えば、インポートエラーが発生した場合は、プロジェクトフォルダ内のモジュールが正しく読み込まれていない可能性があります。このような問題は、多くの場合、比較的簡単に解決することができます。

Stable Video 3Dを動かすのに必要なPCのスペック

Stable Video 3Dを快適に使用するためには、ある程度のPCスペックが要求されます。主に以下の条件を満たしていることが推奨されます。

Pythonのバージョン: Python 3.8以上が必要です。Pythonのバージョンによっては、互換性の問題が生じる可能性があるため、適切なバージョンをインストールしておくことが重要です。
使用ディスク量: モデルの重みなどを含め、約10.0GBのディスクスペースが必要です。大量のデータを扱うため、十分なストレージ容量を確保しておくことが望ましいです。
RAMの使用量: 33.7GBのRAMを使用します。このため、高スペックなメモリが必要となり、特に大規模なモデルを扱う際には、メモリ容量がパフォーマンスに直接影響を与えることに注意が必要です。

Stable Video 3DとTripo SRの比較

Stable Video 3Dの性能を評価するために、別の3D生成モデルである「Tripo SR」との比較を行いました。Tripo SRは、Stability AIとTripo AIが共同開発したモデルで、こちらも高品質な3Dモデルの生成を目指しています。

比較結果: Stable Video 3Dは、全方向からの回転を可能にするなど、よりダイナミックな3D映像の生成が可能です。一方、Tripo SRも優れた性能を示しましたが、個人的な観点からは、Stable Video 3Dの方がよりリアルな3D表現が可能だと感じました。
個人的な評価: Stable Video 3Dの方が新しい技術を採用しており、特に複雑なシーンの再現性において優れているように思われます。これは、最新の技術進化が、3Dコンテンツ生成の質をさらに高めることに寄与している証拠と言えるでしょう。