Stability AIは、11月21日に画像生成モデル「Stable Diffusion」に基づく動画生成モデル「Stable Video Diffusion」をリリースしたことを発表しました。現在、Stable Video Diffusionは研究プレビュー版として利用可能です。
参考：Stability AI
Stable Video Diffusionの概要
Stable Video Diffusionは、同社の画像生成AIモデル「Stable Diffusion」をベースに開発されました。このモデルは、単一の画像からマルチビュー合成を含む、さまざまなビデオアプリケーションに適応する機能を持っています。
現在、SVD（14フレーム生成可能）およびSVD-XT（25フレーム生成可能）の2つのimage-to-videosモデルがリリースされており、3～30fpsのフレームレートの動画を生成可能です。
さらに、Stability AIはtext-to-videosインターフェイスを備えたWebツールも開発中です。現在ウェイティングリストに登録することができます。
Stable Video Diffusionは現在、商用利用はまだ想定されていません。Stability AIは、安全性や品質に関する洞察とフィードバックは、最終的なリリースに向けてこのモデルを洗練させると述べています。
Stable Video Diffusionの使用例
本記事では、既にStable Video Diffusionで動画を生成している方々の例をご紹介します。
①アニメ静止画から動画の生成
2Dの静止画から、違和感のない動画を生成することができることがわかります。一枚の画像だけで簡単にアニメーションを作成することができるようになります。
②背景スクロールの表現
一人称視点の背景のスクロールが非常に滑らかに表現されています。
車の走行も良く表現できています。プレビュー版でこのクオリティなら、今後のアップデートでホイールの回転まで表現できるのではないでしょうか。
③他の生成AIと組み合わせて活用
Midjourney、Magnific AI、Topaz AIとStable Video Diffusionを組み合わせた動画。他の生成AIと組み合わせることで、まるで映画のシーンのようなクオリティの高い動画を生成できます。
他の動画生成AIモデルとの比較
Midjourneyで生成した画像をStable Video Diffusion、Runway、Pika Labsの3つのモデルを使って生成した動画を比較しています。
Stable Video Diffusionは人物、視点ともに良く動きますね。Runwayは人物の顔が少し変わってしまう印象があります。
まとめ
Stability AIは、画像生成モデル「Stable Diffusion」に基づく動画生成モデル「Stable Video Diffusion」をリリースしたことを発表しました。Stable Diffusionに基づくモデルということもあり、プレビュー版から非常に高いクオリティで動画を生成することができています。
image to videoだけでなく、text to videoの機能もリリースされれば、広告、教育、エンターテインメントなど、様々な分野での活用が期待されます。
10月にはRunway Gen2がアップデートされたほか、11月にはMetaは新しい動画生成モデル「Emu」を公開しています。
テキストや画像から動画を生成できるAIサービス「Ruway Gen2」がアップデートされました。 テキストや画像から動画を生成する機能が向上したことにより、忠実性の改善 、一貫性も大幅に向上されています。 参考：Venture[…]
Metaは、11月16日にテキストから動画を生成できる「Emu Video」と、テキストによる指示で画像を編集できる「Emu Edit」の2つのAIツールを発表しました。 現在「Emu Video」と「Emu Edit」は、デモサイ[…]
