「Stable Diffusionって聞いたことあるけど、どうやって落書きから画像を生成するの？」 そう思う方もいるのではないでしょうか。
Stable Diffusionなどの特定の機能を使用する事によって、落書きやラフスケッチから本格的な画像を作成できるようになります。
今回PROMPTYでは、Stable Diffusionを使用して落書きやラフスケッチから画像を生成する方法を解説します。
Stable Doodleを使用して落書きから画像を生成する方法を解説
「Stable Diffusion」の開発元であるStability AIは落書きやラフスケッチを画像に変換できる無料ツール「Stable Doodle」を公開しています。
サイトにアクセスするだけで誰でも無料で使用できます。
上記のように、生成する画像の元となるスケッチをweb上で描画し、プロンプトを入力したら準備は完了です。
「Generate」ボタンを押し、しばらく待つと画像が生成されます。
今回はスタイルを指定せずに画像を生成しましたが、画像生成には「3D風」,「折り紙風」など様々なスタイルが用意されているので、好みのタイプの画像を生成することが出来ます。
Stable Diffusion WebUIのScribble機能を使用して落書きから画像を生成する方法を解説
上記で紹介した方法のほかにも、Stable Diffusion WebUIを使用して落書きから画像を生成する方法をご紹介します。
今回はGoogle Colab上でAUTOMATIC1111版Stable Diffusionを使用します。また、この方法を使用するにはControlNetを導入する必要があります。Stable Diffusion WebUIやControlNetの導入方法は以下の記事で詳しく解説しています。
「Stable Diffusionを使用したいが、どのように始めれば良いのだろう...」「低スペックPCでもStable Diffusionを使用できるの？...」 そう思う方もいるのではないでしょうか。 実は、高性能なPCを持っ[…]
Stable Diffusionで画像生成を行う際に、思った通りの画像が出力されないことはないでしょうか。 Stable Diffusionで思い通りの画像を生成するためには、「ControlNet」という拡張機能を活用することが求[…]
Scribble機能の導入方法
まず、以下のURLからファイル「control_v11p_sd15_scribble_fp16.safetensors」をダウンロードしてください。
https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/blob/main/control_v11p_sd15_scribble_fp16.safetensors
次に、Stable Diffusionを起動し、ダウンロードしたファイルを「stable-diffusion-webui」→「extensions」→「sd-webui-controlnet」→「models」内に移動すれば導入は完了です。
Scribble機能の2つの使い方について解説
Scribbleには、
- 元画像からラフ描きを抽出する
- 自作のラフ描きからイラストを生成する
上記の2つの機能が存在します。
それぞれについて解説していきたいと思います。
まず、ラフスケッチから画像を生成したい場合、Txt2imgを選択し、画像をドラッグ＆ドロップしてください。
そして、「Enable」にチェックを入れてください。
その後、Preprocessorを「scribble hed」、Modelを「control_v11p_sd15_scribble_fp16」と指定し、他の設定項目はそのままにして、「Generate」ボタンを押すとラフスケッチが生成されます。
上の画像が生成されたラフスケッチです。
この画像を基に、以下のように別の画像を生成することが出来ます。
自作のラフ描きから画像を生成したい場合も同様の方法で行うことが出来ます。
まず、ペイントツールなどでラフ描きを作ります。
これを上記と同じ設定にし、「Generate」ボタンを押すと以下のような画像が生成されました。
これに以下のプロンプトを追加することで、更にクオリティの高い画像を生成することが出来ます。今回は以下のプロンプトを入力してみます。
プロンプト
(masterpiece,best quality:1.4),super fine illustration,shiny skin,detailed skin,detailed face,detailed eyes,an extremely cute and beautiful girl,ネガティブプロンプト
(worst quality,low quality:2),(painting,sketch,flat color),(nsfw,nude,exposed skin,exposed chest,nipples,naked,bare navel),monochrome,grayscale,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes生成された画像は以下のものになります。
このように、適当に描画したラフスケッチから画像を生成することが出来ました。
まとめ
今回PROMPTYでは、Stable Diffusionなどのツールで落書きから画像を生成する方法を解説しましたが、いかがだったでしょうか。
Scribble機能を使用することによって、簡単に落書きから画像を生成することが出来ます。また、Stable Diffsuionを導入することが難しい方は「Stable Doodle」を使用してみて下さい。
PROMPTYでは他のStable Diffusionについての記事も多く扱っているので、是非ご覧ください。
～Stable Diffusionで素早く画像生成するには～
Stable Diffusionの画像生成スピードや画像サイズは、グラフィックボード（GPU）の性能によって大きく変わります。
このため、より効率的かつ快適な画像生成を望むユーザーにとって、最適なグラフィックボードの選択が重要となります。
推論処理やLoRAなどの追加学習処理といった大量の計算を効率よく行うためには、12GB以上のVRAMを持つグラフィックボードを選ぶことを強くおすすめします。
2GBや4GBのVRAMを持つグラフィックボードでは、学習プロセスや高解像度の画像生成に支障が出る可能性が高いです。
コスパを重視する方は、RTX 3060を選ぶと良いでしょう。
このグラフィックボードを使えば、Stable Diffusionの画像生成機能を最大限に活用することが可能となります。
