【プロンプト解説】Stable Diffusionで絵柄を指定して画像を生成する方法

「自分の思い描く絵柄の画像を生成したい…」「Stable Diffusionで絵柄を指定して画像生成はできるの？」 そう考えている方は多いかと思います。

Stable Diffusionでは、プロンプトにテーマや時代を表す言葉を組み込むことで、指定した絵柄に基づいての画像生成が可能です。

今回PROMPTYでは、プロンプトのテンプレートと実際に様々な絵柄で画像を生成した結果を紹介します。

Stable Diffusionで絵柄指定するプロンプト

プロンプトテンプレート

今回は、Stable Diffusion XL 1.0でこちらのプロンプトを入力して絵柄を指定した画像を生成していきます。

プロンプト：

(masterpiece,best quality:1.4),({絵柄を指定する単語}:1.2),detailed skin,detailed face,detailed eye,extremely beautiful face,1 girl,full body,looking at viewer,smile

ネガティブプロンプト：

(worst quality,low quality:2),text,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes,nsfw,nude,nipples

モデル：Stable Diffusion XL 1.0

Sampling method：DPM++ 2M Karras
Sampling steps：30
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：-1
Script：None

関連記事

Stable Diffusion XL 1.0がリリース！特徴と利用方法をご紹介

「Stable Diffusionの最新モデルが知りたい...」「Stable Diffusion XL って何？」そう思う方もいるのではないでしょうか。 これまで研究目的で公開されていたStable Diffusion XLアップ[…]

①テーマやモチーフで絵柄を指定するプロンプト

○○風やテーマに関する単語をプロンプトに組み込むことで、絵柄を指定することができます。

生成した画像：

テーマやモチーフを反映した絵柄で女性の画像が生成されました。画像のクオリティには少し差があります。

漫画風（comic-style）や浮世絵（ukiyo-e）、ステンドグラス（stained glass）などは特徴が良く反映されていますが、印象派（impressionism）はテーマがうまく反映されていません。印象派ならば、モネ（Monet）と入力するなど、プロンプトを詳細に入力することで思い通りの画像を生成できる可能性が高くなります。

②技法で絵柄を指定するプロンプト

道具や絵の技法に関する単語をプロンプトに組み込むことで、絵柄を指定することができます。

生成した画像：

絵の技法を反映した絵柄で女性の画像が生成されました。水彩画（water painting）や木版画（woodblock painting）は特にクオリティの高い画像が生成されています。

③国や地域で絵柄を指定するプロンプト

国や地域に関する単語をプロンプトに組み込むことで、絵柄を指定することができます。

生成した画像：

国や地域の特徴を反映した絵柄で女性の画像が生成されました。衣装や化粧・髪型に国や地域の特徴が良く表われています。

④時代やトレンドで絵柄を指定するプロンプト

時代やトレンドを表わす単語をプロンプトに組み込むことで、絵柄を指定することができます。

生成した画像：

時代やトレンドの特徴を反映した絵柄で女性の画像が生成されました。抽象的なテーマでもある程度適切な絵柄で画像が生成されています。

「LoRA」を使って自分の絵柄を学習させる

Stable Diffusionで絵柄を指定する方法として「LoRA」の活用が挙げられます。

Stable DiffusionのLoRAとは、「Low-Rank Adaptation」の略で、低コストでAIの追加学習を行い、好みの画像を簡単に出力できるようにするツールです。

Loraで画像を追加学習させることで、生成する画像を自分の思った通りの絵柄にコントロールすることが可能となります。

LoRAを導入すると絵柄やポーズ、衣装など固定して画像を生成することができます。

関連記事

Stable DiffusionのLoRAとは？ダウンロード方法と導入方法を解説

「Stable DiffusionのLoRAって何？」「Stable DiffusionのLoRAをダウンロードして導入するにはどうしたらいい？」 このような疑問をお持ちの方は多いのではないでしょうか？ Stable Diff[…]

まとめ

今回PROMPTYでは、Stable Diffusionを活用して絵柄を指定して画像を生成する方法を紹介しました。4つのカテゴリに分けて絵柄を指定するプロンプトを紹介しました。

• テーマやモチーフを指定する
• 絵の技法を指定する
• 国や地域を指定する
• 時代やトレンドを指定する

今回の例を元に、皆さまもStable Diffusionでの画像生成を楽しんでみてはいかがでしょうか。

PROMPTYでは、他のStable Diffusionについての記事も多く扱っているので、是非ご覧ください。

～Stable Diffusionで素早く画像生成するには～

Stable Diffusionの画像生成スピードや画像サイズは、グラフィックボード（GPU）の性能によって大きく変わります。

このため、より効率的かつ快適な画像生成を望むユーザーにとって、最適なグラフィックボードの選択が重要となります。

推論処理やLoRAなどの追加学習処理といった大量の計算を効率よく行うためには、12GB以上のVRAMを持つグラフィックボードを選ぶことを強くおすすめします。

2GBや4GBのVRAMを持つグラフィックボードでは、学習プロセスや高解像度の画像生成に支障が出る可能性が高いです。

コスパを重視する方は、RTX 3060を選ぶと良いでしょう。

このグラフィックボードを使えば、Stable Diffusionの画像生成機能を最大限に活用することが可能となります。