Stable Diffusionを使用する際に、同じ人物で様々な表情の画像を生成する際に、シード値を固定するのみでは、異なった人物が生成されてしまう場合がほとんどです。
今回PROMPTYではLoRAを使用して人物を固定して画像を生成する手順についてご紹介します。
LoRAを活用することで、お気に入りのモデルを選んでキャラクターを固定し、画像を生成することが可能です。この手法を利用すれば、より個性的な画像を作成することができます。
導入方法
1.LoRAをダウンロードする
まず、以下のリンクより今回使用するLoRAをダウンロードします。
回はMUSE_v1のページに掲載されている「MUSE_naturalface_v1」を使用します。また、この素材は公開されているページで詳細を確認することができます。
https://civitai.com/models/13578/musenaturalfacev1
ダウンロードしたファイル名は、MUSE_style2_v1.safetensorsです。
2.指定のディレクトリに保存する
ダウンロードが完了したら、stable-diffusion-webuiのLoraディレクトリ内に保存します。
これで準備は完了です。
実際に使用してみる
導入したLoRAを使用する方法は
1.basilmixを使用してキャラを固定して画像を出力する
それでは、導入したLoRAを実際に使用して複数の画像を出力してみます。まずは、リアル調の画像を生成できるモデルであるbasilmixを使用してみます。
環境は以下の通りです。
Sampling method：DPM++ 2S a Karras
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：-1
Script：None
照れた女性
プロンプト：
1girl, black hair, gradient hair, embarrassed, frontal face, wallpaper,<lora:MUSEv1:1>ネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers, comic), nsfw,笑顔の女性
プロンプト：
1girl, black hair, gradient hair, smile, frontal face, wallpaper,<lora:MUSEv1:1>ネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers, comic), nsfw,怒った女性
プロンプト：
1girl, black hair, gradient hair, (angry), wallpaper, <lora:MUSEv1:1>ネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers, comic), nsfw,上記の通り、同じ女性で複数の表情の画像を生成することが出来ました。
Counterfeit-V2.5を使用して人物を固定した画像を生成する
次に、アニメ絵風の画像を生成することが出来るモデルを使用して人物を固定した画像を生成してみます。
照れた女性
プロンプト：
1girl, black hair, gradient hair, embarrassed, frontal face, wallpaper,<lora:MUSEv1:1>ネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers, comic), nsfw,笑顔の女性
プロンプト：
1girl, black hair, gradient hair, smile, frontal face, wallpaper,<lora:MUSEv1:1>ネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers, comic), nsfw,怒った女性
プロンプト：
1girl, black hair, gradient hair, (angry), wallpaper, <lora:MUSEv1:1>ネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers, comic), nsfw,問題なく、人物を固定して画像を生成することが出来ました。
～Stable Diffusionで素早く画像生成するには～
Stable Diffusionの画像生成スピードや画像サイズは、グラフィックボード（GPU）の性能によって大きく変わります。
このため、より効率的かつ快適な画像生成を望むユーザーにとって、最適なグラフィックボードの選択が重要となります。
推論処理やLoRAなどの追加学習処理といった大量の計算を効率よく行うためには、12GB以上のVRAMを持つグラフィックボードを選ぶことを強くおすすめします。
2GBや4GBのVRAMを持つグラフィックボードでは、学習プロセスや高解像度の画像生成に支障が出る可能性が高いです。
コスパを重視する方は、RTX 3060を選ぶと良いでしょう。
このグラフィックボードを使えば、Stable Diffusionの画像生成機能を最大限に活用することが可能となります。
