似顔絵は肖像画とは違ってその人の顔の特徴をデフォルメしたもので特徴を捉えた絵を意味し、Stable Diffusionを使えば似顔絵の画像を作成することが可能です。
今回PROMPTYでは、Stable Diffusuionで似顔絵を生成する方法をご紹介していきたいと思います。
似顔絵を生成する際に使うモデル
似顔絵を生成するにあたって顔をデフォルメしたような特徴のある似顔絵にするためにはモデルが重要になってきます。似顔絵に向いているモデルの一部をご紹介します。モデルによってはプロンプトの条件があり、それを組み込まないと希望通りに生成されないことがあります。モデルの配布ページで確認してみてください。
| モデル | 特徴 |
|---|---|
| [浮世絵/Ukiyo-e] 川瀬巴水 | 浮世絵風の和なテイストの画像 |
| DucHaiten-GoldenLife | アメリカのアニメのような画風で3Dになりやすい |
| Pencil Sketch Style | 鉛筆で描いた下書きのような画像 |
| A Comic Sketches Style | 漫画調のインクのスケッチ風 |
| Flat-2D Animerge | トーンの低い色合いが特徴的なフラットな2Dのアニメ調 |
参考画像：
写真をもとに似顔絵を生成する
すでにある写真を元に様々なスタイルに落とし込む方法をご紹介します。プロフィール画像用などに生成してみてください。
今回はControlNetという拡張機能を使用します。導入していない方はこちらの記事を参考に導入してください。
今回はStable Diffusionを使って実際に使えるQRコードのアートの作り方をご紹介します。Stable Diffusion の拡張機能（extention)「controlnet」を使用するので、その導入方法も含めて解説していき[…]
①似顔絵風にしたい顔写真を用意する
まず初めに似顔絵にしたい顔写真を用意してください。今回はStable Diffusionで生成したこちらの画像を元に似顔絵を生成していきます。
モデル：
cyberrealistic_v31.safetensors [107d2a241b]
プロンプト：
beautiful oil matte portrait painting, mafia boss at his 50s new york office desk, wonderful masterpiece highly detailed, beautiful cinematic light deep focus, elegant, digital painting, smooth, sharp focus, golden ratio, dramatic illumination, ultra realistic, 8k, art by jimmy lawネガティブプロンプト：
CyberRealistic_Negative参考元：civitai
Sampling method：DPM++ 2M Karras
Sampling steps：20
Width：512
Height：512
CFG Scale：7
Seed：-1
生成画像：
今回はこちらの画像を使用します。
②画像をアップロード
まず初めに用意した画像を「img2img」と「ControlNet」にアップロードします。「ControlNet」はパラメータの下にあります。
img2img：
ControlNet：
こちらで準備が完了です。モデル、プロンプト、パラメータの設定しをし生成していきます。
③浮世絵風の似顔絵を生成する
まずは浮世絵風の似顔絵を生成していきます。生成したい似顔絵のスタイルに合わせてモデルを設定しますが、プロンプトを生成する際にモデルの特徴に寄るため、元画像の説明を組み込む必要があります。今回は浮世絵風の似顔絵ですが、ヨーロッパ人風の顔立ちなので「European」を組み込みました。
モデル：
プロンプト：
<lora:Ukiyo-e:0.65>, masterpiese, ukiyo-e, illustration, European,ネガティブプロンプト：
real, photo, worst quality, low quality, bad_picturesJust resize
Sampling method：DPM++ 2M Karras
Sampling steps：35
Width：512
Height：512
CFG Scale：7
Denoising strength：0.7
Seed：-1
Enable,Pixel Perfect
Control Type：Tile
Preprocessor：tile_resample
Model：control_v11f1e_sd15_tile_fp16 [3b860298]
Control Weight：0.65
Starting Control Step：0.23
Ending Control Step：0.9
生成画像：
髪型や表情、顔の骨格まで同じ和風の似顔絵が生成されました。雰囲気に合わせて背景の装飾なども生成されています。
④アニメ風の似顔絵を生成する
次にアニメ風の似顔絵を生成していきます。
モデル：
flat2DAnimerge_v30.safetensors [5dd56bfa12]
プロンプト：
Digital art, masterpiese, European, illustlationネガティブプロンプト：
real, photo, worst quality, low quality, bad_picturesJust resize
Sampling method：DPM++ 2M Karras
Sampling steps：30
Width：512
Height：512
CFG Scale：7
Denoising strength：0.84
Seed：-1
Enable,Pixel Perfect
Control Type：Tile
Preprocessor：tile_resample
Model：control_v11f1e_sd15_tile_fp16 [3b860298]
Control Weight：0.65
Starting Control Step：0.23
Ending Control Step：0.9
Down Sampling Rate：6.47
生成画像：
写真をそのまま絵に落とし込んだようなかなり似ている画像が生成されました。フラットな色使いと強めなラインが印象的です。
まとめ
今回は似顔絵を制せする方法をご紹介しました。アニメや漫画風のモデルを使用するとよりデフォルメされた特徴のある画像になる印象でした。
似顔絵といってもジャンルは多岐に渡り、それぞれのモデルにも特徴があるのでぜひ好みの似顔絵を生成してみてください。
～Stable Diffusionで素早く画像生成するには～
Stable Diffusionの画像生成スピードや画像サイズは、グラフィックボード（GPU）の性能によって大きく変わります。
このため、より効率的かつ快適な画像生成を望むユーザーにとって、最適なグラフィックボードの選択が重要となります。
推論処理やLoRAなどの追加学習処理といった大量の計算を効率よく行うためには、12GB以上のVRAMを持つグラフィックボードを選ぶことを強くおすすめします。
2GBや4GBのVRAMを持つグラフィックボードでは、学習プロセスや高解像度の画像生成に支障が出る可能性が高いです。 コスパを重視する方は、RTX 3060を選ぶと良いでしょう。
このグラフィックボードを使えば、Stable Diffusionの画像生成機能を最大限に活用することが可能となります。
