Stable Diffusionを使う際に「彩度が低い」「ぼんやりしている」と感じることはないでしょうか。そんな時におすすめなのでVAEです。
今回PROMPTYはVAEの使い方と、実際に使ってみた例をご紹介していきます。
VAEの使い方
VAEとは？
VAEは”Variational Auto Encorder”の略称で、画像を出力する際にVAEが持つ特定のアシストを行ってくれます。
独力で彩度などを変更する場合、高度な知識や複雑な工程を踏む必要があるため、VAEを使用することをおすすめします。
VAEのダウンロード方法
VAEをダウンロードする時は、「Hugging Face」か「Civit AI」にアクセスし、モデルを検索しましょう。
今回は「orangemix.vae.pt」を使用するため、例にとって紹介します。
方法①：Hugging FaceからVAEをダウンロード
Hugging FaceでVAEを検索できたらファイルの一覧が表示されるので、画像の赤枠部分をクリックしてください。
VAEsをクリックできたら、VAEファイルが表示されるため、赤枠部分のファイルをダウンロードしてください。
方法②：Google colabでVAEダウンロード
Google colabで使用する場合は下記コードを入力し、セルを実行してください
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt -O /content/stable-diffusion-webui/models/VAE/orangemix.vae.ptダウンロード完了後は、Stable DiffusionのWeb UI画面を開き、Settingをクリックします。
その後、左の英語が並んでいるところから”Stable Diffusion”を選択し、赤枠部分をクリックするとVAEを選択できるようになります。
実際にVAEを使用して彩度を変更してみる
今回は「Counterfeit-V2.5」をモデルに使用します。
VAEとして「Counterfeit-V2.5.vae.pt」、「orangemix.vae.pt」、「vae-ft-mse-840000-ema-pruned.ckpt」の3種類を用いて画像を生成し、彩度を比較していきます。
①金髪の女の子
プロンプト：
masterpiece,high quality,blonde long hair,green eyes,starry skyネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers), nsfwSampling method：Euler a
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：35
Script：None
今回は同じキャラクターで比較したいため、シード値を固定しています。普通に使用する場合はシード値を”-1″にしてください
比較画像：
上記の画像の通り、VAEによって彩度が変化することが分かります。
「Counterfeit-V2.5.vae.pt」に比べて「orangemix.vae.pt」は少し明るさが増しました。
「vae-ft-mse-840000-ema-pruned.ckpt」ではさらにその濃淡がはっきりしています。
②青髪の女の子
プロンプトテンプレート：
masterpiece,high quality,blue medium hair,red eyes,night,moonネガティブプロンプト：
(worst quality, low quality:1.4), (zombie, sketch, interlocked fingers), nsfw比較画像：
VAEを使用すると背景が映えるようになります。
今回の場合、右の画像に行くにつれて、背景の月の光が増しているように見えます。
今回紹介したVAE以外にも様々なVAEがあるため、ぜひ試してみてください。
