Stable Diffusionで思い通りの背景を生成する方法！便利なLoRAや背景生成に強いモデルも解説

目次

複雑な背景を生成するためのポイントを3つに分けて解説

複雑な背景は、単純にプロンプトを挿入するだけでは再現が難しいと言えます。また、モデルによっては表現できるものとできないものがあります。

背景の描写は、「リアル調モデル」と「アニメ調モデル」などの違いによっても大きく異なります。アニメ調の方が自由度は高い場合が多いです。

さまざまなモデルが登場しており、風景描写の美しさを売りにしているものもあれば、SF感あふれる世界観の描写を売りにしているものもあります。背景の描写に長けたモデルに切り替えてみることも効果的です。

ここではまず、Stable Diffusionで複雑な背景を生成するためのポイントを3つに分けて解説します。

①LoRAを使用する

背景の描画に関するLoRAを使用することで、表現の幅を大幅に広げることができます。

LoRAを使用してプロンプトの調整をする手間を省き、簡単に目的の場所を表現することができます。

また、他の場所（単純なプロンプトでは再現が難しい場所）については、上手にプロンプトを組み合わせることで、目的の場所を再現することができるかもしれません。

関連記事
Stable DiffusionのLoRAとは？ダウンロード方法と導入方法を解説

「Stable DiffusionのLoRAって何？」「Stable DiffusionのLoRAをダウンロードして導入するにはどうしたらいい？」 このような疑問をお持ちの方は多いのではないでしょうか？ Stable Diff[…]

②ControlNetを活用する

「ControlNet」という拡張機能を追加することで、登場人物のポーズを自在に指定できます。例えば、人物をキャンバスの右端に配置して風景を際立たせることができます。

特別な構図やポーズを使用する場合には、「ControlNet」を利用して人物のポーズを固定し、その上で背景を指定すると良いでしょう。

③背景のサイズに関するプロンプトを入力する

背景を重視する場合のポイントは、解像度を横長の768×512に設定し、「wide shot」や「full body」などのプロンプトを使用することです。

これにより、広角の画像が簡単に生成されやすくなります（ただし、「wide shot」の効果は限定的かもしれません）。適切に指定しないと、人物の描写が主要な要素となり、背景の魅力が損なわれる可能性があります。

Stable Diffusionで思い通りの背景を生成するためのプロンプト

Stable Diffusionで背景を指定するプロンプトには、次のような種類があります。

  • 背景のテーマ
  • 部屋（教室や子供部屋など）
  • 自然系の背景（海や森など）
  • 施設（病院、学校、ビルなど）
  • アミューズメント系の背景（遊園地や動物園など）

「room」や「street」などの主要な場所は、プロンプト（呪文）を指定するだけで、主要な場所の描写は容易に行えます。

背景に関連するプロンプトを包括的に取り上げています。ただし、詳しく見ると明らかにおかしい部分や、人物の描写に工夫が必要な箇所もあります。そのような場合は、皆さんがプロンプトを工夫してみてください。

綺麗に画像を生成するためには、best quality・masterpieceなどの品質系プロンプトを用いる事をお勧めします。

「動作」「服装」「小物（人工物）」などのプロンプトを適切に組み合わせることで、イメージに近い風景や光景を実現することが出来るでしょう。

①背景のテーマを指定するプロンプト

プロンプト生成される画像
simple backgroundシンプルな背景
plain backgroundシンプルな背景
basic backgroundシンプルな背景
in Tokyo東京風の背景
in Kyoto京都風の背景
in New York Cityニューヨーク風の背景
in New York in front of the statue of Libertyニューヨーク、自由の女神前の風景
in front of the Sphinx, Egyptエジプト、スフィンクス前の風景
outside屋外
inside屋内
in the car車内
on the train電車内
village村
town町
road道
street通り
residential street住宅街
shopping street商店街
downtown町の中心地
cityscape都市
photo background写真風
multicolored backgroundカラフル
sepia backgroundセピア色
white background白
gradient backgroundグラデーション
blurry background背景をぼかす
alleyway路地
night view夜景
city都市
plaza広場
skyline街の景観
in the train電車
Underpass高架下

②部屋を背景とするプロンプト

プロンプト生成される画像
room部屋
diningダイニング
kitchenキッチン
livingリビング
bedroom寝室
closetクローゼット
toiletトイレ
bathお風呂場
shower roomシャワールーム
class room教室

③自然を背景とするプロンプト

プロンプト生成される画像
in the middle of forest森林
at the beachビーチ
landscape自然
starry background星空
rainbow background虹
floral background花
Beach浜辺
Bridge橋
cave洞窟
garden庭
desert砂漠
forest森
harbor港
island島
lake湖
meadow牧草地
snowy雪景色
sunride日出
sunset日の入り
underwater水中
waterfall滝

④施設を背景とするプロンプト

プロンプト生成される画像
in the school学校
gymジム
officeオフィス・会社の職場
factory工場
park公園
market市場
car park駐車場
shrine神社
templeお寺
church教会
university大学
lab実験室
police station警察署
prison監獄
fire station消防署
hospital病院
Orchard果樹園
School学校
skyscraper高層ビル
Castle城
stadiumスタジアム
train station駅
vineyardワイン畑

⑤アミューズメントを背景とするプロンプト

プロンプト生成される画像
christmas marketクリスマスマーケット
amusement park遊園地
zoo動物園
aquariun水族館
movie theater映画館
library図書館
museum博物館
art museum美術館
theater劇場
concert hallコンサートホール
opera houseオペラハウス
baseball stadium野球場
campsiteキャンプ場
onsen温泉
poolプール
musement park遊園地
bowling alleyボーリング場
movie theatre映画館
ice skating rinkスケートリンク
Carnivalカーニバル

⑥お店を背景とするプロンプト

プロンプト生成される画像
department storeデパート
mallショッピングモール
shopお店
convenience storeコンビニ
restaurantレストラン
coffee shop喫茶店
tea shop喫茶店
barバー
hotelホテル
Cafeカフェ
night market夜市

プロンプト使用例

ここでは、上で紹介したプロンプトを用いて、背景の画像を生成してみます。

使用するモデルは「basilmix」です。詳細設定は以下の通りです。

Sampling method：Euler a
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：-1
Script：None

公園にいる女性の画像

プロンプト：

masterpiece, 1 girl, (at the park)

ネガティブプロンプト：

bad quality,worst quality

しっかりと公園にいる女性の画像が生成されました。

住宅街にいる男の子の画像

プロンプト：

masterpiece, high quality, 1 boy, residential street

ネガティブプロンプト

bad quality,worst quality

問題なく画像を生成することが出来ました。

リアル系の背景が得意なモデル5つを紹介

ここでは、きれいに背景の画像を生成するためにおすすめのリアル系モデルを5個紹介します。

以下にダウンロードリンクも記載するので気になったモデルがあれば使用してみてください。

BRA

https://civitai.com/models/25494/brabeautiful-realistic-asians-v2

ChilloutMix

https://civitai.com/models/6424?modelVersionId=11745

kisaragi_mix

https://civitai.com/models/45757?modelVersionId=97186

basil_mix

https://huggingface.co/nuigurumi/basil_mix

majicMIX realistic

https://civitai.com/models/43331/majicmix-realistic

それぞれのモデルについて画像で比較

上で紹介したモデルに、背景の画像を生成させて比較します。

詳細設定は以下の通りです。

Sampling method：Euler a
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：3999503105
Script：None

プロンプト：

beautiful, masterpiece,landscape,woods, green weeds

ネガティブプロンプト：

low quality, worst quality

上記の設定で画像を生成すると、以下のようになりました。

Basilmixはほかのモデルで生成した背景よりも、淡い色合いの画像が生成されました。また、chilloutmixとkisaragimixは学習元が同じなのか、似たような背景が生成されました。

アニメ調の背景が得意なモデルを4つ紹介

上ではリアル調の背景を得意とするモデルを紹介しましたが、ここではアニメ調の背景を生成するのが得意なモデルを4つ紹介します。

7th anime v3

https://huggingface.co/syaimu/7th_Layer

abyssorangemix2SFW

https://civitai.com/models/4437/abyssorangemix2-sfwsoft-nsfw

breakdomain-anime

https://huggingface.co/nyxia/breakdomain-anime

counterfeit V2.5

https://huggingface.co/gsdf/Counterfeit-V2.5

それぞれのモデルについて画像で比較

上で紹介したモデルに、背景の画像を生成させて比較します。

詳細設定は以下の通りです。

Sampling method：Euler a
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：3999503105
Script：None

プロンプト：

beautiful, masterpiece,landscape,woods, green weeds

ネガティブプロンプト：

low quality, worst quality

Breakdomainのみ、淡い色合いの画像が生成されました。

また、プロンプトで指定していないにもかかわらず、小屋が生成されるモデルも存在しました。

美しい背景を生成するためのLoRA

ここでは、美しい背景を生成するためのLoRAをいくつかご紹介します。通常のプロンプト入力のみでの画像生成に限界を感じたら、是非使用してみてください。

Cosmic Landscapes

https://civitai.com/models/25837/cosmic-landscapes

幻想的な風景の生成に特化したLoRAです。

Sakimori

https://civitai.com/models/13549/sakimori-or-landscape-style-lora-669

色鮮やかな景色を生成するのに適したLoRAです。

Underwater photo

https://civitai.com/models/35940/underwater-photo-lora-tropical-edition

水中で撮影したような景色を生成することが出来るLoRAです。

まとめ

Stable Diffusionで思い通りの背景を生成するためには、プロンプトを的確に入力することが求められますが、一方で、プロンプトのみでの画像生成には限界がある場合もあります。

プロンプトのみでの画像生成に限界を感じたら、LoRAの使用を検討しましょう。より思い通りの画像を生成できるようになると思います。