Stable Diffusion Web UIで使用するモデルは現在たくさん存在します。モデルを変えることで出力されるイラストも大きく変わってきます。
どれもハイクォリティで特徴も様々。ここでは各モデルの特徴とファイル取得先を紹介していきます。
■モデル取得先(公開プラットフォーム)
基本的に書き二つのプラットフォームからモデルファイルをダウンロードします。
- Hugging Face https://huggingface.co/
- Civitai https://civitai.com/
Hugging Faceは、ライブラリやDiffusersライブラリなどで扱われるモデルやデータの共有が可能なプラットフォームを提供しています。同社は、ファイル単位でのライブラリからのダウンロードができます。
Civitaiは、Stable Diffusion用のモデルファイルの共有サイトであり、それ以外のアセットを含む様々なファイルをダウンロードすることができます。ユーザー登録は基本的に不要で無料です。多数の閲覧注意なモデルファイルが含まれているため、ダウンロードの前にフィルタ機能を使用することをお勧めします。
■モデルファイルの種類と違い
Stable Diffusion Web UIで使用するモデルファイルには、大きく2種類の形式があります。ckptファイルとsafetensorsファイルがその例です。これらは、どちらも「Stable Diffusion」に読み込んで新しいモデルを追加することができます。どちらを使用するのが最適なのかについては、原則として、safetensorsを使用することをお勧めします。
リアル・実写系用のモデル
ChilloutMix

ChilloutMixは、高品質のアジア人イラストを実写タッチで描くことが得意な、画像生成AIのモデルです。当モデルは現在、ビジュアル表現において主流のモデルとしての地位を築いております。
モデル配布先 https://civitai.com/models/6424/chilloutmix
DreamShaper

DreamShaperは、肖像画の生成を目的として開発されたモデルです。緻密な描画技法によって風景画やアニメーションのキャラクターも描き出すことが可能となりました。
モデル配布先 https://civitai.com/models/4384/dreamshaper
RealDosMix

RealDosMixは、リアル系美少女を生み出すことに特化したモデルです。Civtaiで高い評価を受けている「DosMix」の2.5Dモデルとリアル系を融合させた画期的なマージモデルです。
モデル配布先 https://civitai.com/models/6925/realdosmix
LOFI(V2)

LOFI V2は、Stable Diffusionのモデルの1つで、Limitless Originality Free from Interference の略です。このモデルは、特別な顔の整列が不要で、より細かいラインの描画やプロンプトの解釈精度が向上しています。
モデル配布先 https://civitai.com/models/9052/lofi
basil_mix

basil_mixは、Stable Diffusionのモデルの1つで、リアルなテクスチャとアジア人特有の顔立ちを備えたモデルです。danbooruベースのプロンプトにも素早く対応可能で、高品質な描画品質が特徴です。
モデル配布先 https://huggingface.co/nuigurumi/basil_mix/tree/main
Realism Engine 1.0

Realism Engine 1.0は、Stable Diffusionモデルの1つで、抽象的または非常にスタイリッシュな画像を生成することには向いていませんが、視覚的に魅力的で入力テキストの説明を正確に反映する画像を生成することに優れたAIです。現実に忠実な画像を生成することに特化しています。
モデル配布先 https://civitai.com/models/17277/realism-engine
loulou-cat-diffusion

loulou-cat-diffusionは、Stable Diffusionモデルの1つで、「Lou Lou」という猫をモデルにしたAIです。このモデルは、DreamBoothでStable Diffusionに教えられた猫を微調整することにより開発されました。生成される画像は、楼楼のアニメ調の美少女の画像を得意としています。
モデル配布先 https://huggingface.co/tilake/loulou-cat-diffusion
アニメ調モデル
上記のAIに加え、現代アニメーションに合わせた美少女の画像を生成することができるAIが4つあります。これらのAIは、現代的なアニメの要素である大きな目、華奢で可愛らしい体型、そして豊かな髪を反映した画像を高精度で生成します。
Waifu Diffusion

Waifu Diffusionは、Stable Diffusionモデルの1つで、アニメの美少女に特化した画像処理モデルです。
モデル配布先 https://civitai.com/models/44/waifu-diffusion
AbyssOrangeMix2(v2)

OrangeMixsというマージモデルがパックされたリポジトリ内のモデルです。
下記3ファイルがあり、用途に応じて設置するファイルを選びます。
- ~_sfw : SFW(健全)
- ~_nsfw : SFW ソフトなNSFW
- ~_hard : SFW ハード なNSFW
モデル配布先 https://civitai.com/models/4437/abyssorangemix2-sfwsoft-nsfw
PastelMix

Pastel Mixは、高品質・高精度なアニメーション画像生成モデルです。このモデルでは、わずかなプロンプトで高品質・高精度なアニメーション画像を生成することができます。Pastel Mixは、dpepmkmp、Tea、basil-mixといったモデルをマージして作成され、Magic LORA、Jordan_3、sttabi_v1.4-04、xlimo768、dpep 2 768などのLoRAが適用されています。
モデル配布先 https://civitai.com/models/5414/pastel-mix-stylized-anime-model
anything v5

Anything v5は、アニメーション画像生成モデルです。このモデルでは、わずかなプロンプトで美麗なアニメ画像を生成することができます。アニメ風キャラだけでなく美少女ゲーム系のイラスト生成にも利用されています。
モデル配布先 https://civitai.com/models/9409/or-anything-v5
Openjourney

OpenJourneyは、Midjourneyと同様の機能を提供するためにオープンソースで開発されたプロジェクトです。Stable Diffusion v1.5のオープンソース版を調整し、Midjourneyに似た動作を行うAI画像生成機能を実現しています。Hugging FaceのオンラインAIプラットフォームにリポジトリが公開されています。
モデル配布先 https://civitai.com/models/86/openjourney
stable diffusion web ui lora

Low-Rank Adaptationという手法を用いた、既存のモデルに新たな被写体を学習させる「追加学習」が可能なLoRAが、Stable Diffusion web UIにて使用可能になりました。特定のキャラクターに関するモデルなど、既存のモデルに新しいLoRAモデルを追加することで、特徴を組み合わせることができます。
LoRAモデルの最大の特徴はあくまで独立したモデルファイルである点です。
メインとなるCheckPointのモデルに好きなLoRAモデルを掛け合わせることでLoRAの特徴をCheckPointのモデルに反映させることができます。そのため従来はCheckPointのモデル自体を作り直したりマージさせたりの工夫が必要でしたが、LoRAであれば、LoRAのモデルファイル(例えばゲームのキャラクター)を差し替えることで、出力されるイラストに反映させることができます。
LoRAモデルは主にCivitaiにて多数公開されています。作りたいイラストのイメージに近いモデルを探しましょう。
■stable diffusion web ui モデル 追加、インストール方法
AUTOMATIC1111版Stable Diffusion web UIに、新しいモデルデータを追加する場合、モデルデータのインストール方法は、提供プラットフォームであるHugging Face及びCivitaiのダウンロードリンク先からデータをダウンロードし、格納先フォルダに保存します。その後AUTOMATIC1111版WebUIの操作画面左上のStable Diffusion checkpoint欄を使用して、モデルを切り替えて使用することが可能です。
追加学習モデルのRoLAを利用することもできます。RoLAの場合、指定されたフォルダに設置後、プロンプト内でRoLAファイル名を指定する必要があります。例:「<lora:animegirl:1>」
stable diffusion web ui モデル 作成
Stable Diffusion web UIには、モデルをマージして新しいモデルを作成する機能が搭載されており、誰でもオリジナルのモデルを簡単かつ迅速に作成することができます。「Checkpointのマージ」タブ内でパラメータを指定し二つのCheckpointモデルをマージし新しいモデルを作成することができます。
stable diffusion web ui 呪文
「Stable Diffusion web UI」は、プロンプト(コマンド)でどのようなイラストを出力するか指定することができます。このプロンプトは呪文と呼ばれています。 これは「Stable Diffusion web UI (AUTOMATIC1111)」の標準機能です。プロンプトとネガティブプロンプトの2種類の入力が可能です、。
プロンプトでは対象物は人物の特徴についてなるべく細かく指定します。
例えばプロンプトに
「super fine illustration, an extremely cute and beautiful girl, highly detailed beautiful face and eyes, look at viewer, cowboy shot, beautiful hair, solo, dynamic angle, beautiful detailed long crystal dress with many frill, beautiful background, there are many luminous crystals in background ,full body shot」
などを羅列して入力することができます。
ネガティブプロンプトにはイラストに反映して欲しくない内容を羅列します。
「flat color, flat shading, retro style, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, cropped, signature」
などを入力することができます。ネガティブプロンプトもボリュームを増やせば増やすほど理想のイラストに近づけるといえます。
コメント