Stable Diffusion Diffusionのおすすめモデル

画像生成に最も影響するのは、どのモデルを使っているかです。
モデルごとに得意な絵、生成しがちな絵が存在するため、目的にあったモデル選びは重要です。

モデル、チェックポイント
おすすめモデルサイト
1. Hugging Face
2. CivitAI

モデル、チェックポイント

Stable Diffusionに画像、単語などを学習させ、単語→画像や画像→画像をできるようにしたものをモデルと呼びます。
プログラミングをかじったことのある方向けに言いますと、こんなイメージです。

Stable Diffusion = クラス
モデル = オブジェクト

チェックポイントもモデルと同じ意味で使われています。
学習は繰り返し行うのですが、ある程度の精度が出たらそのときのモデルを採用するのでチェックポイントと言っています。

モデル拡張子

拡張子は以下の2種類が存在します。

ckpt
safetensors

どちらもダウンロード可能な場合、safetensorsを選ぶと良いです。
セキュリティの脆弱性に対応したのがsafetensorsです。
Stable Diffusionを扱うUIでckptしか対応していない場合にckptをダウンロードすると良いです。

モデル種類

モデルは数GBのものが大半です。
そんななか、軽量化したモデルを用意していることもあります。（たいてい、prunedが名称につく）
体感ですが、prunedバージョンでもフルバージョンとあまり変わらないことが多いです。
画像生成を比較してみて好みのモデルを使うと良いと思います。

公式モデル

以下では、Stable Diffusionの公式モデルを紹介します。
Hugging Faceの「Files and versions」をクリックするとモデルファイルが表示されますので、
モデルファイルをクリックし「Download」で取得してください。

v1.4

CompVis/stable-diffusion-v1-4
現存する最古？のモデルです。
サイズ：7.7GB（軽量版：4.27GB）

v1.5

runwayml/stable-diffusion-v1-5
使い勝手の良い、よく使われているモデルです。
サイズ：7.7GB（軽量版：4.27GB）

v2

stabilityai/stable-diffusion-2
Stable Diffusionは、大きく1系と2系の2つに分けられます。
1番の違いは2系はより高画質ということです。
この2系モデルはモデルとは他に設定ファイルのjsonを用意する必要があります。
サイズ：5.21GB

v2.1

stabilityai/stable-diffusion-2-1
最新のモデルです。（2023/4/11 現在）
サイズ：5.21GB

実写系（3D）

ChilloutMix

https://civitai.com/models/6424/chilloutmix
めちゃくちゃダウンロードされているモデルです。
アジア人の生成が強いです。もちろん日本人っぽい人も生成できます。
いろんなバージョン、派生系が存在するため、ご自身でいろいろ試すと良いです。

2次元絵

Anything

https://huggingface.co/andite/anything-v4.0/tree/main
これまた2次元といえばのモデルです。
このリンクはバージョン4ですが、Anythingにもいろいろバージョンがあります。
また、AI絵は実写より2次元の方がまだまだ人気があるため、いろんなモデルを探すと良いです。

おすすめモデルサイト

Hugging Face

Hugging Face – The AI community building the future.

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

公式です。
前述したStable Diffusion v1系とv2系はここからダウンロードします。

pythonライブラリのdiffusersを開発しているところでもありますので、
diffusersを使うときにモデルに”stabilityai/stable-diffusion-2″のように指定すると、
ここからダウンロードして処理します。