広告

当サイトは広告が表示されます。
2023/09/16

Stable Diffusion コマンドライン引数 (txt2img.py)

ブログの引っ越し

当ブログはtakemi.blogに移行しました。
より見やすいコマンドライン引数(txt2img.py)の調査をご利用ください。

作成日時

2023/01/15

概要

Stable Diffusion(txt2img.py)で利用できるコマンドライン引数を調査しました。

調査と言っても不明な部分が多いので自分用のメモが主目的です。

インストール方法は前回記事を参照してください。

Ubuntuログイン時

筆者の環境の場合は以下を実行します。殆どメモです。

conda activate ldm
cd ~/stablediffusion/

-h, --help (show this help message and exit)

普通のヘルプ表示ですね。これで利用できるコマンドの一覧が見れます。

python scripts/txt2img.py -h

実行するとこんな感じ

usage: txt2img.py [-h] [--prompt [PROMPT]] [--outdir [OUTDIR]] [--steps STEPS] [--plms] [--dpm] [--fixed_code]
                  [--ddim_eta DDIM_ETA] [--n_iter N_ITER] [--H H] [--W W] [--C C] [--f F] [--n_samples N_SAMPLES]
                  [--n_rows N_ROWS] [--scale SCALE] [--from-file FROM_FILE] [--config CONFIG] [--ckpt CKPT]
                  [--seed SEED] [--precision {full,autocast}] [--repeat REPEAT]
 
optional arguments:
  -h, --help            show this help message and exit
  --prompt [PROMPT]     the prompt to render
  --outdir [OUTDIR]     dir to write results to
  --steps STEPS         number of ddim sampling steps
  --plms                use plms sampling
  --dpm                 use DPM (2) sampler
  --fixed_code          if enabled, uses the same starting code across all samples
  --ddim_eta DDIM_ETA   ddim eta (eta=0.0 corresponds to deterministic sampling
  --n_iter N_ITER       sample this often
  --H H                 image height, in pixel space
  --W W                 image width, in pixel space
  --C C                 latent channels
  --f F                 downsampling factor, most often 8 or 16
  --n_samples N_SAMPLES
                        how many samples to produce for each given prompt. A.k.a batch size
  --n_rows N_ROWS       rows in the grid (default: n_samples)
  --scale SCALE         unconditional guidance scale: eps = eps(x, empty) + scale * (eps(x, cond) - eps(x, empty))
  --from-file FROM_FILE
                        if specified, load prompts from this file, separated by newlines
  --config CONFIG       path to config which constructs model
  --ckpt CKPT           path to checkpoint of model
  --seed SEED           the seed (for reproducible sampling)
  --precision {full,autocast}
                        evaluate at this precision
  --repeat REPEAT       repeat each prompt in file this often

--prompt ([PROMPT] the prompt to render)

生成したい画像を英語の文章で入力する。1番大切な部分で奥が深い。

以下は公式のサンプルとなっており、とりあえず今回もこれを弄って色々試すことにする。

[例]

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768

生成画像

--steps ([STEPS] number of ddim sampling steps)

画像生成時のサンプリング回数を指定する。Defaultは50で、大きな値ほど処理時間が増えるが精密になる。

[例]

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --steps 10

生成画像

--plms (use plms sampling)

PLMSでサンプリングする場合に指定する。正直、意味不明な画像になって困惑してる。

きっと、「どういう技法で最終的な画像を生成するのか」みたいな感じだと思う。

なお、何も指定しない場合のDefaultはDDIMと思われる。(画面にDDIMって表示されるので

[例]

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --plms

生成画像

--dpm (use DPM (2) sampler)

DPMでサンプリングする場合に指定する。あまりDDIMとの違いが分からない。

[例]

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --dpm

生成画像

--fixed_code (if enabled, uses the same starting code across all samples)

全く分からん。日本語訳すると、「有効にすると、すべてのサンプルで同じ開始コードを使用します」となり、実行結果も同じ種類の画像が3つ出現している。 そう考えると画像生成にランダム的な要素を利用せず、同じサンプリングから最終結果を得るのだろうか...

[例]

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --fixed_code

生成画像

--ddim_eta ([DDIM_ETA] ddim eta (eta=0.0 corresponds to deterministic sampling)

先ほどと同じで何を言っているのか分から...。

たぶん、DDIMでetaってパラメータが使われるので、その値を指定できるやつ。

[例]

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --ddim_eta 1.0

生成画像

--outdir ([OUTDIR] dir to write results to)

出力ディレクトリ

--n_iter ([N_ITER] sample this often)

完成した画像で言うと縦方向の数を指定する。

コマンドプロンプトを見る限り、以下のループ部分の数と思われる。

Running DDIM Sampling with 50 timesteps
DDIM Sampler: 100%|█████████████████████████████████████████████████████████████████████| 50/50 [00:25<00:00,  2.00it/s]
data: 100%|███████████████████████████████████████████████████████████████████████████████| 1/1 [00:26<00:00, 26.80s/it]
Sampling: 100%|███████████████████████████████████████████████████████████████████████████| 3/3 [01:25<00:00, 28.40s/it]

[例]

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --n_iter 4

生成画像

--H H (image height, in pixel space)

生成する画像の高さ。256以上で64の倍数のみ設定できます。

大きくすると必要メモリと処理時間が増加するので、現実的には768くらいが限界です。

256,320,384,448,512,576,640,704,768,832,896,960,1024,1088,1152,1216,1280

なお、同じpromptを指定しても違う画像が出力されるので、一概に同じ結果でサイズを変えるものではないと思われる。

--W W (image width, in pixel space)

生成する画像の横幅。高さと同じく64の倍数のみ。

--C C (latent channels)

不明。何らかのチャンネル数を指定できると思ったけど、1, 8, 256, 512, 1024あたりを入力したけど全部Errorだった。

--f F (downsampling factor, most often 8 or 16)

ダウンサンプリングの指定らしい。これも違いが分からない。

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --f 8

生成画像

--n_samples ([N_SAMPLES] how many samples to produce for each given prompt. A.k.a batch size)

完成した画像で言うと横方向の数を指定する。つまり、実際に生成される数は前述した--n_iterと--n_samplesを掛けた枚数になる。

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --n_samples 5

生成画像

--n_rows ([N_ROWS] rows in the grid (default: n_samples))

意味的には行数なんだけど、前述した--n_samplesと被るので詳細は不明。

Defaultが =n_samplesって書いてるあるし、変更しなくても良いのでは無いか。

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --n_rows 2

生成画像

--scale ([SCALE] unconditional guidance scale: eps = eps(x, empty) + scale * (eps(x, cond) - eps(x, empty)))

不明。書かれている内容的には何らかの計算式で利用する値ですかね。 生成される画像は結構変化しているので、かなり意味がありそうです。

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --scale 2

生成画像

--from-file ([FROM_FILE] (if specified, load prompts from this file, separated by newlines))

File経由でpromptsを利用する場合に使うのだと思うけど、使ったこと無い。

と言うか、これ必要なのか。bat経由だとしても、そういうpromptsのbat書けば良いのでは。

--config ([CONFIG] path to config which constructs model)

モデルを構築する設定ファイルへのパス。

中身の設定の意味は分からないけど、公式記載のコマンドで使われているファイルは以下が書いてある。

model:
  base_learning_rate: 1.0e-4
  target: ldm.models.diffusion.ddpm.LatentDiffusion
  params:
    parameterization: "v"
    linear_start: 0.00085
    linear_end: 0.0120
    num_timesteps_cond: 1
    log_every_t: 200
    timesteps: 1000
    first_stage_key: "jpg"
    cond_stage_key: "txt"
    image_size: 64
    channels: 4
    cond_stage_trainable: false
    conditioning_key: crossattn
    monitor: val/loss_simple_ema
    scale_factor: 0.18215
    use_ema: False # we set this to false because this is an inference only config
 
    unet_config:
      target: ldm.modules.diffusionmodules.openaimodel.UNetModel
      params:
        use_checkpoint: True
        use_fp16: True
        image_size: 32 # unused
        in_channels: 4
        out_channels: 4
        model_channels: 320
        attention_resolutions: [ 4, 2, 1 ]
        num_res_blocks: 2
        channel_mult: [ 1, 2, 4, 4 ]
        num_head_channels: 64 # need to fix for flash-attn
        use_spatial_transformer: True
        use_linear_in_transformer: True
        transformer_depth: 1
        context_dim: 1024
        legacy: False
 
    first_stage_config:
      target: ldm.models.autoencoder.AutoencoderKL
      params:
        embed_dim: 4
        monitor: val/rec_loss
        ddconfig:
          #attn_type: "vanilla-xformers"
          double_z: true
          z_channels: 4
          resolution: 256
          in_channels: 3
          out_ch: 3
          ch: 128
          ch_mult:
          - 1
          - 2
          - 4
          - 4
          num_res_blocks: 2
          attn_resolutions: []
          dropout: 0.0
        lossconfig:
          target: torch.nn.Identity
 
    cond_stage_config:
      target: ldm.modules.encoders.modules.FrozenOpenCLIPEmbedder
      params:
        freeze: True
        layer: "penultimate"

--ckpt (CKPT] path to checkpoint of model)

利用するモデルのパス。--promptの次くらいに大切だと思う。

--seed (SEED] the seed (for reproducible sampling))

同じ画像を生成する場合に指定する。与えるpromptとseedが同じ値の場合は同じ画像が生成されるよう。

-1を指定すると警告は出るけどランダム値として利用できるようです。

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --seed 1000

生成画像

--precision ({full,autocast} evaluate at this precision)

不明。値は--precision fullまたは--precision autocastの指定が可能でfullは筆者環境だとErrorになった。

python scripts/txt2img.py --prompt "a professional photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1/v2-1_768-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference-v.yaml --H 768 --W 768 --precision autocast

生成画像

--repeat ([REPEAT] repeat each prompt in file this often)

不明。promptをファイル指定する場合の繰り返し設定だと思う。

生成画像

おわりに

殆ど分かってないので、情報が増えるたびに追記していきたいです。

とりあえず、promptが1番大事だと思うので、英文をしっかりと指定したいところ。

Next Post Previous Post