AUTOMATIC1111版web UIで、ControlNetを導入する手順、使い方について解説します。
Google Colabで利用している方向けのコマンド例も記載していますので、併せて参考にしてください。
ControlNetとは
ControlNetとは、画像生成AIにプロンプトを入力する際に、ポーズや深度情報、輪郭などの情報を追加で与えることで、生成画像の品質を向上させられるニューラルネットワークです。ControlNetはStable Diffusionの拡張機能として利用できます。
ControlNetを使うと、自分の思うポーズや構図を簡単に作ることができます。例えば、「女性が空中でバレエをしている」というプロンプトに対して、ControlNetではポーズや輪郭を指定することができます。
ControlNetの導入方法
拡張機能(Extension)のインストール
[拡張機能(Extensions)] タブを選択し、[URLからインストール(Install from URL)]を選択します。
その後、[拡張機能のリポジトリのURL(URL for extension’s git repository)]部分に以下のURLを入力し、[インストール(Install)]ボタンを押します。
https://github.com/Mikubill/sd-webui-controlnet.gitインストールが完了したら、[インストール済(Installed)]タブをクリックし、インストールされていることを確認し、webuiを再起動します。
以上でインストールは完了です。
ControlNetのモデルをダウンロード
インストールが終わったら、以下から必要に応じたモデルをダウンロードします。
その後、ダウンロードしたモデルを以下に配置してください。
stable-diffusion-webui/extensions/sd-webui-controlnet/modelsまた、Google Colabを利用している方は、手作業は大変なので、wgetコマンドでダウンロードする方法がおすすめです。以下はcannyのモデルをダウンロードするコマンド例です。貼り付けて実行してください。URLやファイル名等は適宜変更してください。
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_canny-fp16.safetensorsWindows環境でも、PowerShellを使えばwgetコマンドを使えるので、理解できる方はコマンドを打つ方が楽かもしれません。
また、モデルは8種類あります。大まかな説明は以下です。
- canny：単純な輪郭検出
- M-LSD：単純な直線的な輪郭抽出
- HED：再カラーリングやスタイル変更に適する
- Scribbles：らくがきを元に生成
- normal：法線マップを使用する
- openpose：ポーズ検出を用いて生成
- Semantic Segmentation(seg)：セマンティックセグメンテーションから生成する
- Depth：深度マップから生成する
各モデルの詳細はgithubから確認出来ます。
これでControlNetの導入は完了です。
コメント