ポーズから簡単に画像生成！Stable Diffusion + ControlNetの使い方

2023/02/16 2023/02/20

Pasted-56

ポーズの元になる画像を用意してStable Diffusionで絵を描いてもらう方法を紹介します。思いのほか簡単です。

Contents

Stable Diffusion Web UI(AUTOMATIC1111版)のインストール
sd-webui-controlnetの追加
opencv-python、prettytableのインストール
トレーニング済みControlnetモデルのインストール
Stable Diffusion Web UIでポーズを付ける方法
元になるポーズ画像の用意と設定
出力結果
ダイレクトに棒人間を出せる拡張「OpenPose Editor」も登場

Stable Diffusion Web UI(AUTOMATIC1111版)のインストール

最初にStable Diffusion Web UIを用意します。以下の記事で解説しています。

無駄を省いたStable Diffusion Web UIの導入方法。多機能なWindowsローカルGUI環境

https://ossan-gamer.net/post-82301

Windows上でローカルで動かせる画像AI「Stable Diffusion Web UI」の無駄のないインストール方法を紹介します。読者の想定レベルは「Windowsでソフトを使える人」くらいで、プログラミングなどがわからなくても大丈夫です。※5/12 説明順を少し変えました。Stable DIffusion Web UIとはブラウザ上からStable Diffusionをコントロールできるようにしたものです。スライダなどが追加され細かな設定が直感的にしやすくなっています。その中でもAUTOMATIC1111氏の製作したバージョンがインストールもシンプルかつ多機能なので紹介します。AU...

おっさんゲーマーどっとねっと

既に入れている人は次の項目へ進んでください。

sd-webui-controlnetの追加

Stable Diffusion Web UIを起動し、①Extensionsタブ > ②Install from URLを選択します。

③URL for extension's repositoryの項目に以下のURLを入力します。

https://github.com/Mikubill/sd-webui-controlnet

④Installボタンを押します。

Pasted-36

インストールが完了すると、Installボタンの下に「Installed into ~~sd-webui-controlnet. Use Installed tab to restart.」と表示されます。

Installedタブに移動し、Extension欄に「sd-webui-controlnet」が表示され、チェックが入っていることを確認します。

ここでいったん、Stable Diffusion Web UIは終了させます。

opencv-python、prettytableのインストール

次に、opencv-pythonとprettytableというPythonのライブラリをインストールします。インストールにはWindows Power Shell(ターミナル)を利用します。

ターミナルの開き方

Stable Diffusion Web UIのインストールフォルダ(stable-diffusion-webui)に行き、なにもないところで右クリックをして「ターミナルで開く」を押します。

Windows PowerShellが起動します。

以下を1つずつ、コピーしてWindows PowerShellに貼り付けてはEnterで実行していきます。貼り付けはCtrl+Vまたは右クリックでできます。

仮想環境のセット

初めに、stable-diffusion-webuiの仮想環境に対してインストールするようにパスを指定するバッチファイルを実行します。このバッチファイルはStable Diffusion Web UIに最初から含まれているものです。

venv\Scripts\Activate.bat

上記をコピーしてWindows PowerShellに貼り付けてEnterを押します。

Pasted-40 正しく実行された後はこのようになります。

opencv-pythonのインストール

pip install opencv-python

上記をコピーしてWindows PowerShellに貼り付けてEnterを押します。

Pasted-41

Successfully installedとして opencv-pythonが追加されていればOKです。

prettytableのインストール

pip install prettytable

上記をコピーしてWindows PowerShellに貼り付けてEnterを押します。

Pasted-42

Successfully installedとして prettytableが追加されていればOKです。

既にインストールされている場合

Pasted-44

opencv-pythonやprettytableのインストール時、既にインストールされている場合にもう一度インストールしようとすると「Requirement already satisfied～」と表示されます。この場合はインストール済と判断してOKです。

ここまで終わったらWindows PowerShellは閉じます。

トレーニング済みControlnetモデルのインストール

Controlnetではいくつかの姿勢の取り方があるようです。今回はHugging Faceからcontrol_sd15_openpose.pthファイル(約5.3GB)をダウンロードして使ってみます。

保存場所は「stable-diffusion-webui\extensions\sd-webui-controlnet\models」になります。

Pasted-46

ここまでで準備は完了です。

Stable Diffusion Web UIでポーズを付ける方法

Stable Diffusion Web UIをwebui.batあるいはwebui-user.batなどから起動します。

txt2imgタブの下部に「ControlNet」というスポイラーがあるので、クリックして開きます。

ControlNetの各項目を以下の画像を参考に設定します。

Pasted-48

Enable：チェック
Preprosessor：openpose
Model：control_sd15_openpose
Image：元になるポーズの画像を自分で用意して読み込ませる

元になるポーズ画像の用意と設定

元になるポーズ画像を用意します。ポーズを正しく認識させるには、人物だけがキレイに写っている画像が望ましいです。

例えば画像素材サイトであれば「photoAC」などでポーズ画像をDLして使ってみることができます。

ポーズの写真素材｜写真素材なら「写真AC」無料（フリー）ダウンロードOK (photo-ac.com)

オリジナルのポーズを作成する場合は自分で写真を撮るか、無料で利用できる「DesignDoll」などを使ってみると良いでしょう。

DesignDollで自分で好きにポージングをさせたら、メニュー部分などを選択してコントロールの矢印などが表示されないようにします。

そして、Win+Shift+Sで「四角形の領域切り取り」モードを使い、マネキン部分だけを囲ってクリップボードにコピーします。

Pasted-51

Stable Diffusion Web UIに戻り、Ctrl+Vを押してControlNetに貼り付けます。

後はなにか適当にプロンプトを練って出力(Generate)します。

出力結果

姿勢の再現度は完璧ではないですが、大まかなポーズや構図は合っています。これまでは苦労してポーズ指定を「呪文」でやっていたわけですが、それを省けるのはすごいですね。

また、生成した際にポーズをどのように認識したのかも棒人間によって出力されます。これで思ったように認識されていない場合は元の画像を変えたほうが良いでしょう。

ダイレクトに棒人間を出せる拡張「OpenPose Editor」も登場

OpenPose Editor for Automatic1111 webuiを公開しました！
webuiの拡張機能として動作するので、そのままControlnetの拡張機能に送ることができます！
ぜひ使ってみてください！https://t.co/dUHh7nmkfe pic.twitter.com/MBYxvJKYEw

— どこかのFくん (@fkunn1326) February 19, 2023