こんばんは、スタジオ真榊です。なぜか本日突如として7年間続いたシャドウバンが解けまして、ツイッター上でたくさん通知が来て楽しい一日を過ごせました笑 18禁アカウントなのにいいんですかねイーロンさん…
さて、本日は非常にエキサイティングなControlnetの拡張機能が登場しましたので、さっそく実験をしてみました。「sd-webui-depth-lib」は、多数の手の形をしたdepthマップをWebUI上で拡縮・回転・反転させて、手の形を強く傾向付けられる画期的機能です！
インストール方法
・SD webUIの「拡張機能」タブを開き、「URLからインストール」をクリック
・「拡張機能のリポジトリの URL」に「https://github.com/jexom/sd-webui-depth-lib.git」を入力し、「インストール」をクリック。上記画像の「Installed into～」が表示されたらインストール完了。
・「インストール済」タブからWebUI を再起動
・新たに「Depth Library」タブが追加される
使い方
さて、こちらが起動画面。画面左側に31個（記事執筆時）の手のdepthマップが用意されており、どれかを選んで「Add」すると画面右側のキャンバスに表示させることができます。キャンバスの大きさはwidth/heightバーで調整。「Add background image」で見本画像を背景として読み込むことができます。
では早速、こちらの崩壊したピースサインイラストをこの拡張機能で修正してみましょう！
「Add background image」でイラストを背景として読み込み、ピースサインを選んで「Add」します。depthマップは片手分しかありませんが、このようにオブジェクトを回転・拡縮するハンドルが出るので、角を引っ張ってきて対角線に持ってくると画面上で反転させることができます。
手の細さがちょっと見本と合わないのですが、だいたいの感じで合わせて、「Save png」で画像を保存。「send to controlnet」でtxt2txtの生成画面に飛ばすことができます。
こちらがtxt2txt生成画面のControlnet画面。既に抽出されている状態なので、「preprosessor」をnoneにします。これをEnableにした状態で、さきほどのイラストを生成したときと全く同じプロンプトやseed、各種設定で生成してみましょう。
！？
手は狙った通りきれいなピースサインにできましたが、その他の部分がもとのイラストから全くかけ離れてしまいました。これは、さきほどのDepthマップが画像生成の全ステップに影響したことで、プロンプト通りにイラストを描くよりもControlnet指示のほうが優先されてしまったために起こる現象。イラスト全体が白黒になってしまっただけでなく、depthマップが手首のところまでしかないため、AIが「手首の部分にラインを描けってことかな？」と誤認して、わざわざ袖を作ってしまっていることもわかります。
前回の記事「超革命！Multi Controlnetでできるようになったこと」でも「Guidance Start/Endで何ができる？」という項目で解説したように、「Enable」にしたControlnetの影響が画像生成のどのステップから及ぶかは「Guidance Start/End」のバーで設定することができます。また、Controlnetの効きそのものも「Weight」によって強弱がつけられるのでした。でも、それぞれどれくらいの設定にすればよいのでしょうか？
分からないときは、いつものアレ。X/Yプロットで総当りします！
X/Yプロットの結果
もう一度確認しましょう。元イラストはこちら。
これを、depthのweightを「0.5」～「1.0」、Guidanceスタートが「0.1～」「0.2～」「0.3～」で比べたのが、以下の図です！
