こんばんは、スタジオ真榊です。AIイラスト術天下一武道会の開催真っ最中ですが、Controlnet1.1がSDwebUIの拡張機能にぃ…
きたー！！！
というわけで、既に午前２時なのでかなり限定的な内容にはなりますが、前置きは全てすっ飛ばして最速でアプデ方法と注意点、使用感をお伝えしていきます。今回は「FaceLandmark」による顔抽出や、アニメ塗りの主線を抜き出せる「lineart anime」といった目玉がもりだくさん。ファーストタッチレビューなので一部のモデルしか触れられないのが残念ですが、さっそく見ていきましょう。
Check it out！
（※あす以降、こちらの記事に加筆する形で全てのモデルの使用感などについてお伝えしていきます）
アップデート方法
こちらの記事をお読みの方は既にほとんどの方がControlnet拡張を入れていると思うので、インストール方法ではなくアップデート方法からさくっと説明します。webUIの「拡張機能」から「アップデートを確認」をクリック。「sd-webui-controlnet」の欄の右端にある「アップデート」のところに「behind」と出たら、「適用してUIを再起動」しましょう。
するといつも通りwebUIが再読み込みされるのですが、Controlnetのウィンドウ自体がtxt2txtのタブのいつもの場所から消えてしまっているかもしれません。そんなときは慌てずに、いったんブラウザのwebUIタブを閉じましょう。黒いコマンドプロンプト画面を終了させて、いちからwebUIを立ち上げ直せば、再びいつもの場所にウィンドウが出現しているはずです。
次に、controlnet1.1用の各抽出モデルをダウンロードしましょう。まずはこちらのURLにアクセス。
こちらに並んでいる「.pth」で終わるモデルファイルをダウンロードし、「stable-diffusion-webui\extensions\sd-webui-controlnet\models」に入れていきましょう。それぞれのpthファイルの「1.45GB LFS↓」をクリックすればダウンロードできます。
かなり大きいサイズなので、最初から全てDLせず、試したいものだけでもいいかもしれません。ちなみに、今夜試すのは「openpose」と「lineart anime」だけです。公式pthファイルを使う場合、「yaml」ファイルはダウンロードする必要はありません。
【中上級者向け】
容量が半分の723MBに抑えられたfp16版も既に出ているので、わかる方は始めからこちらを試してもOKです。ただ、1.45GBの公式版と違い、対応するyamlファイル名とモデルのファイル名を手動変更で一致させる必要がありますので、その点だけご注意ください。
Openpose fullの威力
さて、最初に試すのは新「openpose」から。公式が「画像生成AIで使用OK」とおっしゃってくださっているポーズマニアックス様から、次のポーズをお借りしました。
ドン。
こちらをControlnet画面で読み込み、プリプロセッサ（前処理）「openpose full」、モデル「control_v11p_sd15_openpose」を選んで生成します。ちなみに、一回目の生成時に読み込みが必要なので、いきなり「アノテーション結果をプレビュー」を押しても反応しません。焦らなくて大丈夫です。
このポーズをしている女の子を描いてほしいだけなので、プロンプトは適当に「1girl,smile,(high resolution,masterpiece,best quality,extremely detailed CG,official art,:1.3)」とし、いざ生成ボタンをクリック。初回のみしばらく読み込みが生じるので、すぐ生成されなくても焦る必要はありません。
気長に待っていると…。
はいこのように、ポーズだけでなく、手や顔の向きまで同時抽出に成功しました。ちなみに今夜の記事に使用した画像は一切チェリーピックなし、全て一発生成です。何しろ社畜にはあと４時間しか睡眠時間が残されていない！
ちなみにこちらの顔抽出（face landmark）ですが、さきほどのようなリアル調の画像はうまく抜き出すことができたものの、次のようないかにもイラスト調のものについては上手に抜き出せませんでした。自分でプロットすることもできると思うので、おいおい拡張機能の登場に期待しましょう。
▲イラスト調だと表情抽出がうまくいかない？
「Face landmark」で表情抽出にトライ
先程はいきなり顔・ポーズ・手の揃ったopenpose fullを試しましたが、今度はせっかくの「新顔」であるFace landmark機能をもっと試してみます。これはその名の通り、顔を構成する「地点」をプロットすることで抽出する機能。眉、目、鼻、口、輪郭をそれぞれ抜き出し、元画像の表情を写し取ることができます。
こちら（▲）はControlnetで一足先にFaceLandmarkを試すことができたスペース。せっかくなのでこちらのサンプル画像を借りて、表情抽出をテストしてみましょう。（ちなみに、顔面のアップでもイラスト調のキャラクターの顔をLandmarkすることはできませんでした。残念）
プリプロセッサは「openpose full」のままでもOKですが、「openpose face」や「openpose face only」を選べば、顔のみの抽出をすることが可能です。上のスクショは「face」なので目や耳の位置を示すラインが出ていますが、「face only」の方を選ぶと…
このように、FaceLandmarkのみの機能を試すことができます。
こちらも「1girl,open mouth, smile」で生成すると…
