はいこんばんは、スタジオ真榊です。前回の「Controlnet1.1爆誕！顔抽出＆アニメ主線抽出＆線画塗りを試してみた」に引き続き、今回もControlonet1.1の検証記事をお届けします。
これから検証するのは、「Shuffle」「Pix2Pix」「Inpaint」の新顔３種モデル。前回紹介した「新Openpose」と「LineartAnime」はControlnet1.0でもできたことの進化版という印象でしたが、新３種モデルはそれぞれ全く新しい概念をStableDiffusionに持ち込むモデルとなっています。
具体的には、
・「元画像を構成する要素を"シャッフル"して、全く異なる構図のイラストとして再構成する」（shuffle）
・「この画像をこう変化させてとAIに頼む」（pix2pix）
・「通常のinpaint機能より自然な『描き直し』をする」（inpaint）
･･･ことが可能になります。
『何を言っているのかわからねーと思うが、おれも何をされたのかわからなかった…』状態に陥りますが、どれも直感的に分かりやすく、かつ画期的な機能。１記事に３種の検証結果はおさまりきらなかったので、まずは「Shuffle」から順番に見ていきましょう！
【※アップデートにご注意を】
Mikubill版のWebUI-Controlnetは現在、非常に盛んに更新されています。できるだけ最新版に基づいてレビューしていきますが、アップデートによってスクリーンショットのUIや使用感に違いが出る可能性があることをご留意ください。
例えば、最新版では「アノテーション結果をプレビュー」がなくなり、プリプロセッサ（前処理）のプレビューは「Allow Preview」という機能に変わりました。ここにチェック☑を入れて、プリプロセッサの横の爆発マークをクリックすると、以前のようなプレビューが表示されます。
また、「入力の色を反転」もなくなり、代わりにプリプロセッサの選択肢に「from white bg & black line」が加わりました（下図）。
その他、細かいポイントに違いがありますので、しばらくControlnetに触る際はアップデートの有無に気を配っておきましょう。
同じイラストを違う構図で出せる「Shuffle」
というわけで、早速本題に入りましょう。今夜紹介する「control_v11e_sd15_shuffle.pth」は、元画像の色や全体の雰囲気といった要素を継承しながら、新しい画像に「再構成」できるようトレーニングされたモデルです。
元画像の要素をいったんパズルのピースのようにバラバラにして、テキストプロンプトをもとに、新しい画像として「組み直す」イメージ。どんなことができるのか、またはできないのか、さっそく実験していきましょう。
実験１：女の子のイラストを別構図に再構成する
まずは、こちらの女の子のイラストをプロンプトなど全て同じ設定のまま、別イラストとして再構成してもらいます。プリプロセッサ「Shuffle」、Controlnetの重みは「１」、最初から最終ステップまでcontrolnetを影響させます（starting:0、ending:1）。
プロンプト：2girls,maid costume,large breasts,happy smile,overlooking panorama view,magnificent view,masterpiece,high resolusion,illustration,ultra detailed 8k art
ネガティブ：(worst quality, low quality:1.4), (greyscale, monochrome:1.0), text, title, logo, signature,[badhandv4:EasyNegative:0.5]
右側の画像が、プリプロセッサ「Shuffle」によって前処理された元画像です。元画像（左）の構図が出力画像に影響しないよう、ぐにゃっとシャッフルされているのがわかると思います。ちなみに、「Preprocessor resolution」の数値を大きくすると、シャッフル度合いが強まります。
これを元にモデル「Shuffle」が生成した新たなメイドさんが以下の画像です。（本日はどれも高解像度補助未使用、768✕512px）
