はいこんばんは、スタジオ真榊です。前回の「Controlnet1.1爆誕！顔抽出＆アニメ主線抽出＆線画塗りを試してみた」に引き続き、今回もControlonet1.1の検証記事をお届けします。
これから検証するのは、「Shuffle」「Pix2Pix」「Inpaint」の新顔３種モデル。前回紹介した「新Openpose」と「LineartAnime」はControlnet1.0でもできたことの進化版という印象でしたが、新３種モデルはそれぞれ全く新しい概念をStableDiffusionに持ち込むモデルとなっています。
具体的には、
・「元画像を構成する要素を"シャッフル"して、全く異なる構図のイラストとして再構成する」（shuffle）
・「この画像をこう変化させてとAIに頼む」（pix2pix）
・「通常のinpaint機能より自然な『描き直し』をする」（inpaint）
･･･ことが可能になります。
『何を言っているのかわからねーと思うが、おれも何をされたのかわからなかった…』状態に陥りますが、どれも直感的に分かりやすく、かつ画期的な機能。１記事に３種の検証結果はおさまりきらなかったので、まずは「Shuffle」から順番に見ていきましょう！
【※アップデートにご注意を】
Mikubill版のWebUI-Controlnetは現在、非常に盛んに更新されています。できるだけ最新版に基づいてレビューしていきますが、アップデートによってスクリーンショットのUIや使用感に違いが出る可能性があることをご留意ください。
例えば、最新版では「アノテーション結果をプレビュー」がなくなり、プリプロセッサ（前処理）のプレビューは「Allow Preview」という機能に変わりました。ここにチェック☑を入れて、プリプロセッサの横の爆発マークをクリックすると、以前のようなプレビューが表示されます。
また、「入力の色を反転」もなくなり、代わりにプリプロセッサの選択肢に「from white bg & black line」が加わりました（下図）。
その他、細かいポイントに違いがありますので、しばらくControlnetに触る際はアップデートの有無に気を配っておきましょう。
同じイラストを違う構図で出せる「Shuffle」
というわけで、早速本題に入りましょう。今夜紹介する「control_v11e_sd15_shuffle.pth」は、元画像の色や全体の雰囲気といった要素を継承しながら、新しい画像に「再構成」できるようトレーニングされたモデルです。
元画像の要素をいったんパズルのピースのようにバラバラにして、テキストプロンプトをもとに、新しい画像として「組み直す」イメージ。どんなことができるのか、またはできないのか、さっそく実験していきましょう。
