こんばんは、スタジオ真榊です。今夜はこれまでの差分研究の総決算として、Controlnetで表情、服装、ポーズ、背景を全て任意に変更する方法、つまりキャラクターの同一性を維持しながら全く違うイラストを作るやり方について解説していきたいと思います。
前回までの検証では、主にInpaintOnlyを活用することで、表情・服装・ポーズ・背景の差分を個別に作れることが実証できました。では、これらすべてを同時に行うにはどうしたらいいでしょうか。つまり、キャラクターの同一性が失われない最低限の情報だけを完全に保持しながら、それ以外の部分を一つ残らず全て任意に変更するということです。それも、何度も生成→入力を繰り返すのではなく、一度の生成で。
前回の記事冒頭でも紹介したこちらのイラストは、1回の生成でキャラの顔周辺以外を全て変更したものです。キャンバス上のほとんどの線が重ならないにもかかわらず、しっかり同一人物に見える出来に仕上がっているのではないでしょうか。
今回の記事では、このイラストが完成に至るまでの設定方法を詳しく紹介しつつ、さらにopenposeやwildcardなどと組み合わせる方法を検証していきます。
実験１：表情・服装・ポーズ・背景の差分を同時生成
今回はいきなりControlnet画面の設定に入るのではなく、ちょっとした下準備が必要です。具体的には、「キャラクターの線画を抜き出して、継承させたい部分以外を塗りつぶす」作業を行いましょう。
まず、元画像からキャラクター部分を抜き出すところから始めます。今回は「AnimeRemoveBackground」を使いました。上手に抜き出せたら、このように抜き出された右側の画像をドラッグし…
ブラウザの別タブで開いていたSDwebUIにもってきて、このようにControlnet画面にドロップします。Chromeの場合、ドラッグしてきた画像をタブ部分に重ねて一瞬待つと画面が切り替わります。
無事読み込めたら、プリプロセッサ「LineartAnime」に掛けて、黒背景の線画を抽出しましょう。先にキャラだけを抜き出しておけば、背景部分を塗りつぶす面倒がはぶけます。
次に、プリプロセッサプレビュー画面の右上にある「↓」ボタンからこの線画をダウンロード。そして、Clipstudioでもペイントでもなんでもよいので、下の画像のように手と頭、表情、下半身の部分を黒塗りで消してしまいましょう。残すべき部分は、キャラクター性を保持するための最低限の線だけ。ちなみに、頭の上部分を消したのは、バニーさん耳を足すためです。
ちなみに、肩や胸のラインなどを丁寧に残しておくと、ポーズのブレを防ぐことができます。また、絵心のある方はこの段階でボディラインや眉、目などを簡単に描き込んでしまっても構いません。黒目部分を消して描き直すことで視線を制御することもできます。
こちらが完成図。これをLineartAnimeモデルに読ませることで、キャラデザインの根幹をしっかり引き継ごう、というのが狙いです。
これで下準備はおしまい。
①LineartAnimeで最低限の線を固定
さきほどの線画画像を今度は左側で読み込み、プリプロセッサを「none」、モデルを「LineartAnime」に設定。言うまでもありませんが、noneに変更するのは既に抽出済みの線画だからです（プリプロセッサをLineartanimeにすると、線画からさらに線画を抽出しようとして低劣化します）
これで１つ目のControlnetは完成です。
②モデル画像を「Reference」
２つ目はこちら。以前作ったバニーさんイラストを参照（reference only）してもらいます。これは、背景の雰囲気を再現するだけでなく、バニー耳を含めた衣装のディティールを「念押し」する意味があります。参照したいモデル画像がない場合は、この手順は省略しても構いません。
③変えたい部分を「Inpaint」
３つめはこちら。「InpaintOnly+lama」で、最低限このキャラがミナさんだと印象づけられる要素を残しつつ、変えたい部分をマスクします。下半身や腕のポーズ、バニー耳部分、さらに表情も変えたいので、目と口にもマスクを加えました。これとLineartAnimeが重なることで、強力に顔周辺のデザインを固定します。
