こんばんは、スタジオ真榊です。今回は、最新ローカル画像生成モデル「Anima」とADetailerを使って、破綻した手や画風が変わってしまった顔を自動で描き直したり、自然言語指示で「演技」を付けたりする手法についての検証記事です。
例えば、破綻した指の画像を入力して「彼女はこちらに手を振っている（She's waving at me）」と指示すると自動でこうなり、
「彼女は人差し指と小指を立てた狐のハンドサインをしている（She's making the fox hand sign at me. She's holding up her index finger and little finger.）」と指示するとこうなる仕組みです。
これは機械的な処理なので、数百枚の画像に同じ処理を一気に掛けることもできます。（フォルダ内の画像のすべての目の色を青にする、といったことが可能）
ForgeNeo上では通常のADetailerがそのままでは動かせなかったので、Animaを便利に活用できるようさまざまな新機能を備えた「カスタム版ADetailer」を作りました。ForgeNeo、reForgeどちらでも使えます。Githubから適用できるようにしてあるので、ぜひご利用ください。【約13,000字】
（※今回の内容は、ForgeNeo上でAnimaによる生成や、Controlnet「anima-lllite-inpainting-v2」を使ったインペイントが既にできるようになったユーザー向けです。ForgeNeoやAnimaの利用が初めての方は、先にこちらの記事をご参照ください）
１．はじめに 破綻修正の現在地
検証の前提として、記事執筆時点の一般的な破綻修正のやり方を確認させてください。AIイラストのおかしなところを直す方法といえば、おおむね以下の三つに大別できるかと思います。
①おかしなところを自分でマスクして、再生成（i2i、インペイント）する
②ChatGPTやNanoBananaProなどの画像編集モデルにお任せして直してもらう
③ADetailerなどを使い、生成時に手を自動検出して高精細にアップスケールする
主な違いは、「修正箇所を決めるのは誰か？」ということですね。①はマスク範囲を塗るユーザー自身。②はお任せした画像編集モデルが画像解析して判定します。③はADetailerに適用する検出モデルが学習内容に従って自動検出します。この違いがそれぞれメリット・デメリットを生むので、簡単にまとめます。
①ユーザーによるインペイント
一番思った通りの結果が得られるのは、やはりインペイントによる手動修正です。SDXLでNoobaiインペイントするのでもよいですし、NovelAIのインペイントでももちろんOK。NovelAI v3は既に前回のアップデートから1年が経過していますが、直したい画像を放り込んで適当にマスクして再生成すれば、こんな感じでそれなりに再生成してくれます。
手動インペイントは、書き換えたい場所、書き換えたくない場所をユーザーが細かく指示できるのが最大のメリット。ユーザーが塗りつぶした範囲の外は基本的にそのままになります。
ただし、自然な仕上がりにするにはある程度の「慣れ」が必要で、画風が周囲と違ってしまったり、境目のぼかしが適切でないとうまく繋がらなかったりすることもあります。また、一つ一つ手動でマスクするやり方なので、数百枚の画像をいっぺんに処理するのには向いていません。
②画像編集モデルに丸投げ
GPT Image2やNanoBananaPro、QwenImageEditといった画像編集モデルに修正を「丸投げ」する方法もすっかり浸透した印象です。たまに失敗することもありますが、プロンプトや範囲指定など細かな設定をしなくてもいいですし、仕上がりも自然。例えばChatGPT上でこんな感じで指示すると、ちゃんと手の周辺をきれいに再生成してくれます。（Thinkingモードを選んでn=10と書き加えれば、10パターン同時に生成してくれます）
一方で、こうした画像編集モデルは局所修正を指示しても画像全体を再解釈することが多く、SDXLやNovelAIによるインペイントと違ってほかの場所も微妙に変化しがちなのがネック。こちらの例では、修正したい手はきちんと直っているものの、手以外の線画や塗りがわずかに変容してしまっているのが分かります。
修正前の画像とCLIP STUDIO PAINTなどで重ね合わせて馴染ませたいところですが、元画像と微妙に線画がずれる「ピクセルズレ」も起きているので、正直①のインペイントより扱いづらく感じることがあります。わずかな変容を許せる作業であれば、一番お手軽なんですけどね。
③ADetailerで「上書きimg2img」
最後の一つがADetailerです。SDXLを使っている方にはもはやおなじみですが、生成した画像のうち顔や手といった局部を自動で検出して切り出し、img2imgをかけたあと、再びもとの場所に「縫い合わせる」動きをする拡張機能です。完全自動処理なので、修正したい画像がたとえ何百枚あっても機械的に同じ処理を行えるのがメリット。
ただし、ADetailerがやっているのはただの「部分的な薄めimg2img」に過ぎません。修正前の手の形に強く引っ張られてしまうので、修正前の手が4本指や6本指だった場合、相当強くimg2imgしないと5本指に描き直すことはできませんし、img2imgの強度を強め過ぎるとマスク内外の矛盾がはっきりしてしまいます。
ADetailerはその名の通り「ぼやけた部分を詳細化する」ための技術なので、強めの破綻修正に使うには一定の限界があります。
＜簡単まとめ＞
まとめると、「指が100%破綻しないように生成する」のはAnimaでもまだ不可能ですが、「破綻してしまった部分をあとからAI修正する」のであれば既存技術で簡単にできるようになっており、SDXLでもNovelAIでもGPTでもやり方もさまざまある、というのが破綻修正の現状です。
手動インペイントは高品質にできますが大量処理には向いておらず、ADetailerは手や顔といった位置を自動検出して機械的にimg2imgすることができる代わりに、指の本数を描き直すほど強く掛けると破綻してしまいます。ここをうまく解決して、①～③の「いいとこどり」ができないでしょうか。
