こんばんは、スタジオ真榊です。今回は、入力したキャラクターイラストを髪の毛や肌、衣装などの部位別レイヤーに自動分割する新技術「See-Through」の検証記事です。
こちらの出力例のように、本来は隠れて見えないはずの裏側の部位を推論してそれぞれレイヤー分割し、PSD形式で出力することができます。生成に掛かる時間はVRAM16GB搭載のグラフィックボードならおおむね4～5分程度。静止画をアニメーションさせられる「Live2D」の素材やVtuberアバターなどの画像素材作りを想定した技術ですが、普段のAIイラストやAI漫画作りに活用できるかどうかも検証してみました。
単体でかんたんインストールできる専用webUIや、ComfyUI上で簡単に動かせるワークフローが公開されており、VRAM16GB環境なら快適に動かすことができます。VRAM8～12GBでも生成できるVRAM節約機能も実装されていますが、時間が非常に掛かるほか、生成結果も劣化する可能性がありますので、その点は留意してお読みください。
See-Throughとは
See-Throughは、アニメキャラ画像1枚を入力するだけで、髪や顔、目、服など最大24種類の透過レイヤーに分割し、再び元の順に重ね合わせたPSDファイルとして出力してくれる技術です。入力画像は基本的に「前髪、後髪、首、上半身衣装、手袋、下半身衣装、靴下、履き物、尻尾、翼、その他（オブジェクト）」が区別して出力され、頭部はさらに「帽子（headwear）、顔、眉、まつげ、黒目、白目、眼鏡、耳、耳飾り、鼻、口」に分割されます。
「See-Through」の名の通り、別の部位の陰になって見えない部分を「透かし見た」ように推論してくれるのが最大の特徴。この画像では、本来顔や体に隠れている後頭部やポニーテール部分を完全な形で推論できています。
それぞれの部位が多少動いても破綻しなくなるので、まさにLive2Dの素材制作のための技術という印象ですね。もちろん、自動でアニメーション化までやってくれるわけではないので、分割した画像を思い通りに動かす技術は自分で学ぶ必要があります。（残念）
＜Huggingface Spaceでデモ体験可＞
こちらのHuggingface Spaceからデモ体験が可能ですので、インストールする前に使用感を知りたい方は試してみるとよいでしょう。できるだけキャラクターの全身が見切れずに収まっている正方形の画像を入力するのがコツです。
分割画像をバラバラにDLすることもできますし、各レイヤーが重なり合った状態のPSDファイルも出力されます。サイズ設定は小さめの768pxが推奨となっており、1280pxで生成すると制限に掛かってしまいますので、あくまで体験版という感じですね。
＜既存技術との違いは？＞
画像生成を使ったレイヤー分割技術といえば、「Qwen Image Layered」が思いつきます。こちらもキャラや背景をレイヤー分割して、見えない背後関係も推論できる技術ですが、髪や目などを部位・左右別に抽出することはできませんでしたし、まともに見えるレベルで分割するにはVRAM16GBのグラフィックボードで10分近く掛かるので、かなり取り回しが重い印象がありました。
ちなみに、イラスト支援AIサービス「Copainter」もQwen Image Layeredベースと思われる「レイヤー分け機能」をリリースしています。こちらは自宅PCで無理にQwen Image Layeredを動かすよりも正確・迅速にレイヤー分割でき、画像を入力すると数分程度で、このように「線画・下塗り・影・ハイライト」の四つに分割したPSDファイルが出力される仕組みでした。
AIイラストの編集用途としては、下塗りや影・ハイライトなどと線画の分割が高品質にできると大変助かりますが、現状では入力画像と全く同じ見た目のまま分割できるわけではないため、AIイラストに便利に活用できるようになるにはもうちょっとだけ進化が必要かな…という印象。
See-Throughがこのあたりのニーズを満たせるのか、さっそく試していきたいと思います。
See-Throughの導入方法
See-Throughの公式リポジトリはこちら。直接このリポジトリからインストールして単体（スタンドアロン）で動かすこともできますが、ビームマンPさんが4月5日に公開した専用webUIのほうが簡単・親切です。公式からComfyUI上で動かすためのワークフローも公開されていますので、どちらかの方法でインストールしていきましょう。
＜ビームマンPさんの専用webUIでインストールする場合＞
リポジトリはこちら。
インストールは大変簡単で、リンク先の「最新版をダウンロード（ZIP）」をクリック▶Releasesページからsee-through-webui.zipをダウンロードして展開するだけです。あとは展開したフォルダ内にあるinstall.bat をダブルクリックして待つだけで、上記ツイートのようなwebUIが使えるようになります。
＜ComfyUIのワークフローで動かす場合＞
ComfyUIで動かす場合は、こちらがリポジトリです。
ComfyUIの導入がまだ / 操作方法を忘れた方は、こちらの完全入門ガイドを参照のこと。
インストール方法はここに書かれている通り。ちょっと分かりにくいので、一つ一つ見ていきます。（導入作業はComfyUIが起動していない状態で進めましょう）
まずは、ComfyUIをインストールしたフォルダ内にある「custom_nodes」フォルダを開きます。Stability Matrixでインストールした場合は通常 「Data\Packages\ComfyUI\custom_nodes」です。フォルダ内の何もないところを右クリックして「ターミナルで開く」を選ぶと、PowerShellやコマンドプロンプトが開きます。
「PS（略）ComfyUI\custom_nodes>」と表示されているのを確認し、続けてリポジトリからコピペしてきた「git clone https://github.com/jtydhr88/ComfyUI-See-through.git」と打ち込み、ENTERキーを押します。このような感じでずらずらとメッセージが表示され、再び「PS～」と表示されて止まったら閉じてOK。先ほどの「custom_nodes」フォルダ内に「ComfyUI-See-through」フォルダが作成されていれば成功です。
