こんばんは、スタジオ真榊です。今回は、急激な進化を続けているQwenImageシリーズで最大の収穫と言える「指定した画角から、キャラクターの一貫性を保持しながら別ポーズ・別表情を生成する」手法についての検証結果を特集します。今回の特集内容はローカル環境において、NanoBanana登場時と同じくらい大きなワークフローの革新につながる可能性があり、とてもワクワクしています！【約2万字】
まず、こちらの画像をご覧ください。左が入力画像で、右が生成結果です。左上のカメラ操作ノードで指定した「右後ろから見下ろし」の画角をきちんと守り、キャラクターや背景の一貫性も保ちながら、別ポーズの生成ができています。
もちろん、QwenImageEdit2511（以下QIE2511）で表情まで変更すると、多くの場合は顔立ちの一貫性を保つことができないことはよく知られています。こちらの例では、指定した画角から別ポーズを描くことができていますが、顔立ちはQIE2511らしい「マスピ顔」に変更されてしまっています。
これを今回、Meta社の最新セグメントモデル「SAM3」を使ったDetailerワークフローを作ることで解決しました。SDwebUIにおける「ADetailer」に近い仕組みですが、こちらは「face」「hand」「girl」などとユーザーがテキストで指示した部分を輪郭に沿って自動マスクし、普段のSDXLモデルや画風LoRAを適用して詳細部分を描き直すことができます。
このワークフローとQwenImageEdit2511による「同一キャラ・別アングル・別ポーズ」を組み合わせることで、このようにキャラクターと背景双方の一貫性を保ったまま、連続性のある別ポーズ・別表情を指定した画角で作ることができました。
気になる取り回しですが、VRAM16GB環境（RTX4080使用）で、前半の別カット推論が40秒弱（モデルロード時間込みで60秒）、SAM3を使った後半のDetailer処理は顔面だけなら15～30秒程度で可能です。今回もワークフローを配布しますので、適宜ご活用ください。
１．マルチアングルLoRAの「特性」
前回の記事は、中国Alibabaの最新画像編集AI「QwenImageEdit2511」を使った「マルチアングルLoRA」によるワークフローの特集でした。ローカル環境（ComfyUI）を導入してQIE2511を動かし、カメラ操作ノードで指示した通り、入力画像を「別アングル」から見た様子を推論するーというものです。（※本記事はこちらの続編ですので、マルチアングルLoRAやワークフローの使い方などはこちらを参照ください）
この特集の中で、このような実験を行いました。画像生成プラットフォーム「fal.ai」が開発したマルチアングルLoRAは、基本的にはトリガーワード<sks>と「front-right quarter view low-angle shot close-up」などの定型文指示で別アングルを生成するものですが、プロンプトの後ろに「天井を赤くして」などと指示を加えると、入力画像に映っていなかったオブジェクトを操作できたのです。
ただ、このような「追加プロンプト」を入れると、マルチアングルLoRAの純粋性が損なわれ、妙に天井が大きく映り込む画角になってしまったり、細部の正確性が落ちてしまったりする悪影響がありました。アングル変更は正確性が重要ですから、追加プロンプトによる指示は「おまけ程度に考えておいて、基本は空欄で運用するのがよい」と前回特集では紹介していました。
しかし、「赤い天井」の画像を見ていて、ふと疑問に思うことがありました。マルチアングルLoRAは入力画像の任意の画角を推論できるLoRAですが、つまりは入力画像の画風やキャラクターデザイン、背景やオブジェクトの位置関係といった一貫性を保ちつつ、一定の変化を加えるLoRAとも言い換えられます。つまり、追加学習した内容は「一貫性保持LoRA」としての性格が色濃いものなのではないでしょうか？
もしそうなら、単に画面を回転させるだけでなく、このLoRAでキャラクターや背景の一貫性を保ちながら「別カット」を作ることにも活用できるのではないかーと考えたわけです。「赤い天井」の実験では、入力画像に天井が映っていなかったから、色を変化させられたのだと考えていましたが、マルチアングルLoRAを適宜弱めて使えば、入力画像に映っているものをそのままに任意の変化を加えられるかもしれません。
２．アングル変更＋ポーズ変更実験
LoRAを使って画角を指定しつつ、追加プロンプトで画像の内容を任意に変更できるかどうか、次のような実験をしてみました。使用するのは、前回特集で配布したQwenImageEdit2511用のアングル変更ワークフローです。その後、カスタムノードのアップデートを受けてマイナーチェンジしていますので、こちらの「V4」をご使用ください。（V3からの変更内容は、左下から生成画像サイズをメガピクセル指定できるようにしただけです）
Qwen2511multiangle-camera(masakaki)v4
配布ファイルはPixivFANBOX限定ですダウンロードはFANBOXの記事からどうぞ。PixivFANBOXの記事を開く
ComfyUIやワークフローの導入方法は前回特集「3Dカメラ設定で簡単アングル変更 QwenImageEdit2511最新ワークフロー」の通りですので、今回は割愛します。StabilityMatrixやポータブル版などで適宜ComfyUIを導入し、ComfyUI Managerも入れた上で、必要なモデルやカスタムノードをご準備ください。
▼ComfyUIの基本的な使い方はこちら
こちらが配布ワークフローを開いたところ。左側にアングル変更したい画像を入力して、隣のカメラ操作ノードで画角を決めたら、あとは生成スタートするだけです。
GGUF版は品質があまりよくないので、基本的にはQIE2511のbf16版かfp8版を高速化LoRA（Lightning-4steps-V1.0-bf16）を適用した状態で使用することにします。
実験にはこちらの画像を使いました。カメラ操作ノードの「default prompts」をtrueにし、カメラ操作ノードで「右側面・ローアングル・ミディアムショット」を指示します。すると、自動的に「<sks> back-right quarter view eye-level shot medium shot」というプロンプトが次のノードへ送られます。
重要なのはこちら。プロンプトを前後に追加できるString Functionノードです。text a欄に入れると画角指示の前に、text c欄に入れると後ろに、プロンプトを追記できる仕組みです。当初は「text a」にLoRAのトリガーワードである<sks>と入れるために作ったのですが、現在はカメラ操作ノードで「default prompts」をtrueにしていれば、自動で<sks>がプロンプト冒頭に入る仕組みですので、全て空欄になっています。
後ろにプロンプトを追記する「text c」欄に、このような一文を入力します。
「Draw a picture of what it looks like 10 seconds later.change her pose and expression.she enjoys the beach.」（この画像の10秒後を描いてください。ポーズと表情を変更してください。彼女はビーチを楽しんでいます）
QwenImageEditは日本語指示も理解できますが、英語（もしくは中国語）のほうが一般に結果が良く、指示の取り違えやニュアンス間違いも少ないようですので、ここでは英語で指示することにしました。最後の一文はなんでもよかったのですが、どういう文脈の変化を加えた「10秒後」にしてほしいのか、モデルが理解しやすいように、という意図です。
・マルチアングルLoRAをどう弱めるか
この実験のポイントは、「こちらのマルチアングルLoRAを弱めると、どのような生成結果になるか？」ということです。
普通に考えれば、マルチアングルLoRAの適用強度が強まるほど、正確な位置関係で画像生成ができるようになり、弱まるほど、ただのQIE2511による画像編集に近づいていくはずです。QIE2511には前バージョン用の「マルチアングルLoRA」などが焼き込まれているそうですので、LoRAなしでもある程度の画角変更ができますが、2511用のマルチアングルLoRAを適用強度0からだんだん強めていくと、どのような結果になるのか確認します。
Seed値は「fixed（固定）」にして、以下の設定で実験を行います。プロンプトは「<sks> back-right quarter view eye-level shot medium shot, Draw a picture of what it looks like 10 seconds later.change her pose and expression.she enjoys the beach.」。使用モデルはQIE2511のbf16版です。
まず、こちらがLoRA適用強度0（オフ）で生成したもの。左の画像に対し「back-right quarter view」と指示して生成したのが右です。多少右側に移動したようにも見えますが、マルチアングルLoRAがオフなので、ちゃんと後ろ側に回り込むことができていないようです。
以下は、LoRA強度0.1から1.4までを並べます。全て同じSeed値・同設定です。
まず、0.1から0.6までは、ほぼLoRAなしの状態と変わりませんでした。「右後ろに回り込め」というアングルチェンジ指示よりも、「10秒後を描いて」「別ポーズ・別表情にして」という別の注文のほうが効きやすい状態ですので、太陽を見えなくしてみたり、片手を下げてみたりしているようです。「0.7」以上になると、LoRA強度が強まるほど、はっきりカメラが右後ろに回り込んでいます。指示通りの位置まで回りこめたのは「0.9」からでした。
また、「0.6」～「0.7」あたりからポーズや表情に変化が出始めますが、「1.2」と「1.4」ではむしろ、入力画像の両手を上げたポーズを守ろうとしているように見えます。LoRAが学習している入力画像の一貫性を保とうとするはたらきが、「別ポーズにして」という指示を上回るほど強まったためと想像できます。
この実験から分かるのは、
①「赤い天井」の実験と同様に、QIE2511はマルチアングルLoRAの影響が相当強まっても、プロンプト指示を守ることができる
②1.0を超えると、「入力画像と一貫性を保とうとする働き」と「プロンプト通りポーズを変えようとする働き」が拮抗し、表情やポーズなどが入力画像に寄っていく
ということです。1.0では右後ろに回り込みつつポーズを変更できていますが、表情は元画像に引っ張られている様子が見えます。よって、指示通りの画角を守りつつ、プロンプトによって変更も加えられるバランスのよいスポットは「0.9-1.0」程度ではないかと目星をつけました。当初はもっと弱めることでバランスが取れるのではないかと思ったのですが、通常のアングルチェンジで使うのとさほど変わらない強さでも、問題なく任意の変化を加えられることが分かりました。
＜さまざまな画像で実験＞
他の画像でも実験してみます。先ほど使用したプロンプトから「彼女はビーチで楽しんでいます」部分を抜いて、「<sks> back-right quarter view eye-level shot medium shot, Draw a picture of what it looks like 10 seconds later.change her pose and expression.」と指示し、さまざまな画像を「LoRA強度0.9」で回転させました。角度は「右後方・ハイアングル・ミディアムショット」。左が入力画像、右が出力結果です。
まずはバレリーナ。背景の一貫性は保ちつつ、右奥に回り込めています。ポーズはあまり大きく変更していませんが、頭の向きや表情が変更できています。
ミナちゃんフィギュア。こちらは「10秒たとうが動かない無機物」と認識したのか、単純に「右後ろ・ハイアングルからの見下ろし」になりました。
ミナちゃんの白背景イラスト。ポーズが変更されたのと、謎の線が出ました。表情はさほどという感じですね。その代わり、普段のSDXLモデルで生成したのかと思うほどよく画風を似せられています。
記号が少なく、容姿再現が難しい鬼怒川さん。こちらはポーズと表情が両方変更されました。「表情が変わると顔立ちも変わる」という法則は健在で、まあ別人ですね。背景がないと、あまりマルチアングルLoRAの恩恵が感じられません。これなら普段のSDXLモデルで普通に生成すればよいからです。
右後ろからの見下ろしが正確にでき、頬杖をついていたポーズが変更されました。他の画像ではカメラ目線になることが多かったのですが、「この状況なら、この子は10秒後も勉強しているであろう」と思われたのでしょうか。
金髪1girl。パーがチョキになりました。背後側に回り込むと、手が裏表逆になってしまう欠陥は特有のものですね。表情も変更されましたが、大きく変わったのは口だけだったので、さほど別人感はありません。
座り鬼怒川さん。右後ろまで回り込み切れず、right side view止まりでした。すぐ後ろに壁があるためかもしれません。ポーズと表情いずれも変更でき、やはり顔立ちは変わりました。指はQIE2511では珍しく六本指ですね。
こちらも同様に、ポーズと表情いずれも変更でき、顔立ちが変わったケース。目のデザインはやはり鬼門のようですね。背後に壁やオブジェクトがあるとうまく回り込めないのも同じです。
この画像の他にも、背景などの都合で指示した角度とどうしても数十度ズレてしまうケースが複数回確認できました。特に、斜めからキャラクターを描いたイラストを正面にするのが苦手のようで、その場合プロンプトで「straight front view」などと指示するとうまくいきました。
＜考察＞
総評として、全体のカラーやタッチは非常によく守れているように見えます。どうしても一貫性を保てないのは、表情変更したときの「目」。無機物であるフィギュアや勉強のイラストの例から分かるように、「10秒後を描いて」というプロンプトはそれなりにきちんと考えて守られているようです。アングル変更は、周囲の状況からして無理がある場合はやや甘くなることも分かりました。指示通りにするとカメラが壁にめりこんでしまうような画像もあるので、良く言えば「空気を読んでいる」と言えないこともないかも。
通常、QIE2511は任せた作業が創造的なほど、生成結果のぶれが激しくなります。こちらは通常の2511用画像編集ワークフローで、鬼怒川さんと実写のメイド服を参照させて「着替え」をさせてみたものです。（マルチアングルLoRAは未使用）
「picture1の女性が、picture2の衣装を着ている。リビングルームに立ち、恥ずかしそうな表情。カメラ目線。picture1と同一人物に見えるよう、画風やカラーを統一する」と指示しましたが、結果はこう。
服装は非常に高精度に守れており、ニーソックスのリボンや細かなフリルまで写真通りに反映できましたが、背景は不釣り合いな実写調になってしまいました。キャラクターの画風もごく単純なセルアニメ調といった感じで、顔だけでなく全身が入力画像のキャラクターとは変容してしまっています。これでは創作用途には耐えません。
プロンプトを英語にし、「The woman in picture 1 is wearing the outfit and headband in picture 2. She is sitting on a sofa in the living room, legs crossed, glaring at the viewer. Her arms are folded. She is looking at the camera.from side,dynamic angle.anime style illustration,flat color fills,Japanese anime and manga style.」と、むりやり画風を指示するとこうなりました。
ただ、これではやはりキャラクターの顔立ちもタッチも普段の私の好みとは違いすぎて、記号的なアニメ画像になってしまっています。
通常、2511の画像編集はこのように、手がかりのない創造的な工程をテキスト指示だけで指示しても、意図通りに画風を寄せることは困難です。ところが、マルチアングルLoRAと併用させれば、キャラクターの表情以外はかなりの一貫性を持って、普段の画風を維持しつつ、任意の変化が加えられる。これは大きなアドバンテージですが、せめてキャラクターの画風や顔立ちだけでも普段の画風に戻すことはできないでしょうか。
そこで考えたのが、冒頭で触れた「SAM3」によるDetailerワークフローです。
