こんばんは、スタジオ真榊です。今回は、急激な進化を続けているQwenImageシリーズで最大の収穫と言える「指定した画角から、キャラクターの一貫性を保持しながら別ポーズ・別表情を生成する」手法についての検証結果を特集します。今回の特集内容はローカル環境において、NanoBanana登場時と同じくらい大きなワークフローの革新につながる可能性があり、とてもワクワクしています！【約2万字】
まず、こちらの画像をご覧ください。左が入力画像で、右が生成結果です。左上のカメラ操作ノードで指定した「右後ろから見下ろし」の画角をきちんと守り、キャラクターや背景の一貫性も保ちながら、別ポーズの生成ができています。
もちろん、QwenImageEdit2511（以下QIE2511）で表情まで変更すると、多くの場合は顔立ちの一貫性を保つことができないことはよく知られています。こちらの例では、指定した画角から別ポーズを描くことができていますが、顔立ちはQIE2511らしい「マスピ顔」に変更されてしまっています。
これを今回、Meta社の最新セグメントモデル「SAM3」を使ったDetailerワークフローを作ることで解決しました。SDwebUIにおける「ADetailer」に近い仕組みですが、こちらは「face」「hand」「girl」などとユーザーがテキストで指示した部分を輪郭に沿って自動マスクし、普段のSDXLモデルや画風LoRAを適用して詳細部分を描き直すことができます。
このワークフローとQwenImageEdit2511による「同一キャラ・別アングル・別ポーズ」を組み合わせることで、このようにキャラクターと背景双方の一貫性を保ったまま、連続性のある別ポーズ・別表情を指定した画角で作ることができました。
気になる取り回しですが、VRAM16GB環境（RTX4080使用）で、前半の別カット推論が40秒弱（モデルロード時間込みで60秒）、SAM3を使った後半のDetailer処理は顔面だけなら15～30秒程度で可能です。今回もワークフローを配布しますので、適宜ご活用ください。
１．マルチアングルLoRAの「特性」
前回の記事は、中国Alibabaの最新画像編集AI「QwenImageEdit2511」を使った「マルチアングルLoRA」によるワークフローの特集でした。ローカル環境（ComfyUI）を導入してQIE2511を動かし、カメラ操作ノードで指示した通り、入力画像を「別アングル」から見た様子を推論するーというものです。（※本記事はこちらの続編ですので、マルチアングルLoRAやワークフローの使い方などはこちらを参照ください）
この特集の中で、このような実験を行いました。画像生成プラットフォーム「fal.ai」が開発したマルチアングルLoRAは、基本的にはトリガーワード<sks>と「front-right quarter view low-angle shot close-up」などの定型文指示で別アングルを生成するものですが、プロンプトの後ろに「天井を赤くして」などと指示を加えると、入力画像に映っていなかったオブジェクトを操作できたのです。
ただ、このような「追加プロンプト」を入れると、マルチアングルLoRAの純粋性が損なわれ、妙に天井が大きく映り込む画角になってしまったり、細部の正確性が落ちてしまったりする悪影響がありました。アングル変更は正確性が重要ですから、追加プロンプトによる指示は「おまけ程度に考えておいて、基本は空欄で運用するのがよい」と前回特集では紹介していました。
しかし、「赤い天井」の画像を見ていて、ふと疑問に思うことがありました。マルチアングルLoRAは入力画像の任意の画角を推論できるLoRAですが、つまりは入力画像の画風やキャラクターデザイン、背景やオブジェクトの位置関係といった一貫性を保ちつつ、一定の変化を加えるLoRAとも言い換えられます。つまり、追加学習した内容は「一貫性保持LoRA」としての性格が色濃いものなのではないでしょうか？
もしそうなら、単に画面を回転させるだけでなく、このLoRAでキャラクターや背景の一貫性を保ちながら「別カット」を作ることにも活用できるのではないかーと考えたわけです。「赤い天井」の実験では、入力画像に天井が映っていなかったから、色を変化させられたのだと考えていましたが、マルチアングルLoRAを適宜弱めて使えば、入力画像に映っているものをそのままに任意の変化を加えられるかもしれません。
２．アングル変更＋ポーズ変更実験
LoRAを使って画角を指定しつつ、追加プロンプトで画像の内容を任意に変更できるかどうか、次のような実験をしてみました。使用するのは、前回特集で配布したQwenImageEdit2511用のアングル変更ワークフローです。その後、カスタムノードのアップデートを受けてマイナーチェンジしていますので、こちらの「V4」をご使用ください。（V3からの変更内容は、左下から生成画像サイズをメガピクセル指定できるようにしただけです）
Qwen2511multiangle-camera(masakaki)v4
配布ファイルは支援者向けです。元記事で確認
ComfyUIやワークフローの導入方法は前回特集「3Dカメラ設定で簡単アングル変更 QwenImageEdit2511最新ワークフロー」の通りですので、今回は割愛します。StabilityMatrixやポータブル版などで適宜ComfyUIを導入し、ComfyUI Managerも入れた上で、必要なモデルやカスタムノードをご準備ください。
▼ComfyUIの基本的な使い方はこちら
こちらが配布ワークフローを開いたところ。左側にアングル変更したい画像を入力して、隣のカメラ操作ノードで画角を決めたら、あとは生成スタートするだけです。
GGUF版は品質があまりよくないので、基本的にはQIE2511のbf16版かfp8版を高速化LoRA（Lightning-4steps-V1.0-bf16）を適用した状態で使用することにします。
実験にはこちらの画像を使いました。カメラ操作ノードの「default prompts」をtrueにし、カメラ操作ノードで「右側面・ローアングル・ミディアムショット」を指示します。すると、自動的に「<sks> back-right quarter view eye-level shot medium shot」というプロンプトが次のノードへ送られます。
重要なのはこちら。プロンプトを前後に追加できるString Functionノードです。text a欄に入れると画角指示の前に、text c欄に入れると後ろに、プロンプトを追記できる仕組みです。当初は「text a」にLoRAのトリガーワードである<sks>と入れるために作ったのですが、現在はカメラ操作ノードで「default prompts」をtrueにしていれば、自動で<sks>がプロンプト冒頭に入る仕組みですので、全て空欄になっています。
後ろにプロンプトを追記する「text c」欄に、このような一文を入力します。
「Draw a picture of what it looks like 10 seconds later.change her pose and expression.she enjoys the beach.」（この画像の10秒後を描いてください。ポーズと表情を変更してください。彼女はビーチを楽しんでいます）
QwenImageEditは日本語指示も理解できますが、英語（もしくは中国語）のほうが一般に結果が良く、指示の取り違えやニュアンス間違いも少ないようですので、ここでは英語で指示することにしました。最後の一文はなんでもよかったのですが、どういう文脈の変化を加えた「10秒後」にしてほしいのか、モデルが理解しやすいように、という意図です。
・マルチアングルLoRAをどう弱めるか
この実験のポイントは、「こちらのマルチアングルLoRAを弱めると、どのような生成結果になるか？」ということです。
普通に考えれば、マルチアングルLoRAの適用強度が強まるほど、正確な位置関係で画像生成ができるようになり、弱まるほど、ただのQIE2511による画像編集に近づいていくはずです。QIE2511には前バージョン用の「マルチアングルLoRA」などが焼き込まれているそうですので、LoRAなしでもある程度の画角変更ができますが、2511用のマルチアングルLoRAを適用強度0からだんだん強めていくと、どのような結果になるのか確認します。
Seed値は「fixed（固定）」にして、以下の設定で実験を行います。プロンプトは「<sks> back-right quarter view eye-level shot medium shot, Draw a picture of what it looks like 10 seconds later.change her pose and expression.she enjoys the beach.」。使用モデルはQIE2511のbf16版です。
まず、こちらがLoRA適用強度0（オフ）で生成したもの。左の画像に対し「back-right quarter view」と指示して生成したのが右です。多少右側に移動したようにも見えますが、マルチアングルLoRAがオフなので、ちゃんと後ろ側に回り込むことができていないようです。
以下は、LoRA強度0.1から1.4までを並べます。全て同じSeed値・同設定です。
まず、0.1から0.6までは、ほぼLoRAなしの状態と変わりませんでした。「右後ろに回り込め」というアングルチェンジ指示よりも、「10秒後を描いて」「別ポーズ・別表情にして」という別の注文のほうが効きやすい状態ですので、太陽を見えなくしてみたり、片手を下げてみたりしているようです。「0.7」以上になると、LoRA強度が強まるほど、はっきりカメラが右後ろに回り込んでいます。指示通りの位置まで回りこめたのは「0.9」からでした。
また、「0.6」～「0.7」あたりからポーズや表情に変化が出始めますが、「1.2」と「1.4」ではむしろ、入力画像の両手を上げたポーズを守ろうとしているように見えます。LoRAが学習している入力画像の一貫性を保とうとするはたらきが、「別ポーズにして」という指示を上回るほど強まったためと想像できます。
この実験から分かるのは、
①「赤い天井」の実験と同様に、QIE2511はマルチアングルLoRAの影響が相当強まっても、プロンプト指示を守ることができる
②1.0を超えると、「入力画像と一貫性を保とうとする働き」と「プロンプト通りポーズを変えようとする働き」が拮抗し、表情やポーズなどが入力画像に寄っていく
ということです。1.0では右後ろに回り込みつつポーズを変更できていますが、表情は元画像に引っ張られている様子が見えます。よって、指示通りの画角を守りつつ、プロンプトによって変更も加えられるバランスのよいスポットは「0.9-1.0」程度ではないかと目星をつけました。当初はもっと弱めることでバランスが取れるのではないかと思ったのですが、通常のアングルチェンジで使うのとさほど変わらない強さでも、問題なく任意の変化を加えられることが分かりました。
＜さまざまな画像で実験＞
他の画像でも実験してみます。先ほど使用したプロンプトから「彼女はビーチで楽しんでいます」部分を抜いて、「<sks> back-right quarter view eye-level shot medium shot, Draw a picture of what it looks like 10 seconds later.change her pose and expression.」と指示し、さまざまな画像を「LoRA強度0.9」で回転させました。角度は「右後方・ハイアングル・ミディアムショット」。左が入力画像、右が出力結果です。
まずはバレリーナ。背景の一貫性は保ちつつ、右奥に回り込めています。ポーズはあまり大きく変更していませんが、頭の向きや表情が変更できています。
ミナちゃんフィギュア。こちらは「10秒たとうが動かない無機物」と認識したのか、単純に「右後ろ・ハイアングルからの見下ろし」になりました。
ミナちゃんの白背景イラスト。ポーズが変更されたのと、謎の線が出ました。表情はさほどという感じですね。その代わり、普段のSDXLモデルで生成したのかと思うほどよく画風を似せられています。
記号が少なく、容姿再現が難しい鬼怒川さん。こちらはポーズと表情が両方変更されました。「表情が変わると顔立ちも変わる」という法則は健在で、まあ別人ですね。背景がないと、あまりマルチアングルLoRAの恩恵が感じられません。これなら普段のSDXLモデルで普通に生成すればよいからです。
右後ろからの見下ろしが正確にでき、頬杖をついていたポーズが変更されました。他の画像ではカメラ目線になることが多かったのですが、「この状況なら、この子は10秒後も勉強しているであろう」と思われたのでしょうか。
金髪1girl。パーがチョキになりました。背後側に回り込むと、手が裏表逆になってしまう欠陥は特有のものですね。表情も変更されましたが、大きく変わったのは口だけだったので、さほど別人感はありません。
座り鬼怒川さん。右後ろまで回り込み切れず、right side view止まりでした。すぐ後ろに壁があるためかもしれません。ポーズと表情いずれも変更でき、やはり顔立ちは変わりました。指はQIE2511では珍しく六本指ですね。
こちらも同様に、ポーズと表情いずれも変更でき、顔立ちが変わったケース。目のデザインはやはり鬼門のようですね。背後に壁やオブジェクトがあるとうまく回り込めないのも同じです。
この画像の他にも、背景などの都合で指示した角度とどうしても数十度ズレてしまうケースが複数回確認できました。特に、斜めからキャラクターを描いたイラストを正面にするのが苦手のようで、その場合プロンプトで「straight front view」などと指示するとうまくいきました。
