こんにちは、スタジオ真榊です。前回に引き続き、illustrious系モデルを使ったCoppy画風LoRAの実験と考察記事をお届けします。今回の実験テーマは、瞳の大きさや黒目の描写などを、適用強度に応じて調整できるLoRAについてです。
前回はこちらの左上の「お手本1girlちゃん」を作ってillustrious用の画風LoRAを学習しましたが、今度はこれを「ベース1girlちゃん」として、「瞳の大きさ調整LoRA」「黒目の大きさ調整LoRA」「黒目の太さ調整LoRA」の三つを作ってみました。
普段使いしているモデルに自分の画風LoRAをマージして「自分モデル」を作るときに、こうした調整LoRAを強弱をつけてマージすることで、より理想の画風にファインチューンするのが狙い。…だったのですが、こうした実験をやっていたところ、調整LoRAには部位によって学習が難しい部位があることが分かり、その原因についてあれこれ実験して考察したのが今回の記事です。
基本的なCoppyLoRAの使い方やコピー機LoRA法の考え方については前回の記事を参照のこと。こちらの記事で触れた部分は再度説明せず、どんどん進めていきます。
１．瞳の大きさを調整「Shrinkeyes LoRA」
まずは一番重要な瞳の大きさを調整するLoRAを作ります。瞳縮小LoRAを作れば、マイナス適用することで瞳拡大LoRAになるわけですから、縮小LoRAと拡大LoRAを両方作る必要はありません。どちらか片方をベース1girlちゃんを加工して作ればOK。
このベース1girlちゃんはすごく目が大きい画風ですので、これを小さくして「お手本画像」としましょう。
やり方は簡単。ClipStudioの「ゆがみツール」の縮小モードを使って、このように目の大きさを縮めるだけです。ツールの範囲はできるだけ下図のように、瞳の大きさとほぼ同じにするのがコツ。
クリックボタンを押している間、このようにきゅーっと小さくなっていきます。ついでに周囲も巻き込んで小さくなるため、ほほや髪の毛のラインが歪んだように見えないよう注意してください。
このように、眉毛や髪の毛にはできるだけ触らず、目の大きさだけを変化させることを心掛けましょう。
あとはCoppyLoRAの「DetailTrainモード」でこのように読み込みます。キャプションは右側のアナライズボタンを押して出てきたものを使用しますが、検出されたタグのうち「bright pupils, white pupils」は画風固有の要素なので削除しておきます。
使用キャプションは上下とも「1girl, solo, breasts, looking at viewer, blush, short hair, simple background, shirt, brown hair, white background, closed mouth, brown eyes, collarbone, upper body, black shirt」ということになります。
RTX4080環境では約40～50分ほどで「shrinkeyes_ill_v1.safetensors」が学習できました。（ベースモデルと何個目のLoRAかを書いておくと便利です）
・テスト生成
さっそくXYZ plotでテスト生成してみましょう。-1～+1の範囲で5段階に分けてLoRA適用しました。うまくいっていれば適用度を高めるほどに瞳は小さくなり、マイナス適用するほどに瞳は大きくなるはずです。
こちらが生成結果。
思った通りのものができたようです。もともと瞳が大きい画風なので、ちょっとマイナス適用は怖い感じになってしまいましたね。この調子でどんどん学習していきましょう。
＜ちょっと脱線：外出中にCoppyLoRAを学習するには？＞
お手本画像をたくさん作っても、一つ一つCoppy学習するのに手間が掛かってしまいますし、学習中はグラボを使う作業ができずやきもきします。外出中にスマホやノートPCから自宅PCのCoppyLoRAを操作して、作っておいたお手本画像で順次LoRAを作ることが可能ですので、需要がある方はささっとリモート環境を作っておきましょう。
やり方はいくつかあろうかと思いますが、こちらの記事の「⑬外出中に母艦PCにアクセスしよう」で紹介しているChromeのリモートデスクトップ機能を使う方法が一番簡単かなと思います。母艦で設定したら、あとは出先の端末からアクセスするだけです。
在宅時間中に学習用の画像ペアをいろいろと作っておいて、外出中に順次学習していくと、時間を有意義に使えるのではないかなと思います。
