こんばんは、スタジオ真榊です。この記事は、ウェブ上で配布されている「LoRA」の使い方に関する特集記事です。LoRAとは何で、どんなことができるのかに始まり、探し方や適用方法、効果的な使い方について、最初につかんでおくべき基礎知識を網羅的にまとめています。

LoRAを使うと、プロンプトだけではどうしても出すことができないキャラクターや構図、シチュエーションを出せるようになるだけでなく、瞳のデザインや描き込みの量、線画の太さに至るまで、あらゆるコントロールが簡単にできるようになります。自分で作る(追加学習する)のはちょっと大変ですが、他のユーザーが生成・配布してくれているファイルを利用するだけならとても簡単。見落としてはまずいポイントも含めて、早めに基本を理解しておきましょう。

1.LoRAの基礎知識

LoRA(Low-Rank Adaptationの略)は、大規模な学習済みモデルを効率的に「ファインチューニング」(意図通りの生成ができるモデルに調整)できる追加学習方法の一つです。ちなみに、追加学習には他にも「LyCORIS」や「DoRA」などさまざまな方法があり、それぞれ学習効率などが異なります。私は「ローラ」と読んでいましたが、「ロラ」と読む人も多いようです。

いかに無数の画像で学習している優秀なモデルであっても、適切なテキストとペアでちゃんと学習していない概念(キャラクター・画風・構図など)を生成することはできません。そこで、ユーザーが必要な分だけデータセットを用意して短時間で「追加学習」を行い、モデルに意図通りの生成をできるようにしてあげるのが、LoRAをはじめとした追加学習技術というわけ。

追加学習で得られた数十MB程度の軽量なファイルをやりとりすることで、学習者以外の人が気軽に成果を享受できることや、いちいち「マージ」をして新しいモデルを作り出す必要がなく、プロンプト一つで簡単にオンオフできるのもLoRAの大きなメリットの一つです。

<LoRAには"適用強度"がある>

LoRAには「適用強度」という概念があり、モデルに対してどのくらいの強さで効果を及ぼすか決めることができます。デフォルトは「1」ですが、LoRAの種類によっては効果が強すぎて生成結果が破綻してしまうことが多く、実際には0.4~0.8程度の強度で適用することが多いです。

逆に、適用度をマイナスにすると、追加学習したのとは逆方面の効果を及ぼすこともできます。例えば、線画を太くするLoRAをマイナス適用すると、線画が細くなるLoRAとして使うことができます。(詳しいやり方は後述)

LoRAには"適用強度"がある:図版1

2.LoRAで"やってはいけないこと"

個人で追加学習を行うことにより、理論上はあらゆる画像生成が可能になるわけですが、「簡単・便利」の裏には注意すべきこともあります。たとえば実在人物の容姿を追加学習させたLoRAで不名誉なニセ写真を作ったり、特定イラストレーターの過去の作品を追加学習させて本人を装って画像を投稿したりといった行為は、トラブルを呼び込むばかりか、刑事事件や民事訴訟に発展する恐れもある危険な行為です。

画風の模倣については、よく「作風や画風はアイデアと同じで著作権保護されない」「著作権保護されるのは表現(上の本質的特徴)だけだ」ということが言われます。これは事実ではありますが、画風LoRAを使っていると、画風だけでなく、著作権保護された「表現」まで模倣できてしまうことがまれにあります。ウェブ上で共有されているLoRAを使って生成だけをする場合でも、あまりに特定著作物に類似している画像が出てしまい、それを私的利用の範囲を超えて利用(SNSに投稿するなど)すれば、著作権侵害になり得るということです。

以前、Civitaiで配布されているあるゲームのキャラクターのLoRAを適用したところ、公式イラストの画風や文字情報、ポーズ、表情、背景の色合いまで「劣化コピー」したような画像しか出てこなかった…といったことがありました。上手に作られたLoRAは、画風や背景、文字情報などに引っ張られることなく「キャラクター容姿」の概念だけを再現することができるのですが、「何が再現したい概念で、何は覚えてほしくないのか」をきちんと学習させられていないと、もろに「表現模倣=パクリ」に見えるものが出てきてしまうのですね。

他人が学習させたLoRAでも、生成物について責任を問われるのは自分です。AIから出力されたものを責任を持ってよく見て、公共の場に出してよいものかを考えることが身を守る上で重要となります。「手描きでやってダメなことはAIでやってもダメ」ということをよく覚えておきましょう。

3.LoRAの種類

さて、アイデアとデータセット次第でさまざまな効果を及ぼすLoRAを作ることができますが、タイプ別に分けると次のようなものがあります。

・キャラLoRA

あるキャラクターの容姿を学習しているLoRA。既存モデルがきちんと学習できていない新しい作品のキャラクターや、マイナーなキャラクター、オリジナルキャラクターなどを安定的に再現できる。ある作品の主要登場人物を1つのLoRAでいっぺんに学習させることもでき、その場合は「作品LoRA」と呼ばれることもある。

・外見LoRA

ある物体や概念の「見た目」を学習するLoRA。例えば服装、建物、物品、武器、表情、ハンドサイン、瞳のデザインなど、ありとあらゆる「見た目」のLoRAが存在する。キャラLoRAはそのキャラを構成するあらゆる外見LoRAの集合体と言える。

・画風LoRA

コミック風、線画風、水彩画風、ラフ風、フィギュア写真風(▼)など、描かれる内容はそのままに画風だけを変化させるもの。ある特定の作家/作品を狙い撃ちにするのではなく、さまざまな対象から共通する要素を抽出した画風LoRA(例:画材系LoRAなど)の場合、トラブルを引き起こしにくい。

3.LoRAの種類:図版1

・調整LoRA

プラス方面、マイナス方面に適用させることで、ある部位や概念を「調整」できるLoRA。例えば線画を太く/細くするBold系LoRAや、塗りの情報量を多く/少なくするFlat系LoRAなどがある。

・部位LoRA

キャラクターの特定部位のみを任意のデザインに変化させる外見LoRAや調整LoRAの一種。目の形を変えたり、太眉にしたり、髪のハイライトの形状を変えたりと内容はさまざま。

・構図LoRA

ある決まった構図やポーズを再現できるLoRA。通常のプロンプトでは失敗するH系のシチュエーションや特殊プレイなどを再現したり、ネットミームを再現したりするLoRAなどもこれに分類できる。

・特定作家LoRA

ある特定作家の作品だけを狙い撃ちで学習させた画風再現LoRA。画風は著作権保護されないが、ある既存作品と類似性・依拠性が揃ってしまった場合、手描きのパクリと同様著作権侵害になる。違法/合法のラインは司法判断ではあるが、あまりに「そのもの」を再現できるLoRAの配布や使用はトラブルのもと。文化庁は、画風だけでなく表現のレベルで模倣できてしまうLoRAの場合、学習行為(厳密には学習のための画像収集)が著作権侵害になることもあると注意喚起している。

・コピー機LoRA

意図的に「過学習」を起こすことで、まるでコピー機のように、ある1枚の画像しか出せなくしてしまうLoRA。そのままでは使いようがないが、コピー機LoRAを2種類作ってその「差分」を抽出することで、狙った効果のある調整LoRAや画風LoRAなどを簡単・的確に作り出すことができる。(別の記事で詳しく紹介しています)

▼「コピー機LoRA法」で作ったオリジナルLoRA。左上の画像から差分抽出し、同じ瞳や顔立ちを再現することに成功しています。

3.LoRAの種類:図版2