こんにちは、スタジオ真榊です。今回は、このところSNSを騒がせている「リアルタイムAIお絵かき」の始め方と活用方法についてご報告します。
キャンバスに一筆一筆手書きしていくと、それをもとにリアルタイムでAI画像が生成されていく…というのがリアルタイムAIお絵描き(私が勝手にこう呼んでいます)ですが、今回紹介するのは、無料で使える画像編集ソフト「Krita」にComfyUIの環境を構築してリアルタイム生成できるようにしてしまおう、というもの。リアルタイムと聞くとグラボ性能が追いつくか心配になりますが、少なくとも賢木の環境(RTX3060 12GB)で512x512pxなら問題なく楽しむことができました!
生成ボタンを押してしばらく待つこれまでの画像生成は一体なんだったのか?と思ってしまうほどに面白い機能ですので、まだ体験していない方はこの記事を参考にぜひ試していただければと思います。
こちらのFANBOXではこれまで、基本的にA1111版SDwebUIを使った生成について解説してきましたが、最近はかなりComfyUIに移住しているユーザーさんも多いようです。ただ、今回ご紹介する方法はKritaの中にComfy環境を構築する方法ですので、いまComfyUIを使っていなくても問題なく「リアルタイムAIお絵描き」を楽しむことができます!
インストールにかかる作業時間は、だいたい30分~1時間くらい。ただ、Pythonの知識など難しいことは一切ないので、記事に書いた手順通りにぽちぽちしているだけで終わります。さっそくインストール方法を見ていきましょう。
kritaをインストール
まず、こちらのURLからkritaのセットアップファイルをダウンロードしましょう。自動でお使いの環境に最適なバージョンが表示される仕組みですが、「すべてのダウンロード可能なバージョン」から自分で選ぶこともできます。

さっそくダウンロードしてきたexeファイルを実行します。

セットアップに日本語案内がないので、英語で進めることにしましょう。左下にチェックを入れて「Next」。インストール場所はデフォルトではCドライブになっていますが、あとで画像生成に必要な容量の大きいファイルをどんどん入れていくので、空き容量に余裕があるドライブを選びましょう。(最低10GBは空けておくようあとで要求されます)
私はM.2 SSDに生成AI関連のファイルを置いているので、そちらのドライブに放り込みました。デスクトップにショートカットを作るか聞かれるので、とりあえず作っておきましょう(すぐ起動することになりますので)

Completeしたら「Next▶Finish」でおしまい。デスクトップのショートカットなどからKritaを起動します。

こちらがKritaの起動画面。無事起動できるのを確認したら、いったんこちらは閉じてOKです。

Krita-AI-Diffusionをインストール
次に、こちらのURLからKrita用のプラグイン「Krita-AI-Diffusion」をダウンロードします。
記事執筆時点の最新版である「Download krita_ai_diffusion-1.10.0.zip」をDLしました。

Kritaを起動したら「ツール▶スクリプト▶Pythonプラグインをファイルからインポート」をクリック。さきほどDLしてきたzipを選択します。「今すぐプラグインを有効にしますか?」と聞かれたら「はい」を押します。再起動を求められるので、一度Kritaを閉じてもう一度開きます。

次に、「設定▶Kritaの設定を変更」をクリック。

左のメニュー一覧の最下部にある「Pythonプラグインマネージャ」を選択。こちらの「AI Image Diffusion」にチェック「✓」を入れて「OK」を押します。(バージョンによってはすでにチェックが入っているので、確認するだけでOK)

チェックをいま入れた場合は、プラグインを有効にするため、もう一度Kritaを再起動させてください。
次に、「ファイル▶新しいドキュメント」からキャンバスを開きます。この段階ではまだ生成はしないので、サイズなど特に変更する必要はありません。

上のメニューにある「設定▶ドッキングパネル▶AI Image Generation」にチェック「✓」を入れます。

すると、画面上にこのような「AI Image Generation」パネルが表示されますので「Configure」をクリックします。今後も、Krita上で画像生成をするときはこのドッキングパネルでAI Image Generationを使うことになるので、よく覚えておきましょう。

設定画面の見方
「Configure」をクリックすると、今度はこのようなややこしい画面が表示されます。この画面がリアルタイムAIお絵描きに使う「AI Image Generation」の設定画面です。

左に5つのメニューがありますが、まず操作することになるのは1つ目の「Connection」欄。まだ画像生成(リアルタイム生成)に必要なファイルがKrita内に何一つ揃っていませんので、「Not Installed」が並んでいる状態ですね。ここから、必要なものにチェック「✓」を入れて、画面右側の「Install」を押すことで、ファイルを揃えることができます。
「Server path」がComfy環境がインストールされる場所です。デフォルトでは「C:\Users\ユーザー名\AppData\Roaming\krita\pykrita\ai_diffusion\.server」となっています。「フルインストールする場合は最低10GBは空けておいてね」と書いてあるとおり、空き容量が確保できているかチェックしてからインストールボタンを押しましょう。
それぞれのインストール内容は以下の通り。
・Core components:Comfyなどの主要コンポーネント。リアルタイム生成に不可欠なため、デフォルトでチェックが入っています。
・Workloads:リアルタイム生成を行うSDのバージョンをSD1.5かSDXLから選べます。グラフィックボード性能によりますが、SDXLで生成するのがしんどい環境の場合は1.5を選びましょう。
・Recommended checkpoints:リアルタイム生成におすすめな3つのcheckpointが載っています。とりあえずこれらをインストールしてもよいですし、自分の普段使っているCheckpointをあとで選ぶこともできます。
・Upscalers:アップスケーラーを二種類から選べます。
・Control extentions:リアルタイム生成時に使いたいControlnetを選びます。例えば、Scribbleを使えばトンチキな絵を描いても上手に解釈してくれますし、LineartやSoftedge、Canny edgeを使えば、自分の書いた線に忠実に生成してくれます。(よく知らない方はControlnetが理解る!を参照のこと)おすすめはScribbleとLineartです。
必要なものを選択できたら「Install」を押すと、しばらく掛かりますがインストール作業が始まります。

このように「Server running - connected」と表示されたらインストールは完了。自動でサーバーが「running」状態にならなければ、横の「Launch」ボタンを押せばOKです。
【Comfyが二重環境になる点に注意】
さきほども書きましたが、これはローカル環境に新たにComfyやPython環境を構築するものなので、すでにComfyUIをインストールして使っている方には、二重の環境になることをご理解ください。CheckpointやControlnetモデル、LoRAなどを共有できないため、普段使っているファイルをこちらの環境にコピペする必要があります(後述)
普段使っているComfy環境とKritaを連携させてリアルタイム生成したい場合は、下記を参考に自分で多数のカスタムノードとモデルを揃える必要があり、ややハードルが高いです。知識のある方は試してみてください。





