こんにちは、スタジオ真榊です。今回は、日本語の音声をローカル生成できる「Irodori-TTS」の新しい派生モデル、「Irodori-TTS-v4.1-Anime」の検証記事です。今年6月に公開した「v3」の記事はその後v4-smallの登場時に追記していますが、v4.1-Animeの登場を機に、最新環境に合わせて新たな特集としました。

新モデルは「Anime」という名前通り、アニメ調のセリフで追加学習したもの。これまでのモデルと同様、Caption欄で演技指導を行うことも可能となっています。こちらは新モデルで生成した声にMinimax H3で口パクアニメを付けたもの。

27-4_喜びが爆発_MiniMaxH3

正確に文章を読み上げるだけではなく、自然な発音や漢字の読み上げ、感情を込めた「お芝居」がどれくらいできるようになったかが気になるところ。前に作ったボイスサンプルを引き継いで使えるのか、実在人物の声を真似せず、オリジナルな声を作り出せるかといったところを検証してみます。

4.1と4.1 Animeは何が違う?

Irodori-TTSは、AIエンジニアのAratako氏が開発した日本語特化のローカル向け音声生成AIモデル。TTSは「text-to-speech」の略で、テキストを音声に変換できるモデルという意味です。参照音声を読み込ませたり、「活発そうな少年の声」などと指示したりすることで声色を簡単に作りだせることと、絵文字を使って感情表現をコントロールする「emoji」機能があることが大きな特徴。記事執筆時点では、「Irodori-TTS-v4.1-Small」が最新です。

今回の4.1 Animeはその追加学習版。配布元はIrodori-TTS本家のAratako氏ではなく、phasefield-audio氏です。本家の「Aratako/Irodori-TTS-v4.1-Small」を、アニメ風の音声データで追加学習したモデルとなっています。

配布元によると、追加学習する際のキャプションは本家の手法とは独立して行われており、同じキャプションや絵文字でも、本家とは効き方が異なる可能性があるとのこと。

Chromeによる機械翻訳

            ▲Chromeによる機械翻訳

<これまで登場したモデルと特徴>

今回の特集で扱うモデルは次の4種類です。それぞれ前回特集時のV3からの変化をいろいろな比較実験で試していきます。

①v3 VoiceDesign

前回の記事で使った世代。音声参照(読み込ませた音声の模倣)ができる通常版とは別で、こちらは音声参照に加えて文章による声色・演技指定が同時にできるモデル。「年配の男性の声」「若い静かな女性の声」などと指示できる。

②v4 Small

別々だった通常版とVoiceDesign版が統合。常用漢字や難しい漢字の読み上げが改善したほか、同じ人の複数の音声をつなげて、合計120秒まで参照できるようになった。個人的には、絵文字を使って声色やSEを指示するemoji機能がv3よりやや弱体化した印象。

③v4.1 Small

本家の更新版。v4の出力時間を予測する部分がアップデートされている。読ませる文章に対して長すぎる尺を取ってしまい、それが原因で生成が不安定になる問題を抑制する目的のマイナーアップデートで、そこまでv4との差はない。

④v4.1 Anime★

今回検証する派生モデル。v4.1を土台に、別の開発者がアニメ風音声で追加学習したもの。参照音声の声色を真似るときはさほど違いはなく、純粋なTTSでゼロから声をつくるときに安定した「アニメ声」で生成できるのが最大のメリット。

<必要なPCスペック>

配布元には、Anime版が動く最低限のPC性能の情報がありませんが、基本的にはこれまでのモデルと同様、NVIDIA GeForce RTX 30・40・50シリーズで、VRAM8GB以上あたりが目安になるかと思います。生成時間が遅くなっても構わないならCPUで動かすこともできるので、ローカルでの画像 / 動画生成に比べるとずっと気軽に使えるはずです。

導入・アップデート方法

PC内に本家Irodori-TTSのv4.1環境が既にある場合は「Load Model」で取得・読み込みが可能。画面上部の「Model Checkpoint」へ、「phasefield-audio/Irodori-TTS-v4.1-Anime」をそのまま貼り付け、「Load Model」ボタンを押すだけです。

モデルダウンロード中の様子

            ▲モデルダウンロード中の様子

新たにAnime版専用の新環境を作る場合は以下の説明をご参照ください。古いIrodori-TTS環境を消して新たに作り直す場合は、旧環境のバックアップを忘れないようにしましょう。旧Irodori-TTSのフォルダ内に、参照音声や生成済みのボイスなどがたくさん入っていると思いますので、それらの資産を別の場所に避難させてから削除するようにしてください。

<①インストールをCodexやClaude Codeに任せる場合>

CodexやClaude CodeといったAIエージェントを導入した環境なら、自分で環境構築をやる必要はありません。適当な場所に「Irodori-TTS」フォルダを作って、そのフォルダをAIエージェントで開き「これを導入して。https://huggingface.co/phasefield-audio/Irodori-TTS-v4.1-Anime」と頼むのが一番手っ取り早いです。起動方法もやや難しいのですが、そのあたりの交通整理もエージェントがやってくれます。

Codexに指示したところ。モデルは安価なものでOK

        ▲Codexに指示したところ。モデルは安価なものでOK

<②手動でインストールする場合>

手動でインストールする場合、Irodori-TTS本体や必要な部品を取得するのに使う「Git」「uv」といったツールを入手します。入手方法は前回の特集に詳しく書いてあるので、そちらをご参照ください。以下はGitとuvが導入済みの場合の手順です。

まず、PC内の適当な場所に「IrodoriTTS-Anime」などの名前のフォルダを作ったら、エクスプローラーの上部にある「ダウンロード > Irodori-Anime」などと表示された欄をクリック。powershell と入力し、Enterを押すと新しい画面が開きます。そうしたら、次の文字列を1行ずつコピペしてはENTERキーで実行します。(これはNVIDIAのGPUを使う場合の例です)

git clone https://github.com/Aratako/Irodori-TTS.git Irodori-TTS-4.1-Anime

cd Irodori-TTS-4.1-Anime

uv sync --extra cu128

最後の行は、音声生成に必要なライブラリをインストールするコマンドです。VRAMが心もとなく、CPUで動かしたい場合は、この行をuv sync --extra cpu に置き換えます。両方を順番に入れる必要はありません。

ここまで済んだら、声色や演技を指示できるwebUI画面を起動します。同じ画面で以下をコピペして実行します。

uv run --no-sync python gradio_app_voicedesign.py --server-name 127.0.0.1 --server-port 7880

表示された http://127.0.0.1:7880 をブラウザで開きます。URLをコピペしてもよいですし、Ctrlキーを押しながらクリックでもOKです。(7880番がほかのツールで使用中なら、7881などに変えてください)

このような画面が開いたらインストールは成功しています。

②手動でインストールする場合:図版1

画面上部の「Model Checkpoint」へ、次をそのまま貼り付け、「Load Model」ボタンを押すとAnime版のIrodori-TTSモデルがダウンロードされます(モデル本体だけで約3.06GBあるため、初回はダウンロードに時間がかかります)。

phasefield-audio/Irodori-TTS-v4.1-Anime

ちなみに、こちらを入れて「Load Model」すれば本家IrodoriTTSの「v4.1 small」もダウンロードできます。

Aratako/Irodori-TTS-v4.1-Small

現在のUIはモデル同士をプルダウンメニューで切り替えることができずやや不便なので、必要ならAIエージェントに頼んで改修してもらうのが良いでしょう。

<ダブルクリックで起動するには>

手動で導入した場合は、先ほどの新しいフォルダ内に「start_anime.bat」というファイルを作り、次を保存すると起動が楽になります。

@echo off

cd /d "%~dp0"

uv run --no-sync python gradio_app_voicedesign.py --server-name 127.0.0.1 --server-port 7880

pause

これは公式画面を開くための最小の起動ファイルです。まず、Irodori-TTSのメインフォルダ内の何もないところを右クリックし、「新規作成▶テキストドキュメント」をクリックして、ファイル名を「start_anime.bat」などと変更します。できたファイルを右クリックして「編集」を選ぶと空っぽのテキストファイルが開くので、上の文字列をそのまま貼り付けて保存でOKです。

次からIrodori-TTSを起動したいときは、 start_anime.batファイルをダブルクリックすれば起動します。

V4.1 animeの基本的な使い方

こちらが「V4.1 anime」(以下"Anime版")の生成環境です。モデル以外は本家のインターフェースと同じなので、操作の流れは迷わないはず。今回初めてIrodori-TTSを触る人向けに、簡単に説明します。

V4.1 animeの基本的な使い方:図版1

基本操作は「Model Checkpoint」で使うモデルを指定し、「Load Model」で読み込んだら、「Text」に読ませたい日本語のセリフを入れて、「Generate(生成開始)」するだけです。声色を文字で指定したい場合は「Caption / Style Prompt」に話し方を書けばOK。既存の声を使いたい場合は「Reference Audio Uploads」に参照音声を入れます。

Codexなどに任せた場合は既にDLなどが済んでいるかと思いますが、手動でインストールした場合、初回生成時に4.1 animeモデルのDLを伴うため、かなり時間がかかります。起動に使った黒い画面を見るとちゃんと動いているはずですので、慌てずしばらくお待ちください。