こんばんは、スタジオ真榊です。前回に引き続き、ローカル動画生成ツール「Framepack-eichi」の各種検証を行っていきます。今回は動画の動きを激しくでき、セクションごとのキーフレームを守ることもできる「オールパディング機能」についての検証です。
＜注意＝記事中にR-18画像・動画が多数含まれます。閲覧時は周囲にご注意下さい＞
前回の記事をベースとして、今後はさまざまな枝記事で検証を重ねていきたいと思っています。「動画をどう作るか」だけでなく、これまでと同様AIイラストやAI漫画を作るときにどう活用できるか、LoRAや背景素材に使えるか…といった気になる部分を順次検証していくつもりです。
Framepack-eichiは日々盛んにアップデートが加えられているリポジトリですので、記事内容と最新バージョンでUIや使い勝手が変更になる可能性があります。記事中のスクリーンショットが古いUIの場合もありますので、記事執筆時のバージョンをご確認ください。（本記事はv1.61現在）
１．オールパディング機能とは
まず最初に、オールパディング機能で設定できる「パディング値」とは何で、なぜ低くするとキーフレームが守られるのか、本家FramePackのペーパーなどを基に考えてみます。
FramePackは動画生成を複数のセクションに分割して、未来から過去へ向けた順で処理していくわけですが、1つのセクションを処理するとき、生成したフレーム群をTransformerが読めるよう「一定の長さのコンテキスト配列」に詰め替えてから渡しています。このとき、足りない分は 「境界フレームを複製して埋める」作業を行います。これがパディングです。
かなり乱暴に言い換えてみます。セクションごとにFramePackが作るお弁当箱は、きちんと埋まっていないとAIが食べられません。おかずにスキマがあるとき、FramePackはその分ご飯を「カサ増し」して見栄えを整えます。この「カサ増し」がパディングで、その度合いを示す係数が「パディング値」であると考えてみます。
本家FramePackの場合、セクションごとに「どれだけご飯を足してカサ増しするか」を自動で計算するわけですが、eichiに搭載されたオールパディング機能は、この「カサ増しの量」 をユーザーが一発で変えられるつまみを付けた改造版、ということになります。
パディング値が低いほど境界フレームの複製が最小限になり、各セクションが実際に動くべきフレームでほぼ埋まるので、動きが激しくなります。最低値の0.2の場合、お弁当のどの区画もご飯（コピペ）少なめでおかず（キーフレームを参考に作られた本物のフレーム）ぎっしりな感じになるのですね。するとキーフレームの支配が強くなり、eichiによって現在のフレームと違うキーフレームに切り替わった瞬間、一気に姿勢が変わって動きが派手になるわけです。逆にパディング値が大きいと、カサ増しによって各セクションの頭とお尻に同じフレームが大量に並ぶので、セクション境界の前後でほぼ同じ画が続きやすくなるようです。
この例え話は乱暴でかなり穴があるのですが、eichiのReadMeにある通り「オールパディング機能を起動して、数値を低くするほど動きが激しく、キーフレーム指示を厳格に守る」「数値を高くするほど緩和され、キーフレーム通りに動かなくなる」とだけ覚えておけば遠からずだと思います。
