ポーズから魔女へ：AIビデオを制御する6つの新しい方法

ビデオからビデオへの変換は通常、1つのモデルにすべてを保持しつつすべてを変更することを要求します。そのため、強力なスタイル転送では歩行が失われたり、カメラの動きが平坦になったり、パフォーマーが徐々に別の人物に置き換わったりすることがあります。新しいH3制御ツールはこの問題を2つに分割します。まずソースクリップの重要な部分を抽出し、その信号を使って新しい生成をガイドします。

MiniMax-H3-Fun 制御Net Unionモデルで、キャニー、深度、HED、MLSD、ポーズ、ビデオインペインティングの6つの焦点を絞ったワークフローをリリースしました。各ツールは通常のソースビデオを受け入れます。ManifoldGenが正しい制御パスを自動的に準備するか、前処理をオフにして、他の場所で準備した制御ビデオをアップロードすることもできます。

テスト：パフォーマンスを森の魔女に変える

ローンチテストでは、短いポーズ駆動クリップを使用し、エメラルド色のローブを重ね、銀髪、月明かりの古代の森にいる全身の森の魔女を要求しました。出力はソースのパフォーマンスと手のタイミングを維持しながら、人物、衣装、照明、場所を置き換えます。

A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realism

どの制御を使うべきか？

重要な違いは、失いたくないものが何かです。パフォーマンスが重要な場合はポーズ、カメラとボリュームが重要な場合は深度、大胆なシェイプにはキャニー、繊細な輪郭にはHED、構築されたジオメトリにはMLSDを選びましょう。フレームの大部分がすでに正しく、1つの領域だけを変更したい場合はインペインティングを使用します。

通常のビデオで十分です

アップロード前にOpenポーズ、深度推定、エッジ検出を実行する必要はありません。「通常のビデオからコントロールを抽出」を有効にしたままにすると、生成前に時間的に整合したコントロールビデオがワーカーによって自動的に生成されます。上級ユーザーはそのスイッチを無効にして、準備済みのキャニー、深度、HED、MLSD、またはポーズパスを直接送信できます。

重要な設定

• コントロール強度は、新しいショットがガイドにどれだけ厳密に従うかを決定します。デフォルト付近から始め、より大きなクリエイティブな変更には下げ、モーションやジオメトリがずれ始めたら上げてください。
• 置き換える対象をプロンプトし、ソースをプロンプトしないでください。新しい被写体、衣装、環境、光、素材、希望する仕上がりを説明します。
• プロンプトや強度の値を比較するときはシードを使用してください。シードを固定すると、1つの変更された設定の効果を判断しやすくなります。
• 短い抜粋で480pから始めてください。モーションとフレーミングが機能したら、576pまたは720pに上げて長いクリップをレンダリングします。

起動ツールは最大15秒のクリップを受け付け、出力は3、5、8、10、15秒から選択できます。解像度は480p、576p、720pです。生成は耐久性のある非同期ジョブとして実行されるため、長時間のレンダリングでもブラウザのリクエストを開いたままにする必要はありません。

起動時の料金

生成前に、ページには時間と解像度に基づく見積もりが表示されます。起動時のおおよその480pの価格は、3秒で1.16ドル、5秒で1.44ドル、8秒で1.88ドル、15秒で2.88ドルです。576pのレンダリングは480pの約1.35倍、720pは約2倍です。最終的な請求額は実際のGPU実行時間に基づいて確定するため、固定の上限ではなく、使用したコンピューティングに対して支払います。

利用可能性とモデルライセンス

これらの6つのツールはMiniMax H3コミュニティライセンスを使用しています。現在、米国、欧州連合、英国、韓国では利用できません。ツールは生成前に地域をチェックし、インターフェースでのライセンス同意が必要です。お住まいの地域でツールが利用可能な場合は、リンクされたモデルライセンスを確認して、あなたの使用に適用される制限を確認してください。

最初に作るもの

クリーンで読みやすいパフォーマンスから始めましょう。一人の人物が歩く、踊る、キャストする、またはフレーム内で回転するなどです。それをポーズに通し、その動きをもっともらしく追跡できるシルエットのキャラクターを説明します。魔女、装甲騎士、森の精霊、または様式化された生き物などです。次に、同じソースをデプスまたはHEDに通します。各コントロールがどの情報を保持するかを確認することが、6つのツールを理解する最速の方法であり、多くの場合、計画していたよりも強力な処理方法が明らかになります。