Von Pose zu Hexe: Sechs neue Wege zur Steuerung von KI-Videos

Video-zu-Video verlangt normalerweise von einem Modell, alles zu bewahren und gleichzeitig alles zu ändern. Deshalb kann ein starker Stiltransfer den Gang verlieren, die Kamerabewegung abflachen oder den Darsteller langsam durch eine andere Person ersetzen. Unsere neuen H3-Steuerungstools teilen das Problem in zwei Teile: Zuerst wird der relevante Teil des Quellclips extrahiert, dann wird dieses Signal verwendet, um eine neue Generierung zu steuern.

Wir haben sechs fokussierte Workflows – Canny, Tiefe, HED, MLSD, Pose und Video-Inpainting – auf dem MiniMax-H3-Fun SteuerungNet Union Modell gestartet. Jedes Tool akzeptiert ein normales Quellvideo. ManifoldGen bereitet den korrekten Kontrolldurchlauf automatisch vor, oder Sie können die Vorverarbeitung ausschalten und ein Kontrollvideo hochladen, das Sie anderswo vorbereitet haben.

Der Test: Eine Performance in eine Waldhexe verwandeln

Für den Starttest verwendeten wir einen kurzen Pose-Driving-Clip und baten um eine Ganzkörper-Waldhexe in geschichteten smaragdgrünen Roben, silbernem Haar und einem mondbeschienenen alten Wald. Die Ausgabe behält die ursprüngliche Performance und das Timing der Hände bei, während die Person, die Garderobe, die Beleuchtung und der Ort ersetzt werden.

A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realism

Welche Steuerung sollten Sie verwenden?

Die nützliche Unterscheidung ist, was Sie nicht verlieren dürfen. Wählen Sie Pose, wenn die Performance heilig ist, Tiefe, wenn Kamera und Volumen wichtig sind, Canny für kühne Formen, HED für nuancierte Konturen und MLSD für konstruierte Geometrie. Verwenden Sie Inpainting, wenn der größte Teil des Bildes bereits stimmt und nur ein Bereich geändert werden soll.

Ein normales Video ist ausreichend

Sie müssen OpenPose, einen Tiefenschätzer oder einen Kantendetektor vor dem Hochladen nicht ausführen. Lassen Sie „Steuerung aus meinem normalen Video extrahieren“ aktiviert, und der Worker leitet vor der Generierung ein zeitlich abgestimmtes Kontrollvideo ab. Fortgeschrittene Benutzer können diesen Schalter deaktivieren, um einen bereits vorbereiteten Canny-, Tiefe-, HED-, MLSD- oder Pose-Pass direkt zu senden.

Wichtige Einstellungen

• Die Kontrollstärke entscheidet, wie genau die neue Aufnahme der Führung folgt. Beginnen Sie nahe dem Standardwert; senken Sie ihn für eine größere kreative Änderung und erhöhen Sie ihn, wenn Bewegung oder Geometrie zu driften beginnen.
• Prompten Sie den Ersatz, nicht die Quelle. Beschreiben Sie das neue Motiv, die Garderobe, die Umgebung, das Licht, die Materialien und das gewünschte Finish.
• Verwenden Sie einen Seed, wenn Sie Prompts oder Stärkewerte vergleichen. Wenn er fest bleibt, lässt sich der Effekt einer geänderten Einstellung leichter beurteilen.
• Beginnen Sie bei 480p mit einem kurzen Ausschnitt. Sobald Bewegung und Bildausschnitt funktionieren, wechseln Sie zu 576p oder 720p und rendern Sie den längeren Clip.

Die Start-Tools akzeptieren Clips von bis zu 15 Sekunden, mit Ausgabeoptionen von 3, 5, 8, 10 und 15 Sekunden. Die Auflösungen sind 480p, 576p und 720p. Die Generierung läuft als dauerhafter asynchroner Job, sodass ein langer Render nicht davon abhängt, eine Browseranfrage offen zu halten.

Startpreise

Vor der Generierung zeigt die Seite eine Schätzung basierend auf Dauer und Auflösung an. Zum Start betragen die ungefähren 480p-Preise $1.16 für 3 Sekunden, $1.44 für 5 Sekunden, $1.88 für 8 Sekunden und $2.88 für 15 Sekunden. Ein 576p-Render kostet etwa das 1,35-fache der 480p-Schätzung und 720p etwa das 2-fache. Die endgültige Abrechnung erfolgt basierend auf der tatsächlichen GPU-Laufzeit, sodass Sie für die genutzte Rechenleistung und nicht für eine überhöhte feste Obergrenze zahlen.

Verfügbarkeit und Modelllizenz

Diese sechs Tools verwenden die MiniMax H3 Community License. Sie sind derzeit in den Vereinigten Staaten, der Europäischen Union, dem Vereinigten Königreich und Südkorea nicht verfügbar. Das Tool prüft das Territorium vor der Generierung und erfordert die Annahme der Lizenz in der Benutzeroberfläche. Wenn das Tool an Ihrem Standort verfügbar ist, lesen Sie die verlinkte Modelllizenz für die Einschränkungen, die für Ihre Nutzung gelten.

Was zuerst erstellen

Beginnen Sie mit einer sauberen, gut lesbaren Performance: eine Person, die geht, tanzt, gestikuliert oder sich im Bild dreht. Führen Sie es durch Pose und beschreiben Sie einen Charakter, dessen Silhouette dieser Bewegung plausibel folgen kann – eine Hexe, ein gepanzerter Ritter, ein Waldgeist oder eine stilisierte Kreatur. Nehmen Sie dann dieselbe Quelle durch Tiefe oder HED. Zu sehen, welche Informationen jede Kontrolle bewahrt, ist der schnellste Weg, die sechs Tools zu verstehen, und offenbart oft eine stärkere Behandlung als die, die Sie geplant hatten.