Van pose naar heks: zes nieuwe manieren om AI-video te besturen

Video-naar-video vraagt meestal aan één model om alles te behouden en alles tegelijk te veranderen. Daarom kan een sterke stijltransfer de loop verliezen, de camerabeweging afvlakken of de uitvoerder langzaam vervangen door een ander persoon. Onze nieuwe H3-besturingstools splitsen het probleem in tweeën: eerst het deel van de bronclip extraheren dat ertoe doet, en vervolgens dat signaal gebruiken om een nieuwe generatie te begeleiden.

We hebben zes gerichte workflows gelanceerd – Canny, Diepte, HED, MLSD, Pose en Video-inpainting – op het MiniMax-H3-Fun BesturingNet Union-model. Elke tool accepteert een normale bronvideo. ManifoldGen bereidt de juiste controlepas automatisch voor, of u kunt de voorverwerking uitschakelen en een controle-video uploaden die u elders hebt voorbereid.

De test: verander een optreden in een bosheks

Voor de lanceringstest gebruikten we een korte pose-sturende clip en vroegen om een full-body bosheks in gelaagde smaragdgroene gewaden, zilver haar en een maanverlicht oud bos. De output behoudt de bronprestaties en handtiming terwijl de persoon, kleding, belichting en locatie worden vervangen.

A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realism

Welke besturing moet u gebruiken?

Het nuttige onderscheid is wat je niet kunt missen. Kies Pose wanneer de performance heilig is, Diepte wanneer de camera en het volume ertoe doen, Canny voor een gedurfde vorm, HED voor genuanceerde contouren en MLSD voor geconstrueerde geometrie. Gebruik Inpaint wanneer het grootste deel van het frame al goed is en slechts één regio moet veranderen.

Een normale video is voldoende

Je hoeft OpenPose, een diepteschatter of een randdetector niet uit te voeren voordat je uploadt. Houd 'Extract control from my normal video' ingeschakeld en de worker leidt een temporeel uitgelijnde controlevideo af vóór de generatie. Gevorderde gebruikers kunnen die schakelaar uitschakelen om een reeds voorbereide Canny-, Diepte-, HED-, MLSD- of Pose-pass direct te verzenden.

Instellingen die ertoe doen

• Besturing strength bepaalt hoe strikt de nieuwe opname de gids volgt. Begin dicht bij de standaardwaarde; verlaag deze voor een grotere creatieve verandering en verhoog deze wanneer beweging of geometrie begint af te wijken.
• Prompt de vervanging, niet de bron. Beschrijf het nieuwe onderwerp, de kleding, de omgeving, het licht, de materialen en de gewenste afwerking.
• Gebruik een seed bij het vergelijken van prompts of sterkte-waarden. Door deze vast te houden, is het effect van één gewijzigde instelling gemakkelijker te beoordelen.
• Begin met 480p op een kort fragment. Zodra beweging en kadrering werken, ga je naar 576p of 720p en render je de langere clip.

De lanceringstools accepteren clips tot 15 seconden, met uitvoeropties van 3, 5, 8, 10 en 15 seconden. De resoluties zijn 480p, 576p en 720p. Generatie draait als een duurzame asynchrone taak, dus een lange render is niet afhankelijk van het openhouden van één browserverzoek.

Lanceerprijzen

Voordat u genereert, toont de pagina een schatting op basis van duur en resolutie. Bij de lancering zijn de geschatte 480p-prijzen $1.16 voor 3 seconden, $1.44 voor 5 seconden, $1.88 voor 8 seconden en $2.88 voor 15 seconden. Een 576p-render is ongeveer 1.35× de 480p-schatting en 720p is ongeveer 2×. De uiteindelijke kosten worden bepaald door de werkelijke GPU-runtijd, dus u betaalt voor de gebruikte rekenkracht in plaats van een opgevuld vast plafond.

Beschikbaarheid en modellicentie

Deze zes tools gebruiken de MiniMax H3 Community License. Ze zijn momenteel niet beschikbaar in de Verenigde Staten, de Europese Unie, het Verenigd Koninkrijk en Zuid-Korea. De tool controleert het grondgebied vóór generatie en vereist acceptatie van de licentie in de interface. Als de tool beschikbaar is waar u zich bevindt, raadpleeg dan de gekoppelde modellicentie voor de beperkingen die van toepassing zijn op uw gebruik.

Wat je als eerste moet maken

Begin met een schone, leesbare performance: één persoon die loopt, danst, werpt of draait in beeld. Haal het door Pose en beschrijf een personage wiens silhouet die beweging plausibel kan volgen – een heks, gepantserde ridder, bosgeest of gestileerd wezen. Haal vervolgens dezelfde bron door Diepte of HED. Zien welke informatie elke controle behoudt, is de snelste manier om de zes tools te begrijpen, en onthult vaak een sterkere behandeling dan degene die u gepland had.