Dalla Posa alla Strega: Sei Nuovi Modi per Controllolololare i Video AI

Il video-to-video di solito chiede a un modello di preservare tutto e cambiare tutto contemporaneamente. Ecco perché un forte trasferimento di stile può perdere la camminata, appiattire il movimento della telecamera o sostituire lentamente l'esecutore con una persona diversa. I nostri nuovi strumenti di controllo H3 dividono il problema in due: prima estraggono la parte della clip sorgente che conta, quindi usano quel segnale per guidare una nuova generazione.

Abbiamo lanciato sei flussi di lavoro mirati—Canny, Profondità, HED, MLSD, Posa e Video Inpainting—sul modello MiniMax-H3-Fun ControllololoNet Union. Ogni strumento accetta un normale video sorgente. ManifoldGen prepara automaticamente il passaggio di controllo corretto, oppure puoi disattivare la pre-elaborazione e caricare un video di controllo che hai preparato altrove.

Il test: trasformare una performance in una strega della foresta

Per il test di lancio, abbiamo usato una breve clip di guida della posa e abbiamo chiesto una strega della foresta a figura intera con vesti smeraldo a strati, capelli argentati e una foresta antica illuminata dalla luna. L'output mantiene la performance sorgente e la tempistica delle mani, sostituendo la persona, il guardaroba, l'illuminazione e la location.

A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realism

Quale controllo dovresti usare?

La distinzione utile è ciò che non puoi permetterti di perdere. Scegli Posa quando la performance è sacra, Profondità quando la telecamera e il volume contano, Canny per forme audaci, HED per contorni sfumati e MLSD per geometrie costruite. Usa Inpainting quando la maggior parte del fotogramma è già corretta e solo una regione deve cambiare.

Un video normale è sufficiente

Non è necessario eseguire OpenPosa, uno stimatore di profondità o un rilevatore di bordi prima del caricamento. Mantieni abilitato “Estrai il controllo dal mio video normale” e il worker deriverà un video di controllo temporalmente allineato prima della generazione. Gli utenti avanzati possono disabilitare tale interruttore per inviare direttamente un pass Canny, Profondità, HED, MLSD o Posa già preparato.

Impostazioni importanti

• La forza del controllo decide quanto rigorosamente la nuova ripresa segue la guida. Inizia vicino al valore predefinito; abbassala per un cambiamento creativo maggiore e aumentala quando il movimento o la geometria iniziano a deviare.
• Suggerisci la sostituzione, non la sorgente. Descrivi il nuovo soggetto, il guardaroba, l'ambiente, la luce, i materiali e la finitura desiderata.
• Usa un seed quando confronti i prompt o i valori di forza. Mantenerlo fisso rende più facile giudicare l'effetto di una singola impostazione modificata.
• Inizia a 480p su un breve estratto. Una volta che il movimento e l'inquadratura funzionano, passa a 576p o 720p e renderizza la clip più lunga.

Gli strumenti di lancio accettano clip fino a 15 secondi, con opzioni di output di 3, 5, 8, 10 e 15 secondi. Le risoluzioni sono 480p, 576p e 720p. La generazione viene eseguita come un lavoro asincrono duraturo, quindi un rendering lungo non dipende dal mantenere aperta una singola richiesta del browser.

Prezzi di lancio

Prima di generare, la pagina mostra una stima basata sulla durata e sulla risoluzione. Al lancio, i prezzi approssimativi per 480p sono $1.16 per 3 secondi, $1.44 per 5 secondi, $1.88 per 8 secondi e $2.88 per 15 secondi. Un rendering a 576p costa circa 1.35 volte la stima per 480p e 720p circa 2 volte. L'addebito finale si basa sul tempo di esecuzione effettivo della GPU, quindi paghi per la potenza di calcolo utilizzata piuttosto che un tetto fisso gonfiato.

Disponibilità e licenza del modello

Questi sei strumenti utilizzano la licenza della comunità MiniMax H3. Attualmente non sono disponibili negli Stati Uniti, nell'Unione Europea, nel Regno Unito e in Corea del Sud. Lo strumento verifica il territorio prima della generazione e richiede l'accettazione della licenza nell'interfaccia. Se lo strumento è disponibile nella tua zona, consulta la licenza del modello collegata per le restrizioni che si applicano al tuo utilizzo.

Cosa creare per primo

Inizia con una performance pulita e leggibile: una persona che cammina, balla, lancia o si gira nell'inquadratura. Eseguila tramite Posa e descrivi un personaggio la cui silhouette possa plausibilmente seguire quel movimento—una strega, un cavaliere in armatura, uno spirito della foresta o una creatura stilizzata. Quindi prendi la stessa fonte tramite Profondità o HED. Vedere quali informazioni ogni controllo preserva è il modo più veloce per comprendere i sei strumenti e spesso rivela un trattamento più efficace di quello che avevi pianificato.