Pose to Witch: Enam Cara Baru Mengontrol Video AI
Ubah rekaman biasa menjadi sinyal kontrol pose, kedalaman, tepi, garis, atau masker, lalu hasilkan ulang sebagai karakter atau dunia baru. Kami meluncurkan enam alat kontrol video MiniMax H3 dan menguji seluruh alur dengan render pose-ke-penyihir yang nyata.
Video-ke-video biasanya meminta satu model untuk mempertahankan segalanya dan mengubah segalanya sekaligus. Itulah sebabnya transfer gaya yang kuat bisa kehilangan langkah, meratakan gerakan kamera, atau perlahan mengganti pemeran dengan orang lain. Alat kontrol H3 baru kami memecah masalah menjadi dua: pertama ekstrak bagian dari klip sumber yang penting, lalu gunakan sinyal itu untuk memandu generasi baru.
Kami telah meluncurkan enam alur kerja yang terfokus—Canny, Kedalaman, HED, MLSD, Pose, dan Inpainting Video—pada model MiniMax-H3-Fun KontrolNet Union. Setiap alat menerima video sumber biasa. ManifoldGen menyiapkan pass kontrol yang benar secara otomatis, atau Anda dapat mematikan pra-pemrosesan dan mengunggah video kontrol yang Anda siapkan di tempat lain.
Uji coba: ubah sebuah penampilan menjadi penyihir hutan
Untuk uji peluncuran, kami menggunakan klip pendek penggerak pose dan meminta penyihir hutan bertubuh penuh dengan jubah zamrud berlapis, rambut perak, dan hutan kuno yang diterangi cahaya bulan. Hasilnya mempertahankan penampilan sumber dan timing tangan sambil mengganti orang, pakaian, pencahayaan, dan lokasi.
INPUT
Source performance / pose control
PROMPT
A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realismOUTPUT — GENERATED WITH MANIFOLDGEN
Hasil penyihir hutan — dibuat pada worker kontrol H3 produksi · 2.3s
Ini adalah hasil produksi aktual, bukan mockup konsep. Kontrol Pose membawa penampilan tubuh; prompt mengontrol subjek dan dunia baru.
Kontrol mana yang sebaiknya Anda gunakan?
| Kontrol | Yang dipertahankan | Penggunaan terbaik |
|---|---|---|
| Pose | Sendi tubuh, gerakan, dan timing penampilan | Ganti pejalan, penari, atau aktor dengan penyihir, makhluk, atau karakter baru |
| Kedalaman | Jalur kamera, jarak, lapisan spasial, dan volume subjek | Bangun ulang lokasi sambil mempertahankan gerakan 3D asli |
| Canny | Siluet kuat dan tepi tegas | Transformasi grafis, produk, kendaraan, dan subjek dengan garis jelas |
| HED | Kontur lebih lembut dan detail organik internal | Wajah, kain, makhluk, ilustrasi, dan bentuk ekspresif |
| MLSD | Garis lurus dominan dan geometri perspektif | Arsitektur, ruangan, jalan, set, dan lingkungan yang dirancang |
| Inpainting | Segala sesuatu di luar masker yang disediakan | Ganti lemari pakaian atau properti, hapus objek, atau tambahkan efek lokal |
Perbedaan yang berguna adalah apa yang tidak bisa Anda hilangkan. Pilih Pose saat penampilan sakral, Kedalaman saat kamera dan volume penting, Canny untuk bentuk tegas, HED untuk kontur bernuansa, dan MLSD untuk geometri konstruksi. Gunakan Inpainting saat sebagian besar bingkai sudah benar dan hanya satu area yang perlu diubah.
Video biasa sudah cukup
Anda tidak perlu menjalankan OpenPose, estimator kedalaman, atau detektor tepi sebelum mengunggah. Biarkan "Ekstrak kontrol dari video biasa saya" tetap aktif dan pekerja akan menurunkan video kontrol yang selaras secara temporal sebelum pembuatan. Pengguna tingkat lanjut dapat menonaktifkan sakelar itu untuk mengirim Canny, Kedalaman, HED, MLSD, atau Pose yang sudah disiapkan secara langsung.
Unggah klip sumber dan video topeng yang cocok. Area putih dibuat ulang sepanjang waktu; area hitam tetap tertambat pada aslinya. Topeng yang stabil menghasilkan suntingan yang lebih stabil.
Pengaturan yang penting
- Kekuatan kontrol menentukan seberapa ketat bidikan baru mengikuti panduan. Mulai dekat dengan default; turunkan untuk perubahan kreatif yang lebih besar dan naikkan saat gerakan atau geometri mulai melenceng.
- Beri perintah untuk penggantinya, bukan sumbernya. Jelaskan subjek baru, lemari pakaian, lingkungan, cahaya, material, dan hasil akhir yang diinginkan.
- Gunakan seed saat membandingkan perintah atau nilai kekuatan. Menjaganya tetap tetap membuat efek dari satu pengaturan yang diubah lebih mudah dinilai.
- Mulai pada 480p dengan cuplikan pendek. Setelah gerakan dan pembingkaian berfungsi, pindah ke 576p atau 720p dan render klip yang lebih panjang.
Alat peluncuran menerima klip hingga 15 detik, dengan pilihan keluaran 3, 5, 8, 10, dan 15 detik. Resolusi adalah 480p, 576p, dan 720p. Pembuatan berjalan sebagai pekerjaan asinkron yang tahan lama, sehingga render panjang tidak bergantung pada menjaga satu permintaan browser tetap terbuka.
Harga peluncuran
Sebelum Anda membuat, halaman menampilkan perkiraan berdasarkan durasi dan resolusi. Saat peluncuran, perkiraan harga 480p adalah $1,16 untuk 3 detik, $1,44 untuk 5 detik, $1,88 untuk 8 detik, dan $2,88 untuk 15 detik. Render 576p sekitar 1,35× perkiraan 480p dan 720p sekitar 2×. Biaya akhir ditentukan dari waktu GPU aktual, jadi Anda membayar untuk komputasi yang digunakan daripada batas tetap yang digelembungkan.
Pembuatan video kontrol adalah pekerjaan GPU dengan memori tinggi. Uji perintah dan kekuatan kontrol pada bagian terpendek yang berguna pada 480p, lalu keluarkan untuk durasi dan resolusi akhir setelah gerakannya benar.
Ketersediaan dan lisensi model
Keenam alat ini menggunakan Lisensi Komunitas MiniMax H3. Saat ini alat-alat tersebut tidak tersedia di Amerika Serikat, Uni Eropa, Inggris, dan Korea Selatan. Alat ini memeriksa wilayah sebelum pembuatan dan memerlukan penerimaan lisensi di antarmuka. Jika alat tersedia di wilayah Anda, tinjau lisensi model yang ditautkan untuk batasan yang berlaku pada penggunaan Anda.
Apa yang harus dibuat terlebih dahulu
Mulailah dengan performa yang bersih dan mudah dibaca: satu orang berjalan, menari, berpose, atau berputar dalam bingkai. Jalankan melalui Pose dan deskripsikan karakter yang siluetnya dapat mengikuti gerakan tersebut secara masuk akal—penyihir, ksatria lapis baja, roh hutan, atau makhluk bergaya. Kemudian ambil sumber yang sama melalui Kedalaman atau HED. Melihat informasi mana yang dipertahankan oleh setiap kontrol adalah cara tercepat untuk memahami keenam alat tersebut, dan sering kali mengungkapkan perlakuan yang lebih kuat daripada yang Anda rencanakan.
Try these prompts on your own shot.
Every example on this page was generated with ManifoldGen. Open the Studio and run the same structure on your idea.