Poza Cadı: Yapay Zeka Videosunu Kontrol Etmenin Altı Yeni Yolu
Sıradan görüntüleri bir poza, derinliğe, kenara, çizgiye veya maskeli kontrol sinyaline dönüştürün, ardından yeni bir karakter veya dünya olarak yeniden oluşturun. Altı MiniMax H3 kontrol-video aracını piyasaya sürdük ve gerçek bir pozdan-cadıya render ile tüm yolu test ettik.
Videodan videoya genellikle bir modelden her şeyi korumasını ve aynı anda her şeyi değiştirmesini ister. Bu nedenle güçlü bir stil transferi yürüyüşü kaybedebilir, kamera hareketini düzleştirebilir veya sanatçıyı yavaşça farklı bir kişiyle değiştirebilir. Yeni H3 kontrol araçlarımız sorunu ikiye ayırır: önce kaynak klibin önemli kısmını çıkarır, ardından bu sinyali yeni bir üretimi yönlendirmek için kullanır.
MiniMax-H3-Fun KontrolNet Union modelinde altı odaklanmış iş akışı başlattık: Canny, Derinlik, HED, MLSD, Poz ve Video Inpainting. Her araç normal bir kaynak video kabul eder. ManifoldGen doğru kontrol geçişini otomatik olarak hazırlar veya ön işlemeyi kapatıp başka bir yerde hazırladığınız bir kontrol videosu yükleyebilirsiniz.
Test: bir performansı orman cadısına dönüştürmek
Lansman testi için kısa bir poz sürüş klibi kullandık ve katmanlı zümrüt cüppeler, gümüş saçlar ve ay ışığıyla aydınlatılmış antik bir ormanda tam vücut bir orman cadısı istedik. Çıktı, kişiyi, gardırobu, aydınlatmayı ve konumu değiştirirken kaynak performansı ve el zamanlamasını koruyor.
INPUT
Source performance / pose control
PROMPT
A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realismOUTPUT — GENERATED WITH MANIFOLDGEN
Orman cadısı çıktısı — üretim H3 kontrol işçisinde oluşturuldu · 2.3s
Bu, bir konsept maketi değil, gerçek üretim çıktısıdır. Poz kontrolü vücut performansını taşır; prompt yeni konuyu ve dünyayı kontrol eder.
Hangi kontrolü kullanmalısınız?
| Kontrol | Neyi korur | En iyi kullanım |
|---|---|---|
| Poz | Vücut eklemleri, jest ve performans zamanlaması | Bir yürüyüşçüyü, dansçıyı veya aktörü bir büyücü, yaratık veya yeni bir karakterle değiştirin |
| Derinlik | Kamera yolu, mesafe, uzamsal katmanlar ve konu hacmi | Orijinal 3D hareketi koruyarak bir konumu yeniden inşa edin |
| Canny | Güçlü silüetler ve keskin kenarlar | Grafik dönüşümler, ürünler, araçlar ve net bir şekilde ana hatları çizilmiş konular |
| HED | Daha yumuşak konturlar ve iç organik detaylar | Yüzler, kumaş, yaratıklar, illüstrasyon ve etkileyici şekiller |
| MLSD | Baskın düz çizgiler ve perspektif geometri | Mimari, odalar, sokaklar, setler ve tasarlanmış ortamlar |
| Inpainting | Sağlanan maskenin dışındaki her şey | Kıyafet veya aksesuarları değiştirin, nesneleri kaldırın veya yerelleştirilmiş efektler ekleyin |
Faydalı ayrım, kaybetmeyi göze alamayacağınız şeydir. Performans kutsalsa Poz'u, kamera ve hacim önemliyse Derinlik'i, cesur şekiller için Canny'yi, nüanslı konturlar için HED'i ve yapılandırılmış geometri için MLSD'yi seçin. Çerçevenin çoğu zaten doğruysa ve yalnızca bir bölgenin değişmesi gerekiyorsa Inpainting'i kullanın.
Normal bir video yeterlidir
Yüklemeden önce OpenPoz, bir derinlik tahmincisi veya bir kenar dedektörü çalıştırmanıza gerek yoktur. "Normal videomdan kontrolü çıkar" seçeneğini etkin tutun ve çalışan, üretimden önce zamansal olarak hizalanmış bir kontrol videosu türetir. Gelişmiş kullanıcılar, önceden hazırlanmış bir Canny, Derinlik, HED, MLSD veya Poz geçişini doğrudan göndermek için bu anahtarı devre dışı bırakabilir.
Kaynak klibi ve eşleşen bir maske videosunu yükleyin. Beyaz alanlar zaman içinde yeniden oluşturulur; siyah alanlar orijinaline bağlı kalır. Stabil bir maske, daha stabil bir düzenleme sağlar.
Önemli Ayarlar
- Kontrol gücü, yeni çekimin kılavuzu ne kadar sıkı takip edeceğine karar verir. Varsayılan değere yakın başlayın; daha büyük bir yaratıcı değişiklik için düşürün ve hareket veya geometri kaymaya başladığında yükseltin.
- Kaynağı değil, değiştirmeyi isteyin. Yeni konuyu, kıyafeti, ortamı, ışığı, malzemeleri ve istenen bitişi tanımlayın.
- İstemleri veya güç değerlerini karşılaştırırken bir tohum kullanın. Sabit tutmak, değişen bir ayarın etkisini değerlendirmeyi kolaylaştırır.
- Kısa bir alıntıda 480p ile başlayın. Hareket ve çerçeveleme işe yaradığında, 576p veya 720p'ye geçin ve daha uzun klibi işleyin.
Başlatma araçları 15 saniyeye kadar klipleri kabul eder; 3, 5, 8, 10 ve 15 saniyelik çıktı seçenekleri mevcuttur. Çözünürlükler 480p, 576p ve 720p'dir. Üretim dayanıklı bir eşzamansız iş olarak çalışır, bu nedenle uzun bir render, bir tarayıcı isteğini açık tutmaya bağlı değildir.
Başlangıç fiyatlandırması
Üretmeden önce, sayfa süre ve çözünürlüğe dayalı bir tahmin gösterir. Başlangıçta, yaklaşık 480p fiyatları 3 saniye için 1,16$, 5 saniye için 1,44$, 8 saniye için 1,88$ ve 15 saniye için 2,88$'dır. 576p render, 480p tahmininin yaklaşık 1,35 katı ve 720p yaklaşık 2 katıdır. Nihai ücret, gerçek GPU çalışma süresinden belirlenir, bu nedenle şişirilmiş sabit bir tavan yerine kullanılan hesaplama için ödeme yaparsınız.
Kontrol-video üretimi, yüksek bellekli GPU işidir. İstem ve kontrol gücünü 480p'de en kısa faydalı bölümde test edin, ardından hareket doğru olduktan sonra son süre ve çözünürlüğe yatırım yapın.
Kullanılabilirlik ve model lisansı
Bu altı araç MiniMax H3 Topluluk Lisansını kullanır. Şu anda Amerika Birleşik Devletleri, Avrupa Birliği, Birleşik Krallık ve Güney Kore'de kullanılamamaktadır. Araç, üretimden önce bölgeyi kontrol eder ve arayüzde lisans kabulünü gerektirir. Araç bulunduğunuz yerde mevcutsa, kullanımınıza uygulanan kısıtlamalar için bağlantılı model lisansını inceleyin.
İlk ne yapmalı
Temiz, okunabilir bir performansla başlayın: çerçevede yürüyen, dans eden, bir şeyler atan veya dönen tek bir kişi. Bunu Poz aracılığıyla çalıştırın ve silüeti bu hareketi makul bir şekilde takip edebilecek bir karakteri tanımlayın—bir cadı, zırhlı şövalye, orman ruhu veya stilize edilmiş bir yaratık. Ardından aynı kaynağı Derinlik veya HED aracılığıyla geçirin. Her kontrolün hangi bilgiyi koruduğunu görmek, altı aracı anlamanın en hızlı yoludur ve genellikle planladığınızdan daha güçlü bir yaklaşım ortaya çıkarır.
Try these prompts on your own shot.
Every example on this page was generated with ManifoldGen. Open the Studio and run the same structure on your idea.