Від пози до відьми: шість нових способів керувати відео ШІ

Відео-до-відео зазвичай вимагає від однієї моделі зберегти все і змінити все одночасно. Ось чому сильна передача стилю може втратити ходу, згладити рух камери або повільно замінити виконавця іншою людиною. Наші нові інструменти керування H3 розділяють проблему на дві частини: спочатку витягують важливу частину вихідного кліпу, а потім використовують цей сигнал для керування новою генерацією.

Ми запустили шість цілеспрямованих робочих процесів — Canny, Глибина, HED, MLSD, Поза та Зафарбовування відео — на моделі MiniMax-H3-Fun КеруванняNet Union. Кожен інструмент приймає звичайне вихідне відео. ManifoldGen автоматично готує правильний прохід керування, або ви можете вимкнути попередню обробку та завантажити керуюче відео, яке ви підготували в іншому місці.

Тест: перетворити виступ на лісову відьму

Для тестового запуску ми використали короткий кліп, що керує позою, і попросили повнотілу лісову відьму в багатошарових смарагдових шатах, зі срібним волоссям та в освітленому місяцем стародавньому лісі. Результат зберігає вихідний виступ та синхронізацію рук, замінюючи людину, гардероб, освітлення та місце розташування.

A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realism

Яке керування слід використовувати?

Корисна відмінність полягає в тому, що ви не можете дозволити собі втратити. Виберіть Поза, коли виконання є священним, Глибина, коли важливі камера та об'єм, Canny для сміливої форми, HED для нюансованого контуру та MLSD для побудованої геометрії. Використовуйте Зафарбовування, коли більша частина кадру вже правильна, і потрібно змінити лише одну область.

Звичайного відео достатньо

Вам не потрібно запускати OpenПоза, оцінювач глибини або детектор країв перед завантаженням. Залиште увімкненим «Витягти керування з мого звичайного відео», і працівник отримає тимчасово вирівняне керуюче відео перед генерацією. Досвідчені користувачі можуть вимкнути цей перемикач, щоб безпосередньо надіслати вже підготовлений Canny, Глибина, HED, MLSD або Поза.

Важливі налаштування

• Сила керування визначає, наскільки суворо новий кадр відповідає керівництву. Почніть з налаштувань за замовчуванням; зменшіть її для більшої творчої зміни та збільшіть, коли рух або геометрія починають відхилятися.
• Підкажіть заміну, а не джерело. Опишіть новий об'єкт, гардероб, оточення, світло, матеріали та бажаний результат.
• Використовуйте seed при порівнянні підказок або значень сили. Зберігаючи його фіксованим, легше оцінити ефект однієї зміненої настройки.
• Почніть з 480p на короткому уривку. Після того, як рух і кадрування працюють, перейдіть до 576p або 720p і відрендерите довший кліп.

Інструменти запуску приймають кліпи до 15 секунд, з можливістю вибору вихідної тривалості 3, 5, 8, 10 та 15 секунд. Роздільна здатність: 480p, 576p та 720p. Генерація відбувається як довготривала асинхронна задача, тому тривалий рендеринг не залежить від підтримки відкритого запиту в браузері.

Ціни на запуск

Перед генерацією сторінка показує приблизну вартість на основі тривалості та роздільної здатності. На момент запуску орієнтовні ціни для 480p становлять $1.16 за 3 секунди, $1.44 за 5 секунд, $1.88 за 8 секунд та $2.88 за 15 секунд. Рендеринг у 576p коштує приблизно в 1.35 рази дорожче, ніж 480p, а 720p — приблизно в 2 рази. Остаточна вартість розраховується на основі фактичного часу роботи GPU, тому ви платите за використані обчислення, а не за завищену фіксовану ціну.

Доступність та ліцензія моделі

Ці шість інструментів використовують ліцензію MiniMax H3 Community License. Наразі вони недоступні в Сполучених Штатах, Європейському Союзі, Великій Британії та Південній Кореї. Інструмент перевіряє територію перед генерацією та вимагає прийняття ліцензії в інтерфейсі. Якщо інструмент доступний у вашому регіоні, ознайомтеся з пов'язаною ліцензією моделі щодо обмежень, які застосовуються до вашого використання.

Що створити спочатку

Почніть з чистого, зрозумілого виконання: одна людина йде, танцює, кидає або повертається в кадрі. Пропустіть це через Поза і опишіть персонажа, чий силует може правдоподібно слідувати цьому руху — відьму, броньованого лицаря, лісового духа або стилізовану істоту. Потім візьміть те саме джерело через Глибина або HED. Розуміння того, яку інформацію зберігає кожен контроль, є найшвидшим способом зрозуміти шість інструментів і часто виявляє сильніший підхід, ніж той, який ви планували.