Из позы в ведьму: шесть новых способов управления ИИ-видео

Видео-в-видео обычно требует от одной модели сохранять все и менять все одновременно. Вот почему сильная передача стиля может потерять походку, сгладить движение камеры или медленно заменить исполнителя другим человеком. Наши новые инструменты управления H3 делят проблему на две части: сначала извлекают важную часть исходного клипа, затем используют этот сигнал для управления новой генерацией.

Мы запустили шесть специализированных рабочих процессов — Canny, Глубина, HED, MLSD, Поза и Закрашивание видео — на модели MiniMax-H3-Fun КонтрольNet Union. Каждый инструмент принимает обычное исходное видео. ManifoldGen автоматически подготавливает правильный управляющий проход, или вы можете отключить предварительную обработку и загрузить управляющее видео, подготовленное в другом месте.

Тест: превратить выступление в лесную ведьму

Для тестового запуска мы использовали короткий клип, управляющий позой, и запросили полнотелую лесную ведьму в многослойных изумрудных одеждах, с серебряными волосами, в залитом лунным светом древнем лесу. Результат сохраняет исходное выступление и синхронизацию движений рук, заменяя человека, гардероб, освещение и местоположение.

A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realism

Какой контроль следует использовать?

Полезное различие заключается в том, что вы не можете позволить себе потерять. Выбирайте Поза, когда исполнение священно, Глубина, когда важны камера и объем, Canny для смелых форм, HED для тонких контуров и MLSD для построенной геометрии. Используйте Закрашивание, когда большая часть кадра уже правильна и нужно изменить только одну область.

Обычного видео достаточно

Вам не нужно запускать OpenПоза, оценщик глубины или детектор краев перед загрузкой. Оставьте «Извлечь управление из моего обычного видео» включенным, и работник получит временно выровненное управляющее видео перед генерацией. Опытные пользователи могут отключить этот переключатель, чтобы отправить уже подготовленный проход Canny, Глубина, HED, MLSD или Поза напрямую.

Важные настройки

• Сила управления определяет, насколько строго новый кадр следует руководству. Начните с значения по умолчанию; уменьшите его для более значительного творческого изменения и увеличьте, когда движение или геометрия начинают отклоняться.
• Подскажите замену, а не источник. Опишите новый объект, гардероб, окружение, свет, материалы и желаемый результат.
• Используйте сид при сравнении подсказок или значений силы. Сохранение его фиксированным облегчает оценку эффекта одного измененного параметра.
• Начните с 480p на коротком отрывке. Как только движение и кадрирование будут работать, перейдите к 576p или 720p и отрендерите более длинный клип.

Инструменты запуска принимают клипы до 15 секунд с возможностью вывода 3, 5, 8, 10 и 15 секунд. Разрешения: 480p, 576p и 720p. Генерация выполняется как надежная асинхронная задача, поэтому длительный рендеринг не зависит от поддержания открытым одного запроса браузера.

Цены на запуск

Перед генерацией страница показывает оценку, основанную на длительности и разрешении. На момент запуска приблизительные цены для 480p составляют $1.16 за 3 секунды, $1.44 за 5 секунд, $1.88 за 8 секунд и $2.88 за 15 секунд. Рендер 576p стоит примерно в 1.35 раза дороже, чем 480p, а 720p — примерно в 2 раза. Окончательная стоимость рассчитывается исходя из фактического времени работы GPU, поэтому вы платите за использованные вычисления, а не за завышенный фиксированный лимит.

Доступность и лицензия модели

Эти шесть инструментов используют лицензию MiniMax H3 Community License. В настоящее время они недоступны в США, Европейском Союзе, Великобритании и Южной Корее. Инструмент проверяет территорию перед генерацией и требует принятия лицензии в интерфейсе. Если инструмент доступен в вашем регионе, ознакомьтесь с прикрепленной лицензией модели на предмет ограничений, применимых к вашему использованию.

Что сделать в первую очередь

Начните с чистого, читаемого исполнения: один человек идет, танцует, колдует или поворачивается в кадре. Пропустите это через Поза и опишите персонажа, чей силуэт может правдоподобно следовать этому движению — ведьму, бронированного рыцаря, лесного духа или стилизованное существо. Затем пропустите тот же источник через Глубина или HED. Понимание того, какую информацию сохраняет каждый элемент управления, — это самый быстрый способ освоить шесть инструментов, и часто это приводит к более сильному результату, чем тот, который вы планировали.