Как превратить фотографию в AI-видео

Преобразование изображения в видео — это самая эффективная функция в AI-видео: одна хорошая фотография на входе, несколько секунд правдоподобной жизни на выходе. Это также то, где большинство попыток терпят неудачу, потому что люди запрашивают движение, которое сцена не может поддерживать. Портрету не нужно, чтобы камера вращалась — ему нужно, чтобы дергалось ухо и дышало боке на заднем плане. Это руководство охватывает выбор исходной фотографии, которая чисто анимируется, написание подсказок движения, которые соответствуют сцене, и сохранение узнаваемости объекта.

Пример ниже анимирует одну фотографию в личном стиле в четырехсекундный клип. Тот же процесс работает для портретов, домашних животных, предметных снимков и пейзажей в ManifoldGen.

Начните с фотографии, созданной для движения

Модель может двигать только то, что она может сегментировать, поэтому качество источника решает больше, чем ваш запрос:

• Четкий объект — глаза, мех или края в резком фокусе. Движение усиливает мягкость до неразберихи.
• Чистое разделение фона — объект четко отделен от заднего плана. Загруженные сцены заставляют модель гадать, где заканчивается собака и начинается парк.
• Один объект — один человек или животное на кадр. Два объекта меняют идентичность в середине клипа; группы — это другая техника.
• Некоторое движение уже подразумевается — развевающиеся волосы, гирлянды, вода. Модель гораздо лучше расширяет существующую энергию, чем создает новую.
• Достойное разрешение — примерно 1024px по длинной стороне. Если нет, сначала увеличьте; анимация не может восстановить детали, которых никогда не было в источнике.

Задайте движение, которое соответствует сцене

PERSONAL PHOTO, GENTLE MOTION

INPUT

PROMPT

Gentle breeze moves the fur and the grass around the blanket, ears lift as the dog tilts its head slightly toward camera, string lights twinkle softly, background bokeh breathes, natural handheld micro-movement, subtle and lifelike.

OUTPUT — GENERATED WITH MANIFOLDGEN

· 4s

Исходный кадр был сгенерирован с помощью этого запроса изображения: «Откровенное фото золотистого ретривера, сидящего на одеяле для пикника в парке, с высунутым языком, деревьями и гирляндами боке на заднем плане, бликами солнца позднего дня, слегка несовершенной кадрировкой, как личное фото». Обратите внимание, что каждое предложение о движении называет что-то, что уже присутствует в кадре — мех, трава, уши, огни, боке. Ничто не просит сцену получить новый элемент.

Воспринимайте этот запрос как чек-лист окружающих слоев: окружающая среда (ветерок на шерсти и траве), выразительность (наклон головы к камере), атмосфера (мерцающие огни), оптические эффекты (дышащее боке) и камера (микродвижения с рук). Одно предложение на каждый слой, каждое связано с видимым элементом. Такая структура позволяет результату выглядеть как живой момент, а не как морфинг.

Сохраняйте стабильность идентичности

Дрейф идентичности — изменение формы лиц, миграция отметин — это первый сбой, который замечают люди. Три способа защиты:

• По умолчанию делайте движение едва заметным. Каждая единица движения — это шанс перерисовать объект; «слегка», «нежно» и «едва заметно» — это несущие слова, а не наполнитель.
• Никогда не запрашивайте изменения позы, кроме небольших. Наклоны головы, моргания, дыхание, смещения веса работают. Вставание, повороты, уход — нет.
• Используйте низкую силу, если доступно. Более низкая сила изображения привязывает результат ближе к исходным пикселям за счет меньшего движения — правильный компромисс для лиц и домашних животных.

Если первое поколение все равно дрейфует, уменьшите количество предложений о движении вдвое, прежде чем что-либо еще трогать. Перегруженные запросы заставляют модель импровизировать.

Многоразовый скелет для преобразования изображения в видео

[Environmental motion] moves [ambient elements],
[small expressive action] as [subject] [micro-gesture toward camera],
[atmospheric layer] softly, background [optical layer] breathes,
natural handheld micro-movement, subtle and lifelike.

Устранение неполадок

• Объект тает или меняет вид — слишком много запрошенного движения. Сократите до двух предложений и добавьте «едва заметно».
• Клип выглядит как статическое увеличение — вы описали камеру, но не сцену. Замените язык камеры на предложения о ветерке, моргании и свете.
• Появляются новые объекты (лишние собаки, плавающие листья) — ваш запрос ввел элементы, отсутствующие на фотографии. Описывайте только видимые вещи.
• Движение начинается сильно, затем замирает — длина клипа превышает энергию запроса. Ограничьтесь 4 секундами или добавьте одно продолжительное окружающее предложение, например «ветер продолжает дуть равномерно».
• Фон сильно искажается — увеличьте силу изображения / уменьшите силу движения, чтобы окружение оставалось зафиксированным, пока объект движется.
• Лицо теряет сходство при повторных попытках — каждый раз генерируйте из исходного файла, а не из ранее анимированного кадра.

Выберите три фотографии из вашей галереи, пропустите их через вышеуказанный скелет в Studio и сохраните любой клип, который захочется пересмотреть — затем попробуйте тот же источник с разными пресетами в /tools/cinematic-cameras, чтобы сравнить стили движения.