Як перетворити фото на AI-відео

Перетворення зображення на відео — це найефективніша функція в AI-відео: одне гарне фото на вході, кілька секунд правдоподібного життя на виході. Це також те, де більшість спроб зазнають невдачі, тому що люди просять рух, який сцена не може підтримати. Портрету не потрібна камера, щоб обертатися — йому потрібно, щоб вухо смикалося, а боке на задньому плані дихало. Цей посібник охоплює вибір вихідного фото, яке чисто анімується, написання підказок руху, що відповідають сцені, і збереження впізнаваності об'єкта.

Приклад нижче анімує одну фотографію в особистому стилі в чотирисекундний кліп. Той самий конвеєр працює для портретів, домашніх тварин, знімків продуктів та пейзажів у ManifoldGen.

Почніть з фото, створеного для руху

Модель може рухати лише те, що вона може сегментувати, тому якість джерела вирішує більше, ніж ваш запит:

• Чіткий об'єкт — очі, хутро або краї в чіткому фокусі. Рух посилює м'якість до каші.
• Чисте розділення фону — об'єкт чітко відрізняється від заднього плану. Завантажені сцени змушують модель вгадувати, де закінчується собака і починається парк.
• Один об'єкт — одна людина або тварина на кадр. Два об'єкти змінюють ідентичність посередині кліпу; групи — це інша техніка.
• Вже передбачений певний рух — волосся, що розвівається вітром, гірлянди, вода. Модель розширює існуючу енергію набагато краще, ніж створює нову.
• Пристойна роздільна здатність — приблизно 1024px по довгій стороні. Спочатку збільшіть, якщо ні; анімація не може відновити деталі, яких ніколи не було в джерелі.

Підкажіть рух, що відповідає сцені

PERSONAL PHOTO, GENTLE MOTION

INPUT

PROMPT

Gentle breeze moves the fur and the grass around the blanket, ears lift as the dog tilts its head slightly toward camera, string lights twinkle softly, background bokeh breathes, natural handheld micro-movement, subtle and lifelike.

OUTPUT — GENERATED WITH MANIFOLDGEN

· 4s

Вихідний кадр був згенерований за допомогою цього запиту зображення: «Відверте фото золотистого ретривера, що сидить на ковдрі для пікніка в парку, з висунутим язиком, деревами та гірляндами боке позаду, сонячний спалах пізнього дня, трохи недосконала композиція, як особисте фото». Зверніть увагу, що кожна фраза руху називає щось, що вже присутнє в кадрі — хутро, трава, вуха, світло, боке. Ніщо не вимагає від сцени нового елемента.

Сприймайте цей запит як контрольний список шарів оточення: навколишнє середовище (вітерець на хутрі та траві), експресивне (нахил голови до камери), атмосферне (мерехтливі вогники), оптичне (дихаюче боке) та камера (мікрорухи з рук). Одне речення на шар, кожен пов'язаний з видимим елементом. Така структура дозволяє отримати живий момент, а не морфінг.

Зберігайте стабільність ідентичності

Дрейф ідентичності — зміна форми облич, міграція відмітин — це режим відмови, який люди помічають найперше. Три способи захисту:

• За замовчуванням зберігайте рух ледь помітним. Кожна одиниця руху — це шанс перемалювати об'єкт; «трохи», «м'яко» та «ледь помітно» — це важливі слова, а не заповнювачі.
• Ніколи не просіть про зміни пози, окрім невеликих. Нахили голови, моргання, дихання, перенесення ваги працюють. Вставання, обертання, відхід — ні.
• Використовуйте низьку силу, якщо доступно. Менша сила зображення прив'язує результат ближче до вихідних пікселів за рахунок меншого руху — правильний компроміс для облич та домашніх тварин.

Якщо перше покоління все одно дрейфує, зменшіть кількість рухових речень вдвічі, перш ніж торкатися чогось іншого. Перевантажені запити змушують модель імпровізувати.

Багаторазовий скелет перетворення зображення на відео

[Environmental motion] moves [ambient elements],
[small expressive action] as [subject] [micro-gesture toward camera],
[atmospheric layer] softly, background [optical layer] breathes,
natural handheld micro-movement, subtle and lifelike.

Вирішення проблем

• Об'єкт тане або змінює вид — занадто багато запитаного руху. Зменшіть до двох речень і додайте «ледь помітний».
• Кліп виглядає як статичний зум — ви описали камеру, але не сцену. Замініть мову камери на речення про вітерець, моргання та світло.
• З'являються нові об'єкти (додаткові собаки, плаваюче листя) — ваш запит ввів елементи, відсутні на фото. Описуйте лише видимі речі.
• Рух починається сильно, потім застигає — тривалість кліпу перевищує енергію запиту. Тримайтеся 4 секунд або додайте одне стійке навколишнє речення, наприклад, «вітер продовжується стабільно».
• Фон сильно спотворюється — збільште силу зображення / зменшіть силу руху, щоб оточення залишалося нерухомим, поки об'єкт рухається.
• Обличчя втрачає схожість при повторних спробах — щоразу генеруйте з оригінального файлу, а не з раніше анімованого кадру.

Виберіть три фотографії зі своєї галереї, пропустіть їх через наведений вище скелет у Studio та збережіть будь-який кліп, який захочеться переглянути ще раз — потім спробуйте те саме джерело з різними пресетами в розділі /tools/cinematic-cameras, щоб порівняти стилі руху.