Ми створили два короткометражні фільми з діалогами, використовуючи одну відеомодель

Ми створили два повноцінні короткометражні фільми з діалогами — «Ember», трагедію в жанрі магічного нуару, дія якої відбувається в пустельному місті, та «Hollow Orbit», історію про розбитий дослідницький корабель на біолюмінесцентній планеті з припливним блокуванням — використовуючи лише нашу відеомодель H3 на власному стеку GPU. Кожен фільм складається з 8 кадрів по 5 секунд: всього 16 кадрів, і кожен кадр є єдиною структурованою підказкою. H3 не має пам'яті між кадрами, тому узгодженість персонажів зберігається в самій підказці, а діалоги генеруються моделлю, при цьому синхронізація губ відбувається під час генерації. Ця стаття описує весь робочий процес: техніку ідентичності, формат діалогів, чому музика ніколи не потрапляє в модель, і скільки коштують рендери.

Два фільми, шістнадцять підказок

Обидва фільми спочатку планувалися як списки кадрів, а потім як промпти — один промпт на кадр, відтворений послідовно на одному локальному GPU-воркері. «Ембер» — це магічно-нуарна трагедія: вулична чаклунка викрадає заборонене вугілля, щоб врятувати свого вмираючого брата, охоронець, який її кохає, приймає смертельний удар за неї, і вона спалює власну іскру, щоб врятувати його, розсипаючись на вуглинки на світанку. Боротьба, кохання, втрата — сорок секунд цього. «Порожня орбіта» залишає дослідницький корабель на припливно-заблокованій планеті: інопланетний Хор відновлює їхній двигун, але вимагає розум мешканця, другий пілот Лена вирішує залишитися і стає кермом, а долина розквітає в її татуюванні, коли корабель тікає.

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

Як працює послідовність персонажів

Кожна генерація H3 є незалежною: кадр 7 не має знань про кадр 6. Тому послідовність — це дисципліна промптів, а не функція моделі. Кожен промпт кадру починається з того самого блоку IDENTITY LOCK, вставленого дослівно, який фіксує все про персонажа, що ніколи не повинно змінюватися. Ось скорочений замок SERA зі специфікації Ember:

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

Замок фіксує обличчя, волосся, гардероб, прикраси, навіть те, як проявляється її магія — і він вставляється у всі вісім промптів Ember без зміни жодного слова. Промпт кадру нижче змінює лише те, що повинно змінюватися: місце розташування, дія, камера, світло, звук. Дрейф починається в той момент, коли ви перефразовуєте замок; «чорна заплетена корона», яка стає «вільними пляжними хвилями» в кадрі 6, — це інший персонаж.

Діалог, який насправді синхронізується з губами

Репліки записуються в промпт кадру з їх точним формулюванням, і H3 їх виконує — синхронізація губ відбувається під час генерації, а не на етапі пост-обробки. Два правила тримають кожен діалоговий кадр разом: назвіть мовця та позначте слова як фіксовані. Остання репліка Ембер до охоронця, коли вона спалює свою іскру на світанку:

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

І вирішальний момент Hollow Orbit, коли Хор відновив двигун і назвав свою ціну:

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

Обидві репліки короткі навмисно: крупний план, одне речення, точні слова в лапках та рядок Audio:, що містить лише голос та дієгетичний звук. Інструкція «без музики» — це не прикраса — це те, що робить можливим наступний розділ.

Музика залишається поза моделлю

H3 відтворює діалоги, атмосферу та ефекти під час генерації, що означає, що саундтрек, запечений в тому ж проході, конфліктував би з діалоговою доріжкою всередині власного аудіо моделі. Ми повністю виключаємо музику і розглядаємо її як проблему мікшування.

Скільки коштує запуск

Той самий стек відкритий у студії: створюйте кадри безпосередньо за адресою /studio, оцінюйте їх за допомогою генератора за адресою /tools/music-generator та зберігайте кожен актив доступним для пошуку на цьому сайті. Напишіть один IDENTITY LOCK, вставте його дослівно в кожну підказку, помістіть точні вимовлені слова в лапки та тримайте музику поза моделлю — це весь метод, що лежить в основі обох фільмів.