Мы создали два короткометражных фильма с диалогами, используя одну видеомодель

Мы создали два полноценных короткометражных фильма с диалогами — «Эмбер», магическую нуар-трагедию, действие которой происходит в пустынном городе, и «Полая орбита», историю о потерпевшем крушение исследовательском корабле на биолюминесцентной приливно-заблокированной планете — используя только нашу видеомодель H3 на нашем собственном стеке GPU. Каждый фильм состоит из 8 кадров по 5 секунд: всего 16 кадров, и каждый кадр — это один структурированный промпт. H3 не имеет памяти между кадрами, поэтому согласованность персонажей заложена в самом промпте, а диалоги генерируются моделью с синхронизацией губ во время генерации. Эта статья описывает весь рабочий процесс: технику идентичности, формат диалогов, почему музыка никогда не попадает в модель и сколько стоили рендеры.

Два фильма, шестнадцать промптов

Оба фильма были спланированы сначала как списки кадров, а затем как промты — один промт на кадр, рендеринг последовательно на одном локальном GPU-воркере. «Эмбер» — это трагедия в жанре магического нуара: уличная колдунья крадет запретный уголек, чтобы спасти своего умирающего брата, влюбленный в нее стражник принимает смертельный удар за нее, и она сжигает свою собственную искру, чтобы спасти его, рассыпаясь в угольки на рассвете. Борьба, любовь, потеря — сорок секунд всего этого. «Полая орбита» оставляет исследовательский корабль на приливно-заблокированной планете: инопланетный Хор восстанавливает их двигатель, но требует разум жителя, второй пилот Лена решает остаться и становится рулевым, и долина расцветает в геометрии ее татуировки, когда корабль улетает.

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

Как работает согласованность персонажей

Каждая генерация H3 независима: кадр 7 не имеет информации о кадре 6. Поэтому согласованность — это дисциплина промтов, а не функция модели. Каждый промт кадра начинается с одного и того же блока IDENTITY LOCK, вставленного дословно, который фиксирует все, что касается персонажа и что никогда не должно меняться. Вот усеченный замок SERA из спецификации Ember:

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

Замок фиксирует лицо, волосы, гардероб, украшения, даже то, как проявляется ее магия — и он вставляется во все восемь промтов Ember без изменения ни единого слова. Промт кадра под ним меняет только то, что должно меняться: местоположение, действие, камера, свет, звук. Дрейф начинается в тот момент, когда вы перефразируете замок; «черная плетеная корона», которая становится «свободными пляжными волнами» в кадре 6, — это уже другой персонаж.

Диалоги, которые действительно синхронизированы с губами

Реплики записываются в промт кадра с их точной формулировкой, и H3 их исполняет — синхронизация губ происходит во время генерации, а не на этапе пост-обработки. Два правила объединяют каждый диалоговый кадр: назовите говорящего и отметьте слова как фиксированные. Последняя реплика Эмбер стражнику, когда она сжигает свою искру на рассвете:

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

И решающий момент в Hollow Orbit, после того как Хор восстановил двигатель и назвал свою цену:

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

Обе реплики намеренно короткие: крупный план, одно предложение, точные слова в кавычках и строка Audio: содержащая только голос и диегетический звук. Инструкция «без музыки» — это не украшение, а то, что делает возможным следующий раздел.

Музыка остается вне модели

H3 рендерит диалоги, атмосферу и эффекты во время генерации, что означает, что саундтрек, запеченный в тот же проход, будет конфликтовать с диалоговой дорожкой внутри собственного аудио модели. Мы полностью исключаем музыку и рассматриваем ее как проблему микширования.

Стоимость запуска

Тот же стек открыт в студии: снимайте кадры напрямую в /studio, озвучивайте их с помощью генератора в /tools/music-generator и сохраняйте каждый актив доступным для поиска на этом сайте. Напишите один IDENTITY LOCK, вставьте его дословно в каждый запрос, заключите точные произнесенные слова в кавычки и не используйте музыку в модели — это весь метод, лежащий в основе обоих фильмов.