Fizemos Dois Curtas-Metragens Com Diálogo Usando Um Modelo de Vídeo

Fizemos dois curtas-metragens completos com diálogo — Ember, uma tragédia noir-mágica ambientada em uma cidade desértica, e Hollow Orbit, a história de uma nave de pesquisa acidentada em um planeta bioluminescente com rotação síncrona — usando apenas nosso modelo de vídeo H3 em nossa própria pilha de GPU. Cada filme tem 8 cenas × 5 segundos: 16 cenas no total, e cada cena é um único prompt estruturado. O H3 não tem memória entre as cenas, então a consistência do personagem reside no próprio prompt, e o diálogo é gerado pelo modelo, com sincronização labial acontecendo durante a geração. Este artigo é todo o fluxo de trabalho: a técnica de identidade, o formato do diálogo, por que a música nunca entra no modelo e quanto custaram as renderizações.

Dois filmes, dezesseis prompts

Ambos os filmes foram planejados primeiro como listas de cenas e depois como prompts — um prompt por cena, renderizado sequencialmente em um único worker de GPU local. Ember é uma tragédia de magia-noir: uma feiticeira de rua rouba uma brasa proibida para salvar seu irmão moribundo, o guarda que a ama leva um golpe mortal por ela, e ela queima sua própria centelha para salvá-lo, espalhando-se em brasas ao nascer do sol. Conflito, amor, perda — quarenta segundos disso. Hollow Orbit deixa uma nave de pesquisa encalhada em um planeta com rotação síncrona: o Coro alienígena reconstrói seu motor, mas exige uma mente residente, a co-piloto Lena escolhe ficar e se torna o leme, e o vale floresce em sua geometria de tatuagem enquanto a nave escapa.

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

Como funciona a consistência de personagens

Cada geração H3 é independente: a cena 7 não tem conhecimento da cena 6. A consistência é, portanto, uma disciplina de prompt, não uma característica do modelo. Cada prompt de cena começa com o mesmo bloco IDENTITY LOCK, colado literalmente, que fixa tudo sobre um personagem que nunca deve mudar. Aqui está o bloqueio SERA truncado da especificação de Ember:

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

O bloqueio fixa o rosto, cabelo, guarda-roupa, joias, até mesmo como sua magia se manifesta — e é colado em todos os oito prompts de Ember sem mudar uma palavra. O prompt da cena abaixo muda apenas o que deve mudar: localização, ação, câmera, luz, som. O desvio começa no momento em que você reformula o bloqueio; uma "coroa trançada preta" que se torna "ondas soltas de praia" na cena 6 é um personagem diferente.

Diálogo que realmente sincroniza os lábios

As falas são escritas no prompt da cena com sua formulação exata, e o H3 as executa — a sincronização labial acontece durante a geração, não em uma pós-produção. Duas regras mantêm cada cena de diálogo unida: nomear o orador e marcar as palavras como fixas. A última fala de Ember para o guarda, enquanto ela queima sua centelha ao amanhecer:

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

E o momento da decisão de Hollow Orbit, depois que o Coro reconstruiu o motor e nomeou seu preço:

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

Ambas as falas são curtas de propósito: um close-up, uma cláusula, as palavras exatas entre aspas, e uma linha de Áudio: carregando apenas voz e som diegético. A instrução "sem trilha sonora" não é uma decoração — é o que torna a próxima seção possível.

A música fica fora do modelo

O H3 renderiza diálogo, ambiente e efeitos na geração, o que significa que uma trilha sonora incorporada na mesma passagem lutaria contra a faixa de diálogo dentro do próprio áudio do modelo. Mantemos a música completamente fora e a tratamos como um problema de mixagem.

Quanto custa para rodar

A mesma pilha está aberta no estúdio: cenas diretas em /studio, pontue-as com o gerador em /tools/music-generator, e mantenha todos os ativos pesquisáveis neste site. Escreva um IDENTITY LOCK, cole-o em cada prompt literalmente, coloque as palavras exatas faladas entre aspas e mantenha a música fora do modelo — este é todo o método por trás de ambos os filmes.