Stworzyliśmy dwa krótkie filmy z dialogami, używając jednego modelu wideo

Stworzyliśmy dwa kompletne filmy krótkometrażowe z dialogami — Ember, tragedię w stylu magic-noir osadzoną w pustynnym mieście, oraz Hollow Orbit, historię rozbitego statku badawczego na bioluminescencyjnej planecie zsynchronizowanej pływowo — używając wyłącznie naszego modelu wideo H3 na naszym własnym stosie GPU. Każdy film to 8 ujęć × 5 sekund: łącznie 16 ujęć, a każde ujęcie to pojedynczy ustrukturyzowany prompt. H3 nie ma pamięci między ujęciami, więc spójność postaci tkwi w samym prompcie, a dialogi są generowane przez model, z synchronizacją ruchu warg odbywającą się podczas generowania. Ten artykuł przedstawia cały przepływ pracy: technikę tożsamości, format dialogów, dlaczego muzyka nigdy nie wchodzi do modelu i ile kosztują rendery.

Dwa filmy, szesnaście promptów

Oba filmy zostały zaplanowane najpierw jako listy ujęć, a następnie jako podpowiedzi — jedna podpowiedź na ujęcie, renderowane sekwencyjnie na jednym lokalnym procesorze GPU. Ember to tragedia w stylu magic-noir: uliczna czarodziejka kradnie zakazany żar, aby uratować umierającego brata, strażnik, który ją kocha, przyjmuje za nią śmiertelny cios, a ona spala własną iskrę, aby go ocalić, rozsypując się w popiół o wschodzie słońca. Walka, miłość, strata — czterdzieści sekund tego. Hollow Orbit osadza statek badawczy na planecie zablokowanej pływowo: obcy Chór odbudowuje ich silnik, ale żąda umysłu rezydenta, drugi pilot Lena decyduje się zostać i staje się sterem, a dolina rozkwita w geometrii jej tatuażu, gdy statek ucieka.

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

Jak działa spójność postaci

Każda generacja H3 jest niezależna: ujęcie 7 nie ma wiedzy o ujęciu 6. Spójność jest zatem dyscypliną podpowiedzi, a nie cechą modelu. Każda podpowiedź ujęcia rozpoczyna się tym samym blokiem IDENTITY LOCK, wklejonym dosłownie, który przypina wszystko o postaci, co nigdy nie może się zmienić. Oto skrócony blok SERA z specyfikacji Ember:

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

Blok ustala twarz, włosy, garderobę, biżuterię, a nawet sposób manifestacji jej magii — i jest wklejany do wszystkich ośmiu podpowiedzi Ember bez zmiany ani jednego słowa. Podpowiedź ujęcia poniżej zmienia tylko to, co powinno się zmienić: lokalizację, akcję, kamerę, światło, dźwięk. Dryf zaczyna się w momencie, gdy zmienisz sformułowanie bloku; „czarny warkocz”, który w ujęciu 6 staje się „luźnymi falami plażowymi”, to inna postać.

Dialog, który faktycznie synchronizuje się z ruchem warg

Linie są wpisywane do podpowiedzi ujęcia z ich dokładnym brzmieniem, a H3 je wykonuje — synchronizacja ruchu warg następuje podczas generacji, a nie w postprodukcji. Dwie zasady utrzymują każde ujęcie dialogowe w całości: nazwij mówcę i oznacz słowa jako stałe. Ostatnia linia Ember do strażnika, gdy spala swoją iskrę o świcie:

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

I moment decyzji w Hollow Orbit, gdy Chór odbudował silnik i podał swoją cenę:

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

Obie linie są celowo krótkie: zbliżenie, jedno zdanie, dokładne słowa w cudzysłowie i linia Audio: zawierająca tylko głos i dźwięk diegetyczny. Instrukcja „bez muzyki” nie jest ozdobą — to ona umożliwia następną sekcję.

Muzyka pozostaje poza modelem

H3 renderuje dialogi, atmosferę i efekty podczas generacji, co oznacza, że ścieżka dźwiękowa wbudowana w ten sam proces kolidowałaby ze ścieżką dialogową wewnątrz własnego dźwięku modelu. Całkowicie pomijamy muzykę i traktujemy ją jako problem miksowania.

Koszty uruchomienia

Ten sam stos jest dostępny w studio: twórz ujęcia bezpośrednio pod /studio, oceniaj je za pomocą generatora pod /tools/music-generator i utrzymuj każdy zasób możliwy do wyszukania na tej stronie. Napisz jeden IDENTITY LOCK, wklej go dosłownie do każdego promptu, umieść dokładne wypowiedziane słowa w cudzysłowie i trzymaj muzykę poza modelem — to cała metoda stojąca za oboma filmami.