Tek Bir Video Modeli Kullanarak Diyaloglu İki Kısa Film Yaptık

Kendi GPU yığınımızda sadece H3 video modelimizi kullanarak diyaloglu iki eksiksiz kısa film yaptık — çöl şehrinde geçen bir büyü-noir trajedisi olan Ember ve biyolüminesan gelgit kilitli bir gezegende düşen bir araştırma gemisinin hikayesi olan Hollow Orbit. Her film 8 çekim × 5 saniye: toplam 16 çekim ve her çekim tek bir yapılandırılmış istemdir. H3'ün çekimler arasında belleği yoktur, bu nedenle karakter tutarlılığı istemin kendisinde yaşar ve diyalog model tarafından üretilir, dudak senkronizasyonu üretim sırasında gerçekleşir. Bu makale tüm iş akışını içerir: kimlik tekniği, diyalog formatı, müziğin neden asla modele girmediği ve render maliyetleri.

İki film, on altı istem

Her iki film de önce çekim listeleri, sonra istemler olarak planlandı — her çekim için bir istem, tek bir yerel GPU işçisinde sırayla işlendi. Ember, sihirli-noir bir trajedidir: bir sokak büyücüsü, ölmekte olan kardeşini kurtarmak için yasak bir kor çalır, onu seven muhafız onun için ölümcül bir darbe alır ve o da onu kurtarmak için kendi kıvılcımını yakar, gün doğumunda korlara dağılır. Çatışma, aşk, kayıp — kırk saniyesi. Hollow Orbit, bir araştırma gemisini gelgit kilitli bir gezegende mahsur bırakır: uzaylı Koro motorlarını yeniden inşa eder ancak bir yerleşik zihin talep eder, yardımcı pilot Lena kalmayı seçer ve dümen olur, gemi kaçarken vadide dövme geometrisiyle çiçek açar.

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

Karakter tutarlılığı nasıl çalışır

Her H3 üretimi bağımsızdır: çekim 7, çekim 6 hakkında bilgi sahibi değildir. Tutarlılık bu nedenle bir istem disiplinidir, bir model özelliği değildir. Her çekim istemi, bir karakter hakkında asla değişmemesi gereken her şeyi sabitleyen, kelimesi kelimesine yapıştırılmış aynı IDENTITY LOCK bloğuyla başlar. İşte Ember'ın spesifikasyonundan kısaltılmış SERA kilidi:

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

Kilit, yüzü, saçı, gardırobu, takıları, hatta büyüsünün nasıl ortaya çıktığını sabitler — ve Ember'ın sekiz isteminin hepsine tek kelime değişmeden yapıştırılır. Altındaki çekim istemi sadece değişmesi gerekeni değiştirir: konum, eylem, kamera, ışık, ses. Kilidi yeniden ifade ettiğiniz anda kayma başlar; çekim 6'da "siyah örgülü taç"tan "gevşek plaj dalgaları"na dönüşen bir karakter farklı bir karakterdir.

Gerçekten dudak senkronizasyonu yapan diyalog

Satırlar, tam ifadeleriyle çekim istemine yazılır ve H3 bunları gerçekleştirir — dudak senkronizasyonu üretim sırasında gerçekleşir, sonradan yapılan bir geçişte değil. Her diyalog çekimini bir arada tutan iki kural vardır: konuşmacının adını belirtin ve kelimeleri sabit olarak işaretleyin. Ember'ın şafağa doğru kıvılcımını yakarken muhafıza söylediği son sözü:

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

Ve Koro motoru yeniden inşa edip bedelini belirledikten sonra Hollow Orbit'in karar anı:

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

Her iki satır da kasıtlı olarak kısadır: yakın çekim, tek bir cümle, tırnak içindeki tam kelimeler ve yalnızca ses ve diegetik ses taşıyan bir Ses: satırı. "Müzik yok" talimatı bir süsleme değildir — bir sonraki bölümü mümkün kılan şeydir.

Müzik modelin dışında kalır

H3, üretimde diyalog, ambiyans ve efektleri işler, bu da aynı geçişe dahil edilmiş bir müziğin modelin kendi sesi içindeki diyalog parçasıyla çatışacağı anlamına gelir. Müziği tamamen dışarıda tutarız ve bunu bir miksaj problemi olarak ele alırız.

Çalıştırmanın maliyeti

Aynı yığın stüdyoda açık: /studio adresinden doğrudan çekimler yapın, /tools/music-generator adresindeki jeneratörle puanlayın ve her varlığı bu sitede aranabilir tutun. Bir IDENTITY LOCK yazın, her isteme kelimesi kelimesine yapıştırın, tam konuşulan kelimeleri tırnak içine alın ve müziği modelden uzak tutun — her iki filmin arkasındaki tüm yöntem budur.