Chúng tôi đã làm hai phim ngắn có hội thoại bằng một mô hình video

Chúng tôi đã làm hai phim ngắn hoàn chỉnh có hội thoại — Ember, một bi kịch ma thuật đen tối lấy bối cảnh thành phố sa mạc, và Hollow Orbit, câu chuyện về một con tàu khảo sát bị rơi trên một hành tinh bị khóa thủy triều phát quang sinh học — chỉ sử dụng mô hình video H3 của chúng tôi trên hệ thống GPU của riêng mình. Mỗi phim có 8 cảnh × 5 giây: tổng cộng 16 cảnh, và mỗi cảnh là một prompt có cấu trúc duy nhất. H3 không có bộ nhớ giữa các cảnh, vì vậy tính nhất quán của nhân vật nằm trong chính prompt, và hội thoại được tạo bởi mô hình, với đồng bộ khẩu hình xảy ra trong quá trình tạo. Bài viết này là toàn bộ quy trình: kỹ thuật nhận dạng, định dạng hội thoại, lý do âm nhạc không bao giờ vào mô hình và chi phí kết xuất.

Hai phim, mười sáu prompt

Cả hai phim đều được lên kế hoạch theo danh sách cảnh quay trước, prompt sau — mỗi cảnh một prompt, render tuần tự trên một GPU cục bộ. Ember là một bi kịch magic-noir: một nữ phù thủy đường phố đánh cắp một viên than hồng cấm để cứu người anh trai sắp chết, người lính canh yêu cô đỡ một mũi tên chết chóc thay cô, và cô đốt cháy chính tia sáng của mình để cứu anh, tan biến thành tro tàn lúc bình minh. Xung đột, tình yêu, mất mát — bốn mươi giây của tất cả. Hollow Orbit đưa một con tàu khảo sát đến một hành tinh khóa thủy triều: người ngoài hành tinh Choir xây dựng lại động cơ nhưng đòi một tâm trí cư trú, phi công phụ Lena chọn ở lại và trở thành bánh lái, và thung lũng nở hoa trong hình xăm của cô khi con tàu thoát ra.

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

Cách duy trì tính nhất quán của nhân vật

Mỗi lần tạo H3 là độc lập: cảnh 7 không biết gì về cảnh 6. Do đó, tính nhất quán là kỷ luật prompt, không phải tính năng của mô hình. Mỗi prompt cảnh bắt đầu bằng cùng một khối IDENTITY LOCK, dán nguyên văn, giữ chặt mọi thứ về nhân vật không bao giờ được thay đổi. Đây là khóa SERA rút gọn từ đặc tả của Ember:

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

Khóa cố định khuôn mặt, tóc, trang phục, trang sức, thậm chí cách phép thuật của cô hiện ra — và nó được dán vào tất cả tám prompt của Ember mà không thay đổi một từ. Prompt cảnh bên dưới chỉ thay đổi những gì cần thay đổi: địa điểm, hành động, máy quay, ánh sáng, âm thanh. Sự lệch lạc bắt đầu ngay khi bạn diễn đạt lại khóa; một "vương miện tết đen" trở thành "sóng biển xõa" trong cảnh 6 là một nhân vật khác.

Hội thoại khớp môi thực sự

Lời thoại được viết vào prompt cảnh với từ ngữ chính xác, và H3 thực hiện chúng — khớp môi xảy ra trong quá trình tạo, không phải ở bước hậu kỳ. Hai quy tắc giữ mọi cảnh hội thoại lại với nhau: nêu tên người nói và đánh dấu từ ngữ là cố định. Lời cuối của Ember với người lính canh, khi cô đốt tia sáng của mình lúc bình minh:

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

Và khoảnh khắc quyết định của Hollow Orbit, khi Choir đã xây lại động cơ và nêu giá của nó:

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

Cả hai câu thoại đều ngắn có chủ đích: cận cảnh, một mệnh đề, từ chính xác trong ngoặc kép, và dòng Audio: chỉ mang giọng nói và âm thanh diegetic. Chỉ dẫn "không nhạc nền" không phải trang trí — nó là thứ làm cho phần tiếp theo khả thi.

Âm nhạc nằm ngoài mô hình

H3 tạo hội thoại, âm thanh xung quanh và hiệu ứng trong quá trình tạo, nghĩa là một bản nhạc nền được đưa vào cùng lượt sẽ đấu tranh với track hội thoại trong âm thanh của chính mô hình. Chúng tôi giữ âm nhạc hoàn toàn ra ngoài và coi nó như một vấn đề phối khí.

Chi phí vận hành

Cùng một hệ thống này cũng có sẵn trong studio: tạo cảnh trực tiếp tại /studio, chấm điểm chúng bằng trình tạo tại /tools/music-generator, và giữ mọi tài sản có thể tìm kiếm trên trang web này. Viết một IDENTITY LOCK, dán nguyên văn vào mọi prompt, đặt các từ nói chính xác trong dấu ngoặc kép, và giữ âm nhạc ra khỏi mô hình — đó là toàn bộ phương pháp đằng sau cả hai bộ phim.