1つのビデオモデルでセリフ付きの短編映画を2本制作しました

私たちは、セリフ付きの完全な短編映画を2本制作しました。砂漠の都市を舞台にしたマジックノワールの悲劇『エンバー』と、生物発光する潮汐ロックされた惑星に墜落した調査船の物語『ホロー・オービット』です。これらは、自社のGPUスタック上のH3ビデオモデルのみを使用して制作しました。各映画は8ショット×5秒で、合計16ショット、すべてのショットが単一の構造化プロンプトです。H3にはショット間のメモリがないため、キャラクターの一貫性はプロンプト自体にあり、セリフはモデルによって生成され、リップシンクは生成時に行われます。この記事はワークフロー全体です。アイデンティティ技術、セリフ形式、音楽がモデルに入らない理由、レンダリングのコスト。

2本の映画、16のプロンプト

両作品とも、まずショットリストを計画し、その後にプロンプトを用意しました。各ショットに1つのプロンプトを使い、1台のローカルGPUワーカーで順次レンダリングしました。『Ember』はマジック・ノワールの悲劇です。街の魔女が瀕死の弟を救うために禁じられた火種を盗み、彼女を愛する衛兵が彼女のために致命の矢を受け、彼女は彼を救うために自分の火花を燃やし、夜明けに火の粉となって散ります。争い、愛、喪失——その40秒です。『Hollow Orbit』は、潮汐固定された惑星に調査船が取り残される物語。異星の聖歌隊がエンジンを再構築しますが、住人の精神を要求します。副操縦士のレナは残ることを選び、船の舵となります。船が脱出するとき、谷は彼女のタトゥーの幾何学模様に花開きます。

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

キャラクターの一貫性の仕組み

各H3生成は独立しています。ショット7はショット6のことを知りません。したがって、一貫性はモデルの機能ではなく、プロンプトの規律です。各ショットのプロンプトは、同じIDENTITY LOCKブロックを逐語的に貼り付け、キャラクターについて決して変えてはならないすべてを固定します。以下は、Emberの仕様から抜粋したSERAロックです。

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

ロックは顔、髪、衣装、ジュエリー、魔法の現れ方まで固定し、Emberの8つのプロンプトすべてに一言も変えずに貼り付けられます。その下のショットプロンプトは、場所、アクション、カメラ、ライト、サウンドなど、変更すべきものだけを変更します。ロックを言い換えた瞬間にドリフトが始まります。「黒い編み込みの冠」がショット6で「ゆるいビーチウェーブ」になったら、それは別のキャラクターです。

実際にリップシンクするセリフ

セリフは正確な文言でショットプロンプトに書き込まれ、H3がそれを実行します。リップシンクは生成中に行われ、後処理ではありません。すべてのダイアログショットをまとめる2つのルール：話者を指名し、言葉を固定としてマークします。Emberが夜明けに自分の火花を燃やすとき、衛兵への最後のセリフ：

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

そして、聖歌隊がエンジンを再構築し、その代価を告げた後のHollow Orbitの決断の場面：

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

両方のセリフは意図的に短くしています。クローズアップ、1つの節、引用符で囲まれた正確な言葉、そして声とダイジェティックな音だけを運ぶAudio:行。"no score"という指示は飾りではありません。次のセクションを可能にするものです。

音楽はモデルの外に保つ

H3は生成時にダイアログ、アンビエンス、効果音をレンダリングします。つまり、同じパスにスコアを焼き込むと、モデル内部のオーディオでダイアログトラックと競合します。音楽は完全に除外し、ミックスの問題として扱います。

実行にかかるコスト

同じスタックがスタジオで公開されています：/studioで直接ショットを撮り、/tools/music-generatorでジェネレーターを使ってスコアリングし、すべてのアセットをこのサイトで検索可能に保ちます。IDENTITY LOCKを1つ書き、それをすべてのプロンプトに逐語的に貼り付け、話す正確な言葉を引用符で囲み、モデルから音楽を除外します。これが両映画の全メソッドです。