हमने एक वीडियो मॉडल का उपयोग करके संवाद के साथ दो लघु फिल्में बनाईं

हमने संवाद के साथ दो पूर्ण लघु फिल्में बनाईं — एम्बर, एक रेगिस्तानी शहर में स्थापित एक मैजिक-नोयर त्रासदी, और हॉलो ऑर्बिट, एक बायोल्यूमिनसेंट ज्वारीय-लॉक ग्रह पर एक दुर्घटनाग्रस्त सर्वेक्षण जहाज की कहानी — केवल अपने GPU स्टैक पर अपने H3 वीडियो मॉडल का उपयोग करके। प्रत्येक फिल्म 8 शॉट × 5 सेकंड है: कुल 16 शॉट, और प्रत्येक शॉट एक एकल संरचित प्रॉम्प्ट है। H3 में शॉट्स के बीच कोई मेमोरी नहीं है, इसलिए चरित्र निरंतरता प्रॉम्प्ट में ही रहती है, और संवाद मॉडल द्वारा उत्पन्न होता है, जिसमें जनरेशन के दौरान लिप-सिंक होता है। यह लेख पूरा कार्यप्रवाह है: पहचान तकनीक, संवाद प्रारूप, मॉडल में संगीत कभी क्यों नहीं आता, और रेंडर की लागत क्या है।

दो फिल्में, सोलह प्रॉम्प्ट

दोनों फिल्मों की योजना पहले शॉट लिस्ट के रूप में बनाई गई थी और फिर प्रॉम्प्ट के रूप में — प्रति शॉट एक प्रॉम्प्ट, एक स्थानीय GPU वर्कर पर क्रमिक रूप से प्रस्तुत किया गया। Ember एक मैजिक-नोयर त्रासदी है: एक स्ट्रीट जादूगरनी अपने मरते हुए भाई को बचाने के लिए एक निषिद्ध अंगारा चुराती है, जो गार्ड उससे प्यार करता है वह उसके लिए एक जानलेवा तीर लेता है, और वह उसे बचाने के लिए अपनी चिंगारी जला देती है, सूर्योदय पर अंगारों में बिखर जाती है। संघर्ष, प्यार, नुकसान — चालीस सेकंड का। Hollow Orbit एक सर्वेक्षण जहाज को एक ज्वारीय रूप से बंद ग्रह पर फंसा देता है: एलियन चोइर उनके इंजन का पुनर्निर्माण करता है लेकिन एक निवासी दिमाग की मांग करता है, सह-पायलट लीना रुकने का विकल्प चुनती है और हेलम बन जाती है, और जहाज के भागने पर उसकी टैटू ज्यामिति में घाटी खिल उठती है।

[SHOT e1 — verbatim from the spec, opening truncated]
PHOTOREAL CINEMATIC FANTASY, anamorphic 2.39:1, warm ember palette against
cold indigo pre-dawn. IDENTITY LOCK: SERA, woman mid-20s, sun-bronzed olive
skin, black braided crown hair with loose windblown strands, amber eyes,
glowing copper sigil tattoos spiraling up both forearms, crimson open-backed
wrap top baring her shoulder blades, long charcoal skirt with a high slit...
SCENE: She stands on the ribbed clay rooftop of a teetering desert city at
first light, dealing a fan of tarot-sized cards whose faces smolder like
coals... AUDIO: dry wind over clay, distant bell-goat chimes, the soft hiss
of the burning card. No dialogue, no music, no subtitles, no logos.

[SHOT h1 — verbatim from the spec, opening truncated]
PHOTOREAL SCIENCE FICTION, anamorphic 2.39:1, awe-heavy establishing.
SCENE: the survey ship MERIDIAN LARK, a hundred-meter wedge, crashed nose-down
in a valley of glassy violet coral under a locked twilight sky; a banded gas
giant hangs fixed on the horizon; aurora curtains ripple green-violet...
ACTION 0-5s: two tiny suited figures descend the rope from the airlock onto
coral that glows faintly brighter around each of their footfalls, light
rippling outward like pond rings... No dialogue, no music, no subtitles.

चरित्र संगति कैसे काम करती है

प्रत्येक H3 जनरेशन स्वतंत्र है: शॉट 7 को शॉट 6 का कोई ज्ञान नहीं है। इसलिए संगति एक प्रॉम्प्ट अनुशासन है, न कि एक मॉडल विशेषता। प्रत्येक शॉट प्रॉम्प्ट उसी IDENTITY LOCK ब्लॉक के साथ खुलता है, जिसे शब्दशः चिपकाया जाता है, जो एक चरित्र के बारे में सब कुछ पिन करता है जिसे कभी नहीं बदलना चाहिए। यहाँ Ember के विनिर्देश से छोटा SERA लॉक है:

IDENTITY LOCK, repeat every shot:
SERA, woman mid-20s, sun-bronzed olive skin, black braided crown hair with
loose windblown strands, amber eyes, glowing copper sigil tattoos spiraling
up both forearms, crimson open-backed wrap top baring her shoulder blades,
long charcoal skirt with a high slit, brass bangles, wrapped barefoot sandals.
KADE, city guard about 30, brown skin, close-cropped black hair, trimmed
stubble, a scar over his right brow, dented bronze scale armor over an
indigo tunic, crimson sash at the waist.
[... repeated verbatim at the top of all eight prompts ...]

लॉक चेहरा, बाल, वेशभूषा, गहने, यहां तक कि उसकी जादू कैसे प्रकट होती है, सब कुछ ठीक करता है — और इसे Ember के सभी आठ प्रॉम्प्ट में बिना एक शब्द बदले चिपकाया जाता है। इसके नीचे का शॉट प्रॉम्प्ट केवल वही बदलता है जो बदलना चाहिए: स्थान, क्रिया, कैमरा, प्रकाश, ध्वनि। जैसे ही आप लॉक को फिर से लिखते हैं, बहाव शुरू हो जाता है; एक "काली गुंथी हुई मुकुट" जो शॉट 6 में "ढीली समुद्र की लहरें" बन जाती है, एक अलग चरित्र है।

संवाद जो वास्तव में लिप-सिंक करता है

पंक्तियाँ उनके सटीक शब्दों के साथ शॉट प्रॉम्प्ट में लिखी जाती हैं, और H3 उन्हें निष्पादित करता है — लिप-सिंक जनरेशन के दौरान होता है, न कि पोस्ट पास में। हर संवाद शॉट को एक साथ रखने वाले दो नियम हैं: वक्ता का नाम बताएं, और शब्दों को निश्चित के रूप में चिह्नित करें। गार्ड को Ember की अंतिम पंक्ति, जब वह सुबह अपनी चिंगारी जलाती है:

[SHOT e8 — sacrifice finale, sunrise]
ACTION AND DIALOGUE: 0-2.5s she presses the guttering EMBER into his chest;
its light floods his wound; her own sigils stream out like molten thread into
him. SERA, a whisper, smiling: "Live brighter." 2.5-4s: his eyes open, gasp;
hers go softly dark as her body loosens into drifting embers and ash-light.

और Hollow Orbit का निर्णय, एक बार जब चोइर ने इंजन का पुनर्निर्माण कर लिया और उसकी कीमत तय कर दी:

[SHOT h6 — cockpit conflict]
ACTION AND DIALOGUE: 0-1.5s IVAR slams the console. IVAR, raw: "We fly OUT."
1.5-3.5s LENA, steady, terrified, lip-synced: "Only a mind can hold the helm
it's offering. A machine can't carry it." 3.5-5s: hold on the two-shot, storm
light flaring between them, neither blinking.

दोनों पंक्तियाँ जानबूझकर छोटी हैं: एक क्लोज-अप, एक खंड, उद्धरणों में सटीक शब्द, और एक ऑडियो: लाइन जिसमें केवल आवाज और डायजेनेटिक ध्वनि होती है। "कोई स्कोर नहीं" निर्देश सजावट नहीं है — यह वही है जो अगले अनुभाग को संभव बनाता है।

संगीत मॉडल से बाहर रहता है

H3 जनरेशन में संवाद, परिवेश और प्रभाव प्रस्तुत करता है, जिसका अर्थ है कि उसी पास में बेक किया गया स्कोर मॉडल के अपने ऑडियो के अंदर संवाद ट्रैक से लड़ेगा। हम संगीत को पूरी तरह से बाहर रखते हैं और इसे एक मिक्स समस्या के रूप में मानते हैं।

इसे चलाने में कितना खर्च आता है

वही स्टैक स्टूडियो में खुला है: /studio पर सीधे शॉट लें, उन्हें /tools/music-generator पर जनरेटर के साथ स्कोर करें, और इस साइट पर हर संपत्ति को खोजने योग्य रखें। एक IDENTITY LOCK लिखें, इसे हर प्रॉम्प्ट में हूबहू पेस्ट करें, सटीक बोले गए शब्दों को उद्धरण चिह्नों में रखें, और संगीत को मॉडल से बाहर रखें — यही दोनों फिल्मों के पीछे की पूरी विधि है।