Bir Fotoğrafı Yapay Zeka Videosuna Dönüştürme

Görüntüden videoya, yapay zeka videosunda en yüksek kaldıraçlı özelliktir: bir iyi fotoğraf içeri, birkaç saniye inandırıcı yaşam dışarı. Aynı zamanda çoğu girişimin başarısız olduğu yerdir, çünkü insanlar sahnenin destekleyemeyeceği hareketler isterler. Bir portrenin kameranın yörüngede dönmesine ihtiyacı yoktur — bir kulağın seğirmesine ve arka plan bokehin nefes almasına ihtiyacı vardır. Bu rehber, temiz bir şekilde canlandırılacak bir kaynak fotoğraf seçmeyi, sahneye ait hareket istemlerini yazmayı ve konuyu tanınabilir bir şekilde aynı tutmayı kapsar.

Aşağıdaki örnek, tek bir kişisel tarz fotoğrafı dört saniyelik bir klibe dönüştürüyor. Aynı işlem ManifoldGen'de portreler, evcil hayvanlar, ürün çekimleri ve manzaralar için de geçerlidir.

Harekete uygun bir fotoğrafla başlayın

Model yalnızca segmentleyebildiğini hareket ettirebilir, bu nedenle kaynak kalitesi isteminizden daha fazlasını belirler:

• Keskin konu — gözler, kürk veya kenarlar net odakta. Hareket, yumuşaklığı lapa haline getirir.
• Temiz arka plan ayrımı — konu arka plandan net bir şekilde ayrılmış. Kalabalık sahneler, modeli köpeğin nerede bittiğini ve parkın nerede başladığını tahmin etmeye zorlar.
• Tek konu — kare başına bir kişi veya hayvan. İki konu klip ortasında kimlik değiştirir; gruplar farklı bir tekniktir.
• Zaten ima edilen bazı hareketler — rüzgarda savrulan saçlar, ip ışıkları, su. Model, mevcut enerjiyi yeni enerji icat etmekten çok daha iyi genişletir.
• Yeterli çözünürlük — uzun kenarda yaklaşık 1024 piksel. Eğer değilse önce büyütün; animasyon, kaynağın hiç sahip olmadığı ayrıntıyı kurtaramaz.

Sahneye ait hareketleri isteyin

PERSONAL PHOTO, GENTLE MOTION

INPUT

PROMPT

Gentle breeze moves the fur and the grass around the blanket, ears lift as the dog tilts its head slightly toward camera, string lights twinkle softly, background bokeh breathes, natural handheld micro-movement, subtle and lifelike.

OUTPUT — GENERATED WITH MANIFOLDGEN

· 4s

Kaynak fotoğrafın kendisi şu görsel istemle oluşturulmuştur: "Bir parkta piknik battaniyesi üzerinde oturan, dili dışarıda, arkasında ağaçlar ve bokeh ip ışıkları olan, öğleden sonra güneş parlaması, kişisel bir fotoğraf gibi hafif kusurlu çerçeveleme ile çekilmiş samimi bir akıllı telefon fotoğrafı." Her hareket maddesinin karede zaten mevcut olan bir şeyi adlandırdığına dikkat edin — kürk, çimen, kulaklar, ışıklar, bokeh. Hiçbir şey sahneden yeni bir öğe kazanmasını istemiyor.

Bu istemi ortam katmanlarının bir kontrol listesi olarak okuyun: çevresel (kürk ve çimlerde esinti), etkileyici (kameraya doğru baş eğme), atmosferik (parıldayan ışıklar), optik (nefes alan bokeh) ve kamera (el mikro hareketi). Her katman için bir madde, her biri görünür bir öğeye bağlı. Bu yapı, sonucun bir dönüşüm yerine yaşayan bir an olarak okunmasının nedenidir.

Kimliği sabit tutun

Kimlik kayması — yüzlerin yeniden şekillenmesi, işaretlerin yer değiştirmesi — insanların ilk fark ettiği başarısızlık modudur. Üç savunma:

• Hareketi varsayılan olarak ince tutun. Her hareket birimi, konuyu yeniden çizmek için bir şanstır; "hafifçe", "nazikçe" ve "ince" yük taşıyan kelimelerdir, dolgu değil.
• Küçük olanların ötesinde poz değişiklikleri istemeyin. Baş eğmeleri, göz kırpmaları, nefesler, ağırlık kaymaları işe yarar. Ayağa kalkmak, dönmek, uzaklaşmak işe yaramaz.
• Mümkün olduğunda düşük güç kullanın. Daha düşük görüntü gücü, daha az hareket pahasına çıktıyı kaynak piksellere daha yakın tutar — yüzler ve evcil hayvanlar için doğru denge.

İlk nesil yine de kayarsa, başka bir şeye dokunmadan önce hareket maddelerinin sayısını yarıya indirin. Aşırı yüklenmiş istemler modelin doğaçlama yapmasına neden olur.

Yeniden kullanılabilir bir görüntüden videoya iskelet

[Environmental motion] moves [ambient elements],
[small expressive action] as [subject] [micro-gesture toward camera],
[atmospheric layer] softly, background [optical layer] breathes,
natural handheld micro-movement, subtle and lifelike.

Sorun Giderme

• Konu eriyor veya tür değiştiriyor — çok fazla hareket istendi. İki maddeye indirin ve "ince" ekleyin.
• Klip statik bir yakınlaştırma gibi görünüyor — kamerayı tanımladınız ama sahneyi tanımlamadınız. Kamera dilini esinti, göz kırpma ve ışık maddeleriyle değiştirin.
• Yeni nesneler beliriyor (ekstra köpekler, yüzen yapraklar) — isteminiz fotoğrafta olmayan öğeler ekledi. Sadece görünür şeyleri tanımlayın.
• Hareket güçlü başlıyor sonra donuyor — klip uzunluğu istemin enerjisini aşıyor. 4 saniyede tutun veya "rüzgar sabit bir şekilde devam ediyor" gibi sürdürülebilir bir ortam maddesi ekleyin.
• Arka plan kötü bir şekilde bozuluyor — görüntü gücünü artırın / hareket gücünü azaltın, böylece konu hareket ederken ortam sabit kalır.
• Yüz, yeniden denemelerde benzerliğini kaybediyor — her seferinde orijinal dosyadan yeniden oluşturun, daha önce canlandırılmış bir kareden değil.

Kamera rulonuzdan üç fotoğraf seçin, bunları Studio'daki yukarıdaki iskeletten geçirin ve tekrar izlenmeyi hak eden klibi saklayın — ardından hareket stillerini karşılaştırmak için /tools/cinematic-cameras altındaki farklı ön ayarlarla aynı kaynağı deneyin.