사진을 AI 비디오로 변환하는 방법

이미지-투-비디오는 AI 비디오에서 가장 영향력 있는 기능입니다: 좋은 사진 하나가 들어가면 몇 초의 설득력 있는 생명이 나옵니다. 그러나 대부분의 시도가 실패하는 곳이기도 합니다. 사람들이 장면이 지원할 수 없는 움직임을 요구하기 때문입니다. 초상화는 카메라가 궤도를 돌 필요가 없습니다 — 귀가 움직이고 배경 보케가 숨쉬는 것이 필요합니다. 이 가이드는 깨끗하게 애니메이션되는 소스 사진 선택, 장면에 맞는 움직임 프롬프트 작성, 그리고 주제를 알아볼 수 있게 유지하는 방법을 다룹니다.

아래 예제는 개인 스타일 사진 한 장을 4초 클립으로 애니메이션합니다. 동일한 파이프라인은 ManifoldGen에서 초상화, 반려동물, 제품 샷, 풍경에도 작동합니다.

움직임에 적합한 사진으로 시작하세요

모델은 분할할 수 있는 것만 움직일 수 있으므로, 소스 품질이 프롬프트보다 더 중요합니다:

• 선명한 피사체 — 눈, 털, 또는 가장자리가 선명하게 초점이 맞아야 합니다. 움직임은 부드러움을 뭉개짐으로 증폭시킵니다.
• 깨끗한 배경 분리 — 피사체가 배경과 명확히 구분되어야 합니다. 복잡한 장면은 모델이 개가 끝나고 공원이 시작되는 곳을 추측하게 만듭니다.
• 단일 피사체 — 프레임당 한 사람 또는 동물. 두 피사체는 클립 중간에 정체성을 교환합니다; 그룹은 다른 기술입니다.
• 이미 암시된 움직임 — 바람에 흩날리는 머리카락, 줄 조명, 물. 모델은 기존 에너지를 확장하는 것이 새로운 에너지를 발명하는 것보다 훨씬 잘합니다.
• 적절한 해상도 — 긴 쪽이 약 1024px. 그렇지 않으면 먼저 업스케일하세요; 애니메이션은 소스에 없던 디테일을 복구할 수 없습니다.

장면에 맞는 움직임을 프롬프트하세요

PERSONAL PHOTO, GENTLE MOTION

INPUT

PROMPT

Gentle breeze moves the fur and the grass around the blanket, ears lift as the dog tilts its head slightly toward camera, string lights twinkle softly, background bokeh breathes, natural handheld micro-movement, subtle and lifelike.

OUTPUT — GENERATED WITH MANIFOLDGEN

· 4s

소스 스틸 자체는 다음 이미지 프롬프트로 생성되었습니다: "공원의 피크닉 담요에 앉아 있는 골든 리트리버의 자연스러운 스마트폰 사진, 혀를 내밀고, 뒤로 나무와 보케 줄 조명, 늦은 오후 햇살 플레어, 개인 사진처럼 약간 불완전한 프레이밍." 모든 움직임 절이 프레임에 이미 존재하는 것(털, 잔디, 귀, 조명, 보케)을 언급하는 것에 주목하세요. 어떤 것도 장면에 새로운 요소를 추가하도록 요구하지 않습니다.

해당 프롬프트를 주변 레이어의 체크리스트로 읽으세요: 환경(털과 풀에 부는 산들바람), 표현(카메라를 향한 고개 기울임), 분위기(반짝이는 조명), 광학(숨쉬는 보케), 카메라(핸드헬드 미세 움직임). 각 레이어당 하나의 절, 각각 보이는 요소와 연결됩니다. 이 구조 덕분에 결과물이 모프가 아닌 살아있는 순간으로 읽힙니다.

정체성 유지하기

정체성 드리프트(얼굴이 바뀌거나 무늬가 이동하는 현상)는 사람들이 가장 먼저 알아차리는 실패 모드입니다. 세 가지 방어책:

• 기본적으로 움직임을 미묘하게 유지하세요. 모든 움직임 단위는 대상을 다시 그릴 기회입니다. "약간", "부드럽게", "미묘한"은 단순한 수식어가 아니라 핵심 단어입니다.
• 작은 포즈 변화 이상을 요구하지 마세요. 고개 기울임, 눈 깜빡임, 호흡, 체중 이동은 잘 작동합니다. 일어서기, 돌아서기, 걸어 나가기는 작동하지 않습니다.
• 가능하면 낮은 강도를 사용하세요. 이미지 강도를 낮추면 출력이 원본 픽셀에 더 가깝게 고정되는 대신 움직임이 줄어듭니다. 얼굴과 반려동물에게는 적절한 절충입니다.

그래도 첫 생성에서 드리프트가 발생하면 다른 것을 건드리기 전에 움직임 절의 수를 절반으로 줄이세요. 과부하된 프롬프트는 모델이 즉흥적으로 만들게 합니다.

재사용 가능한 이미지-투-비디오 뼈대

[Environmental motion] moves [ambient elements],
[small expressive action] as [subject] [micro-gesture toward camera],
[atmospheric layer] softly, background [optical layer] breathes,
natural handheld micro-movement, subtle and lifelike.

문제 해결

• 대상이 녹거나 종이 바뀜 — 요청한 움직임이 너무 많음. 절을 두 개로 줄이고 "미묘한"을 추가하세요.
• 클립이 정적 줌처럼 보임 — 카메라만 설명하고 장면은 설명하지 않았음. 카메라 언어를 바람, 눈 깜빡임, 빛 절로 바꾸세요.
• 새 물체가 나타남(추가 개, 떠다니는 나뭇잎) — 프롬프트가 사진에 없는 요소를 도입했음. 보이는 것만 설명하세요.
• 움직임이 강하게 시작되다가 멈춤 — 클립 길이가 프롬프트의 에너지를 초과함. 4초로 유지하거나 "바람이 꾸준히 분다"와 같은 지속적인 주변 절을 하나 추가하세요.
• 배경이 심하게 왜곡됨 — 이미지 강도를 높이고/움직임 강도를 낮춰 대상이 움직이는 동안 환경이 고정되도록 하세요.
• 재시도할 때마다 얼굴 닮음이 떨어짐 — 이전에 애니메이션된 프레임이 아닌 원본 파일에서 매번 다시 생성하세요.

카메라 롤에서 사진 세 장을 골라 Studio에서 위의 뼈대를 적용하고, 다시 보고 싶은 클립을 선택하세요. 그런 다음 /tools/cinematic-cameras의 다양한 프리셋으로 같은 소스를 시도하여 모션 스타일을 비교해 보세요.