포즈에서 마녀로: AI 비디오를 제어하는 6가지 새로운 방법

비디오-투-비디오는 일반적으로 하나의 모델이 모든 것을 보존하면서 동시에 모든 것을 변경하도록 요구합니다. 그래서 강력한 스타일 전송이 걷는 동작을 잃거나, 카메라 무브를 평평하게 만들거나, 공연자를 다른 사람으로 천천히 대체할 수 있습니다. 새로운 H3 제어 도구는 문제를 두 부분으로 나눕니다: 먼저 소스 클립에서 중요한 부분을 추출한 다음, 그 신호를 사용하여 새로운 생성을 안내합니다.

우리는 MiniMax-H3-Fun 제어Net Union 모델에서 캐니, 깊이, HED, MLSD, 포즈, 비디오 인페인팅의 6가지 집중 워크플로우를 출시했습니다. 각 도구는 일반 소스 비디오를 허용합니다. ManifoldGen이 올바른 제어 패스를 자동으로 준비하거나, 전처리를 끄고 다른 곳에서 준비한 제어 비디오를 업로드할 수 있습니다.

테스트: 공연을 숲의 마녀로 변환

출시 테스트를 위해 짧은 포즈 구동 클립을 사용하고 레이어드 에메랄드 로브, 은발, 달빛 아래 고대 숲을 입은 전신 숲의 마녀를 요청했습니다. 출력은 소스 공연과 손 타이밍을 유지하면서 사람, 의상, 조명, 위치를 대체합니다.

A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realism

어떤 제어를 사용해야 하나요?

유용한 구분은 잃을 수 없는 것이 무엇인지입니다. 연기가 중요할 때는 포즈를, 카메라와 볼륨이 중요할 때는 뎁스를, 대담한 형태에는 캐니를, 미묘한 윤곽에는 HED를, 구조적 기하학에는 MLSD를 선택하세요. 프레임 대부분이 이미 올바르고 한 영역만 변경해야 할 때는 인페인팅을 사용하세요.

일반 비디오로 충분합니다

업로드 전에 Open포즈, 뎁스 추정기 또는 엣지 감지기를 실행할 필요가 없습니다. "일반 비디오에서 컨트롤 추출"을 활성화된 상태로 유지하면 생성 전에 시간적으로 정렬된 컨트롤 비디오가 자동으로 파생됩니다. 고급 사용자는 해당 스위치를 비활성화하여 이미 준비된 캐니, 깊이, HED, MLSD 또는 포즈 패스를 직접 보낼 수 있습니다.

중요한 설정

• 컨트롤 강도는 새 샷이 가이드를 얼마나 엄격히 따르는지 결정합니다. 기본값 근처에서 시작하세요. 더 큰 창의적 변화를 원하면 낮추고, 모션 또는 기하학이 흔들리기 시작하면 높이세요.
• 소스가 아닌 대체할 내용을 프롬프트하세요. 새 피사체, 의상, 환경, 조명, 재료, 원하는 마감을 설명하세요.
• 프롬프트나 강도 값을 비교할 때 시드를 사용하세요. 고정하면 변경된 설정 하나의 효과를 더 쉽게 판단할 수 있습니다.
• 짧은 구간에서 480p로 시작하세요. 모션과 프레이밍이 작동하면 576p 또는 720p로 이동하고 더 긴 클립을 렌더링하세요.

런치 도구는 최대 15초 클립을 지원하며, 출력 선택은 3, 5, 8, 10, 15초입니다. 해상도는 480p, 576p, 720p입니다. 생성은 지속적인 비동기 작업으로 실행되므로 긴 렌더링이 브라우저 요청을 계속 열어 두는 것에 의존하지 않습니다.

런치 가격

생성 전에 페이지에 기간과 해상도에 따른 예상 비용이 표시됩니다. 런치 시 480p의 대략적인 가격은 3초에 $1.16, 5초에 $1.44, 8초에 $1.88, 15초에 $2.88입니다. 576p 렌더링은 480p 예상 비용의 약 1.35배, 720p는 약 2배입니다. 최종 요금은 실제 GPU 런타임에 따라 결정되므로 고정된 상한선이 아닌 사용한 컴퓨팅 비용을 지불하게 됩니다.

가용성 및 모델 라이선스

이 여섯 가지 도구는 MiniMax H3 커뮤니티 라이선스를 사용합니다. 현재 미국, 유럽 연합, 영국, 한국에서는 사용할 수 없습니다. 도구는 생성 전에 지역을 확인하고 인터페이스에서 라이선스 동의를 요구합니다. 해당 지역에서 도구를 사용할 수 있다면, 귀하의 사용에 적용되는 제한 사항에 대해 연결된 모델 라이선스를 검토하세요.

먼저 만들 것

깨끗하고 읽기 쉬운 퍼포먼스로 시작하세요: 한 사람이 걷거나, 춤추거나, 캐스팅하거나, 화면 안에서 회전하는 것. 이를 포즈에 통과시키고 그 동작을 그럴듯하게 따를 수 있는 실루엣을 가진 캐릭터를 설명하세요—마녀, 기사, 숲의 정령, 또는 양식화된 생물. 그런 다음 동일한 소스를 깊이 또는 HED에 통과시키세요. 각 컨트롤이 어떤 정보를 보존하는지 확인하는 것이 여섯 가지 도구를 이해하는 가장 빠른 방법이며, 계획했던 것보다 더 강력한 처리를 발견하는 경우가 많습니다.