Từ tư thế đến phù thủy: Sáu cách mới để điều khiển video AI
Biến cảnh quay thường thành tín hiệu điều khiển tư thế, độ sâu, cạnh, đường nét hoặc mặt nạ, sau đó tái tạo thành nhân vật hoặc thế giới mới. Chúng tôi đã ra mắt sáu công cụ điều khiển video MiniMax H3 và thử nghiệm toàn bộ quy trình với bản dựng thực tế từ tư thế đến phù thủy.
Video-to-video thường yêu cầu một mô hình giữ nguyên mọi thứ và thay đổi mọi thứ cùng lúc. Đó là lý do chuyển đổi phong cách mạnh có thể làm mất dáng đi, làm phẳng chuyển động máy quay, hoặc dần thay thế diễn viên bằng một người khác. Các công cụ điều khiển H3 mới của chúng tôi chia vấn đề thành hai phần: đầu tiên trích xuất phần quan trọng của clip nguồn, sau đó dùng tín hiệu đó để dẫn dắt quá trình tạo mới.
Chúng tôi đã ra mắt sáu quy trình tập trung—Canny, Độ sâu, HED, MLSD, Tư thế và Video Inpainting—trên mô hình MiniMax-H3-Fun Điều khiểnNet Union. Mỗi công cụ chấp nhận video nguồn thông thường. ManifoldGen tự động chuẩn bị luồng điều khiển chính xác, hoặc bạn có thể tắt tiền xử lý và tải lên video điều khiển đã chuẩn bị ở nơi khác.
Bài kiểm tra: biến một màn trình diễn thành phù thủy rừng
Đối với bài kiểm tra ra mắt, chúng tôi dùng một clip ngắn điều khiển tư thế và yêu cầu tạo phù thủy rừng toàn thân trong áo choàng xanh lục nhiều lớp, tóc bạc và khu rừng cổ thụ dưới ánh trăng. Kết quả giữ nguyên màn trình diễn và thời gian tay của nguồn trong khi thay thế người, trang phục, ánh sáng và bối cảnh.
INPUT
Source performance / pose control
PROMPT
A powerful forest witch performing the movement, full body, layered emerald robes and leather corset, silver hair, magical particles around her hands, moonlit ancient forest, cinematic fantasy realismOUTPUT — GENERATED WITH MANIFOLDGEN
Kết quả phù thủy rừng — được tạo trên worker điều khiển H3 sản xuất · 2.3s
Đây là kết quả sản xuất thực tế, không phải mô phỏng ý tưởng. Điều khiển tư thế mang màn trình diễn cơ thể; prompt kiểm soát chủ thể và thế giới mới.
Bạn nên dùng điều khiển nào?
| Điều khiển | Giữ nguyên | Sử dụng tốt nhất |
|---|---|---|
| Tư thế | Khớp cơ thể, cử chỉ và thời gian biểu diễn | Thay người đi bộ, vũ công hoặc diễn viên bằng pháp sư, sinh vật hoặc nhân vật mới |
| Độ sâu | Đường đi camera, khoảng cách, các lớp không gian và khối lượng chủ thể | Dựng lại một địa điểm trong khi vẫn giữ chuyển động 3D gốc |
| Canny | Hình dạng mạnh và các cạnh sắc nét | Biến đổi đồ họa, sản phẩm, phương tiện và các chủ thể có đường viền rõ ràng |
| HED | Đường nét mềm mại hơn và chi tiết hữu cơ bên trong | Khuôn mặt, vải, sinh vật, minh họa và các hình dạng biểu cảm |
| MLSD | Các đường thẳng chủ đạo và hình học phối cảnh | Kiến trúc, phòng, đường phố, bối cảnh và môi trường được thiết kế |
| Inpainting | Mọi thứ bên ngoài một mặt nạ được cung cấp | Thay trang phục hoặc đạo cụ, xóa vật thể hoặc thêm hiệu ứng cục bộ |
Sự khác biệt hữu ích là những gì bạn không thể mất. Chọn Tư thế khi diễn xuất là quan trọng, Độ sâu khi camera và khối lượng được chú trọng, Canny cho hình dạng táo bạo, HED cho đường nét tinh tế và MLSD cho hình học được xây dựng. Sử dụng Inpainting khi hầu hết khung hình đã đúng và chỉ một vùng cần thay đổi.
Một video thông thường là đủ
Bạn không cần chạy OpenTư thế, bộ ước tính độ sâu hoặc bộ phát hiện cạnh trước khi tải lên. Giữ tùy chọn “Trích xuất điều khiển từ video thông thường của tôi” được bật và worker sẽ tạo ra một video điều khiển đồng bộ theo thời gian trước khi tạo. Người dùng nâng cao có thể tắt công tắc đó để gửi trực tiếp một pass Canny, Độ sâu, HED, MLSD hoặc Tư thế đã chuẩn bị sẵn.
Tải lên clip nguồn và một video mặt nạ khớp. Các vùng trắng được tạo lại theo thời gian; các vùng đen vẫn bám vào bản gốc. Mặt nạ ổn định tạo ra chỉnh sửa ổn định hơn.
Các cài đặt quan trọng
- Cường độ điều khiển quyết định mức độ bám sát của cảnh quay mới với hướng dẫn. Bắt đầu gần mặc định; giảm xuống để thay đổi sáng tạo lớn hơn và tăng lên khi chuyển động hoặc hình học bắt đầu lệch.
- Mô tả sự thay thế, không phải nguồn. Mô tả chủ thể mới, trang phục, môi trường, ánh sáng, vật liệu và kết thúc mong muốn.
- Sử dụng seed khi so sánh các prompt hoặc giá trị cường độ. Giữ cố định giúp dễ đánh giá hiệu quả của một thay đổi cài đặt.
- Bắt đầu ở 480p trên một đoạn ngắn. Khi chuyển động và khung hình hoạt động, chuyển lên 576p hoặc 720p và render clip dài hơn.
Các công cụ ra mắt chấp nhận clip dài tối đa 15 giây, với các tùy chọn đầu ra 3, 5, 8, 10 và 15 giây. Độ phân giải là 480p, 576p và 720p. Quá trình tạo chạy như một công việc không đồng bộ bền bỉ, vì vậy một lần kết xuất dài không phụ thuộc vào việc giữ một yêu cầu trình duyệt mở.
Giá khởi điểm
Trước khi tạo, trang hiển thị ước tính dựa trên thời lượng và độ phân giải. Tại thời điểm ra mắt, giá 480p xấp xỉ là $1.16 cho 3 giây, $1.44 cho 5 giây, $1.88 cho 8 giây và $2.88 cho 15 giây. Kết xuất 576p khoảng 1.35× so với ước tính 480p và 720p khoảng 2×. Phí cuối cùng được tính dựa trên thời gian chạy GPU thực tế, vì vậy bạn trả cho lượng tính toán đã dùng thay vì một mức trần cố định được độn lên.
Tạo video điều khiển là công việc GPU tốn nhiều bộ nhớ. Hãy thử nghiệm prompt và cường độ điều khiển trên đoạn ngắn hữu ích nhất ở 480p, sau đó đầu tư vào thời lượng và độ phân giải cuối cùng sau khi chuyển động đã đúng.
Khả dụng và giấy phép mô hình
Sáu công cụ này sử dụng Giấy phép Cộng đồng MiniMax H3. Hiện chúng không khả dụng tại Hoa Kỳ, Liên minh Châu Âu, Vương quốc Anh và Hàn Quốc. Công cụ kiểm tra khu vực trước khi tạo và yêu cầu chấp nhận giấy phép trong giao diện. Nếu công cụ khả dụng ở khu vực của bạn, hãy xem lại giấy phép mô hình được liên kết để biết các hạn chế áp dụng cho việc sử dụng của bạn.
Nên tạo gì trước tiên
Bắt đầu với một màn trình diễn sạch sẽ, dễ đọc: một người đi bộ, nhảy múa, tung hứng hoặc xoay người trong khung hình. Chạy nó qua Tư thế và mô tả một nhân vật có hình dáng có thể theo chuyển động đó một cách hợp lý—một phù thủy, hiệp sĩ mặc giáp, linh hồn rừng hoặc sinh vật cách điệu. Sau đó lấy cùng một nguồn qua Độ sâu hoặc HED. Việc thấy thông tin nào mỗi điều khiển bảo toàn là cách nhanh nhất để hiểu sáu công cụ và thường tiết lộ một cách xử lý mạnh mẽ hơn kế hoạch của bạn.
Try these prompts on your own shot.
Every example on this page was generated with ManifoldGen. Open the Studio and run the same structure on your idea.