CuteDSL, dịch chuyển tiềm ẩn và con đường ngắn nhất để tạo sinh nhanh hơn

Khối lượng công việc tạo sinh thường được mô tả như thể mô hình là toàn bộ hệ thống. Trong thực tế, phần chậm có thể là sự di chuyển xung quanh mô hình: tải trọng số, dịch định dạng, sao chép tensor, chờ worker, và vứt bỏ một biểu diễn trung gian mà giai đoạn khác có thể tái sử dụng.

CuteDSL là một cách hữu ích để suy nghĩ về ranh giới đó. Một mô tả khai báo nhỏ về công việc có thể di chuyển qua hệ thống trong khi biểu diễn đắt tiền ở gần bộ tăng tốc. Mục tiêu không phải là cú pháp thông minh; mà là giữ cho việc điều phối rẻ và suy luận luôn bận rộn.

Ý nghĩa của "dịch chuyển tiềm ẩn"

Hãy dùng cụm từ này như một mô hình tinh thần: di chuyển một latent nhỏ gọn hoặc một trung gian hữu ích giữa các giai đoạn tương thích thay vì tái tạo toàn bộ vấn đề từ pixel hoặc văn bản mỗi lần. Nếu một bước thay đổi kích thước, chuyển phong cách, xử lý thời gian hoặc tăng phân giải có thể tiêu thụ trực tiếp biểu diễn đó, pipeline sẽ tránh được các vòng lặp giải mã–mã hóa không cần thiết.

Ba nơi mà sự tiết kiệm thể hiện rõ

1. Giữ đường dẫn nóng luôn sẵn sàng

Làm nóng worker và tái sử dụng trọng số đã tải. Hàng đợi nên quyết định chạy gì tiếp theo, thay vì liên tục xây dựng lại môi trường thực thi.

2. Gom các tác vụ tương thích

Các hình ảnh có cùng kích thước, mô hình và độ chính xác có thể dùng chung thiết lập. Việc gom nhóm hữu ích nhất khi bộ lập lịch thấy đủ công việc đủ sớm để tạo thành một batch.

3. Lưu cache đúng ranh giới

Lưu cache các bước tiền xử lý xác định và các điều kiện tái sử dụng. Đừng lưu cache một sản phẩm cuối khổng lồ khi một trung gian nhỏ gọn có thể phục vụ nhiều người tiêu dùng hạ nguồn.

Một phác thảo pipeline nhỏ gọn

request -> normalize prompt + references
        -> choose model / shape / precision
        -> warm worker or form a compatible batch
        -> generate in latent space
        -> decode only at the delivery boundary
        -> durable result + usage record

Ranh giới quan trọng là ranh giới cuối cùng. Giải mã khi con người hoặc API bên ngoài cần pixel hoặc khung hình, không phải mỗi khi một giai đoạn nội bộ muốn đưa ra quyết định.

Đo toàn bộ đường dẫn

Theo dõi riêng thời gian chờ hàng đợi, khởi động worker, tải mô hình, suy luận, giải mã, tải lên và thời gian đến bản xem trước đầu tiên. Một kernel nhanh hơn là tốt, nhưng một worker ấm giúp loại bỏ mười giây khởi động thường là chiến thắng lớn hơn. Tối ưu phân đoạn chậm nhất có thể thấy, sau đó đo lại với các prompt thật và kích thước đầu ra thật.