CuteDSL, teleportasi laten, dan jalur terpendek menuju generasi yang lebih cepat

Beban kerja generatif sering digambarkan seolah-olah model adalah seluruh sistem. Dalam praktiknya, bagian yang lambat bisa jadi pergerakan di sekitar model: memuat bobot, menerjemahkan format, menyalin tensor, menunggu pekerja, dan membuang perantara yang bisa digunakan ulang oleh tahap lain.

CuteDSL adalah cara yang berguna untuk memikirkan batas itu. Deskripsi kerja yang kecil dan deklaratif dapat berjalan melalui sistem sementara representasi yang mahal tetap dekat dengan akselerator. Tujuannya bukan sintaksis yang cerdas; ini menjaga orkestrasi tetap murah dan inferensi tetap sibuk.

Apa yang dimaksud dengan "teleportasi laten"

Gunakan frasa ini sebagai model mental: pindahkan laten yang ringkas atau perantara yang sudah berguna antara tahap yang kompatibel alih-alih merekonstruksi seluruh masalah dari piksel atau teks setiap kali. Jika resize, pass gaya, pass temporal, atau upscale dapat mengonsumsi representasi itu secara langsung, pipeline menghindari loop decode-encode yang tidak perlu.

Tiga tempat penghematan muncul

1. Jaga jalur panas tetap berada di memori

Hangatkan pekerja dan gunakan kembali bobot yang dimuat. Antrian harus memutuskan apa yang berjalan selanjutnya, bukan membangun ulang lingkungan eksekusi berulang kali.

2. Kelompokkan pekerjaan yang kompatibel

Gambar dengan bentuk, model, dan presisi yang sama dapat berbagi pengaturan. Batching paling berguna ketika penjadwal melihat cukup banyak pekerjaan cukup awal untuk membentuk batch.

3. Cache batas yang tepat

Cache preprocessing deterministik dan conditioning yang dapat digunakan kembali. Jangan cache artefak akhir yang besar ketika intermediate yang ringkas dapat melayani banyak konsumen hilir.

Sketsa pipeline yang ringkas

request -> normalize prompt + references
        -> choose model / shape / precision
        -> warm worker or form a compatible batch
        -> generate in latent space
        -> decode only at the delivery boundary
        -> durable result + usage record

Batas penting adalah yang terakhir. Decode ketika manusia atau API eksternal membutuhkan piksel atau frame, bukan setiap kali tahap internal ingin membuat keputusan.

Ukur seluruh jalur

Lacak waktu antrean, startup worker, pemuatan model, inferensi, decode, unggah, dan waktu-ke-pratinjau-pertama secara terpisah. Kernel yang lebih cepat bagus, tetapi worker yang hangat yang menghilangkan startup sepuluh detik sering kali merupakan kemenangan yang lebih besar. Optimalkan segmen terlihat yang paling lambat, lalu ukur lagi dengan prompt nyata dan bentuk output nyata.