CuteDSL, teletrasporto latente e il percorso più breve per una generazione più veloce

I carichi di lavoro generativi sono spesso descritti come se il modello fosse l'intero sistema. In pratica, la parte lenta può essere il movimento attorno al modello: caricamento dei pesi, traduzione dei formati, copia dei tensori, attesa di un worker e scarto di un intermedio che un'altra fase avrebbe potuto riutilizzare.

CuteDSL è un modo utile per pensare a quel confine. Una piccola descrizione dichiarativa del lavoro può viaggiare attraverso un sistema mentre la rappresentazione costosa rimane vicina all'acceleratore. L'obiettivo non è una sintassi intelligente; è mantenere l'orchestrazione economica e l'inferenza occupata.

Cosa indica il "teletrasporto latente"

Usa la frase come modello mentale: sposta un latente compatto o un intermedio già utile tra stadi compatibili invece di ricostruire l'intero problema da pixel o testo ogni volta. Se un ridimensionamento, un passaggio di stile, un passaggio temporale o un upscale possono consumare direttamente quella rappresentazione, la pipeline evita cicli di decodifica-codifica non necessari.

Tre aree in cui si manifestano i risparmi

1. Mantieni il percorso "caldo" residente

Lavoratori "caldi" e riutilizzo dei pesi caricati. Una coda dovrebbe decidere cosa eseguire dopo, non ricostruire ripetutamente l'ambiente di esecuzione.

2. Raggruppa il lavoro compatibile

Le immagini con la stessa forma, modello e precisione possono condividere la configurazione. Il raggruppamento è più utile quando lo scheduler vede abbastanza lavoro abbastanza presto da formare un batch.

3. Memorizza nella cache il confine giusto

Memorizza nella cache la pre-elaborazione deterministica e il condizionamento riutilizzabile. Non memorizzare nella cache un gigantesco artefatto finale quando un intermedio compatto può servire più consumatori a valle.

Uno schizzo compatto della pipeline

request -> normalize prompt + references
        -> choose model / shape / precision
        -> warm worker or form a compatible batch
        -> generate in latent space
        -> decode only at the delivery boundary
        -> durable result + usage record

Il confine importante è l'ultimo. Decodifica quando un essere umano o un'API esterna ha bisogno di pixel o fotogrammi, non ogni volta che una fase interna vuole prendere una decisione.

Misura l'intero percorso

Traccia separatamente l'attesa in coda, l'avvio del worker, il caricamento del modello, l'inferenza, la decodifica, il caricamento e il tempo alla prima anteprima. Un kernel più veloce è bello, ma un worker "caldo" che elimina un avvio di dieci secondi è spesso il guadagno maggiore. Ottimizza il segmento visibile più lento, quindi misura di nuovo con prompt reali e forme di output reali.