CuteDSL, teletransportación latente y el camino más corto hacia una generación más rápida

Las cargas de trabajo generativas a menudo se describen como si el modelo fuera todo el sistema. En la práctica, la parte lenta puede ser el movimiento alrededor del modelo: cargar pesos, traducir formatos, copiar tensores, esperar a un trabajador y desechar un intermedio que otra etapa podría haber reutilizado.

CuteDSL es una forma útil de pensar en ese límite. Una descripción pequeña y declarativa del trabajo puede viajar a través de un sistema mientras la representación costosa permanece cerca del acelerador. El objetivo no es una sintaxis inteligente; es mantener la orquestación barata y la inferencia ocupada.

A qué apunta la “teletransportación latente”

Utilice la frase como modelo mental: mueva un latente compacto o un intermedio ya útil entre etapas compatibles en lugar de reconstruir todo el problema a partir de píxeles o texto cada vez. Si un cambio de tamaño, un pase de estilo, un pase temporal o una mejora de escala pueden consumir esa representación directamente, el pipeline evita bucles innecesarios de decodificación-codificación.

Tres lugares donde se muestran los ahorros

1. Mantenga la ruta crítica residente

Trabajadores "calientes" y reutilización de pesos cargados. Una cola debe decidir qué se ejecuta a continuación, no reconstruir repetidamente el entorno de ejecución.

2. Procese el trabajo compatible en lotes

Las imágenes con la misma forma, modelo y precisión pueden compartir la configuración. El procesamiento por lotes es más útil cuando el programador ve suficiente trabajo con la antelación suficiente para formar un lote.

3. Almacene en caché el límite correcto

Almacene en caché el preprocesamiento determinista y el condicionamiento reutilizable. No almacene en caché un artefacto final gigante cuando un intermedio compacto puede servir a múltiples consumidores posteriores.

Un esquema de pipeline compacto

request -> normalize prompt + references
        -> choose model / shape / precision
        -> warm worker or form a compatible batch
        -> generate in latent space
        -> decode only at the delivery boundary
        -> durable result + usage record

El límite importante es el último. Decodifique cuando un humano o una API externa necesite píxeles o fotogramas, no cada vez que una etapa interna quiera tomar una decisión.

Mida la ruta completa

Realice un seguimiento por separado del tiempo de espera en cola, el inicio del trabajador, la carga del modelo, la inferencia, la decodificación, la carga y el tiempo hasta la primera vista previa. Un kernel más rápido es bueno, pero un trabajador "caliente" que elimina un inicio de diez segundos suele ser la mayor ganancia. Optimice el segmento visible más lento y luego mida nuevamente con indicaciones reales y formas de salida reales.