CuteDSL, латентная телепортация и кратчайший путь к более быстрой генерации

Генеративные рабочие нагрузки часто описываются так, как будто модель является всей системой. На практике медленной частью может быть перемещение вокруг модели: загрузка весов, преобразование форматов, копирование тензоров, ожидание работника и отбрасывание промежуточного результата, который мог бы быть повторно использован на другом этапе.

CuteDSL — это полезный способ осмысления этой границы. Небольшое, декларативное описание работы может перемещаться по системе, в то время как дорогостоящее представление остается близко к ускорителю. Цель не в умном синтаксисе; она в том, чтобы сделать оркестровку дешевой, а вывод — загруженным.

На что указывает «латентная телепортация»

Используйте эту фразу как ментальную модель: перемещайте компактное скрытое представление или уже полезный промежуточный результат между совместимыми этапами вместо того, чтобы каждый раз реконструировать всю проблему из пикселей или текста. Если изменение размера, стилизация, временная обработка или масштабирование могут напрямую использовать это представление, конвейер избегает ненужных циклов декодирования-кодирования.

Три области, где проявляется экономия

1. Сохраняйте "горячий" путь резидентным

Прогревайте воркеры и повторно используйте загруженные веса. Очередь должна решать, что запускать следующим, а не постоянно перестраивать среду выполнения.

2. Объединяйте совместимую работу в пакеты

Изображения с одинаковой формой, моделью и точностью могут использовать общие настройки. Пакетная обработка наиболее полезна, когда планировщик видит достаточно работы достаточно рано, чтобы сформировать пакет.

3. Кэшируйте правильную границу

Кэшируйте детерминированную предварительную обработку и повторно используемые условия. Не кэшируйте гигантский конечный артефакт, когда компактный промежуточный результат может обслуживать нескольких последующих потребителей.

Компактный набросок конвейера

request -> normalize prompt + references
        -> choose model / shape / precision
        -> warm worker or form a compatible batch
        -> generate in latent space
        -> decode only at the delivery boundary
        -> durable result + usage record

Важная граница — последняя. Декодируйте, когда человеку или внешнему API нужны пиксели или кадры, а не каждый раз, когда внутренний этап хочет принять решение.

Измеряйте весь путь

Отдельно отслеживайте время ожидания в очереди, запуск воркера, загрузку модели, инференс, декодирование, загрузку и время до первого предварительного просмотра. Более быстрое ядро — это хорошо, но прогретый воркер, который устраняет десятисекундный запуск, часто приносит большую выгоду. Оптимизируйте самый медленный видимый сегмент, затем снова измерьте с реальными промптами и реальными формами вывода.