CuteDSL, 잠재 텔레포테이션, 그리고 더 빠른 생성의 지름길

생성 워크로드는 종종 모델이 전체 시스템인 것처럼 설명됩니다. 실제로 느린 부분은 모델 주변의 이동일 수 있습니다: 가중치 로딩, 형식 변환, 텐서 복사, 작업자 대기, 그리고 다른 단계에서 재사용할 수 있는 중간 결과를 버리는 것.

CuteDSL은 그 경계를 생각하는 유용한 방법입니다. 작업에 대한 작고 선언적인 설명은 시스템을 통해 이동할 수 있는 반면, 값비싼 표현은 가속기 가까이에 유지됩니다. 목표는 영리한 구문이 아니라 오케스트레이션을 저렴하게 유지하고 추론을 바쁘게 유지하는 것입니다.

"잠재 텔레포테이션"이 가리키는 것

이 문구를 정신적 모델로 사용하세요: 픽셀이나 텍스트에서 전체 문제를 매번 재구성하는 대신, 호환 가능한 단계 사이에 컴팩트한 잠재 표현이나 이미 유용한 중간 결과를 이동시키는 것입니다. 리사이즈, 스타일 패스, 시간적 패스, 업스케일이 그 표현을 직접 소비할 수 있다면, 파이프라인은 불필요한 디코드-인코드 루프를 피할 수 있습니다.

절약 효과가 나타나는 세 가지 지점

1. 핫 경로를 상주 상태로 유지

워커를 워밍업하고 로드된 가중치를 재사용하세요. 큐는 다음에 무엇을 실행할지 결정해야 하며, 실행 환경을 반복적으로 재구축해서는 안 됩니다.

2. 호환 가능한 작업 배치

동일한 형태, 모델, 정밀도를 가진 이미지는 설정을 공유할 수 있습니다. 배칭은 스케줄러가 배치를 형성할 수 있을 만큼 충분히 일찍 충분한 작업을 볼 때 가장 유용합니다.

3. 올바른 경계 캐시

결정적 전처리와 재사용 가능한 컨디셔닝을 캐시하세요. 컴팩트한 중간 결과가 여러 다운스트림 소비자에게 서비스를 제공할 수 있을 때 거대한 최종 산출물을 캐시하지 마세요.

컴팩트한 파이프라인 스케치

request -> normalize prompt + references
        -> choose model / shape / precision
        -> warm worker or form a compatible batch
        -> generate in latent space
        -> decode only at the delivery boundary
        -> durable result + usage record

중요한 경계는 마지막 경계입니다. 사람이나 외부 API가 픽셀이나 프레임을 필요로 할 때 디코드하세요. 내부 단계가 결정을 내리려고 할 때마다 디코드하지 마세요.

전체 경로 측정

큐 대기, 워커 시작, 모델 로드, 추론, 디코드, 업로드, 첫 미리보기까지의 시간을 별도로 추적하세요. 더 빠른 커널도 좋지만, 10초 시작 시간을 제거하는 워밍업된 워커가 종종 더 큰 승리입니다. 가장 느린 가시적 세그먼트를 최적화한 다음 실제 프롬프트와 실제 출력 형태로 다시 측정하세요.