CuteDSL, latent ışınlanma ve daha hızlı üretime giden en kısa yol

Üretken iş yükleri genellikle modelin tüm sistem olduğu varsayılarak tanımlanır. Pratikte, yavaş kısım model etrafındaki hareket olabilir: ağırlıkları yükleme, formatları çevirme, tensörleri kopyalama, bir işçiyi bekleme ve başka bir aşamanın yeniden kullanabileceği bir ara çıktıyı atmak.

CuteDSL, bu sınırı düşünmek için kullanışlı bir yoldur. İşin küçük, bildirimsel bir açıklaması bir sistemde seyahat edebilirken, pahalı temsil hızlandırıcıya yakın kalır. Amaç akıllı sözdizimi değildir; orkestrasyonu ucuz tutmak ve çıkarımı meşgul etmektir.

“Latent ışınlanma” neyi işaret ediyor

Bu ifadeyi zihinsel bir model olarak kullanın: her seferinde tüm problemi piksellerden veya metinden yeniden oluşturmak yerine, uyumlu aşamalar arasında kompakt bir latent veya zaten faydalı bir ara öğeyi taşıyın. Bir yeniden boyutlandırma, stil geçişi, zamansal geçiş veya büyütme bu temsili doğrudan tüketebiliyorsa, boru hattı gereksiz kod çözme-kodlama döngülerinden kaçınır.

Tasarrufların ortaya çıktığı üç yer

1. Kritik yolu sürekli hazır tutun

Çalışanları sıcak tutun ve yüklenen ağırlıkları yeniden kullanın. Bir kuyruk, bir sonraki neyin çalışacağına karar vermeli, yürütme ortamını tekrar tekrar yeniden inşa etmemelidir.

2. Uyumlu işleri gruplandırın

Aynı şekle, modele ve hassasiyete sahip görüntüler kurulumu paylaşabilir. Gruplandırma, zamanlayıcı yeterli işi yeterince erken gördüğünde bir grup oluşturmak için en kullanışlıdır.

3. Doğru sınırı önbelleğe alın

Deterministik ön işlemeyi ve yeniden kullanılabilir koşullandırmayı önbelleğe alın. Kompakt bir ara öğe birden fazla aşağı akış tüketicisine hizmet edebilecekken devasa bir nihai yapıyı önbelleğe almayın.

Kompakt bir boru hattı taslağı

request -> normalize prompt + references
        -> choose model / shape / precision
        -> warm worker or form a compatible batch
        -> generate in latent space
        -> decode only at the delivery boundary
        -> durable result + usage record

Önemli sınır sonuncusudur. Bir insan veya harici bir API piksellere veya karelere ihtiyaç duyduğunda kod çözün, dahili bir aşama karar vermek istediğinde her seferinde değil.

Tüm yolu ölçün

Kuyruk bekleme süresini, çalışan başlatmayı, model yüklemeyi, çıkarımı, kod çözmeyi, yüklemeyi ve ilk önizleme süresini ayrı ayrı izleyin. Daha hızlı bir çekirdek güzeldir, ancak on saniyelik bir başlatmayı ortadan kaldıran sıcak bir çalışan genellikle daha büyük bir kazançtır. En yavaş görünen segmenti optimize edin, ardından gerçek istemler ve gerçek çıktı şekilleriyle tekrar ölçün.