Architektura — parametry KV cache
Uwaga globalna — KV cache rośnie z całym kontekstem
Uwaga lokalna (sliding window) — KV cache ograniczony oknem
Mixture of Experts
0 = model gęsty (dense). Dla MoE VRAM zajmują wszystkie wagi, ale prędkość wyznaczają tylko parametry aktywne.
Decoding spekulatywny
Draft musi być rezydentny razem z targetem, więc para liczy się do szczytu jako jedno. Zysk rośnie, gdy draft jest wielokrotnie mniejszy od targetu — przy zbliżonych rozmiarach spekulacja potrafi spowolnić.
Z config.json: layer_types mówi, ile warstw to full_attention, a ile sliding_attention. Warstw linear_attention (Mamba/GDN) nie wpisuj — mają stan o stałym rozmiarze, niezależny od kontekstu.