Kalkulator VRAM dla modeli AI

32 GiB

Szacuje zapotrzebowanie na pamięć przy jednoczesnym załadowaniu kilku modeli. KV cache liczony z rzeczywistej architektury (warstwy × głowice KV × wymiar głowicy), a nie z samej liczby parametrów.

Ustawienia globalne

Precyzja KV cache: FP8 zmniejsza bufor kontekstu o połowę względem FP16 (wsparcie sprzętowe od architektury Ada / Blackwell).

Co oznaczają te ustawienia?

Precyzja KV cache — ile bajtów zajmuje jedna liczba w pamięci kontekstu. FP8 to te same dane zapisane drobniej: połowa miejsca przy minimalnej stracie jakości.

Narzut systemu — liczony raz. Pulpit, przeglądarka i kompozytor okien zajmują VRAM, zanim uruchomisz jakikolwiek model.

Narzut na proces — liczony razy liczba modeli. Każda instancja (Ollama, llama.cpp, vLLM) dostaje własny kontekst CUDA — sterownik rezerwuje 0,3–0,5 GiB niezależnie od wielkości modelu — plus bufory obliczeniowe na wyniki pośrednie. Jeśli trzymasz wszystkie modele w jednym procesie, zjedź do 0,2.

Margines fragmentacji — procent doliczany do całości. Alokator nie upycha bloków idealnie; między nimi zostają nieużywane dziury.

Narzut na proces to reguła kciuka, nie zmierzona stała — inaczej niż mnożniki wag. Zmierz własny: uruchom jeden model i porównaj nvidia-smi --query-gpu=memory.used --format=csv z sumą wag i KV cache z tabeli obok.

Modele załadowane jednocześnie

Całkowite zużycie VRAM

0,0 / 32 GiB
—

Alokacja pamięci

032 GiB

Rozbicie na składniki (GiB). Kolumna „tok/s” to szacunek limitu przepustowości pamięci.
SkładnikWagiKV cacheNarzutRazem~tok/s
Razem

Symulator współbieżności (vLLM)

Szacunek dla N zapytań naraz. Tok/s zakłada dekodowanie ograniczone przepustowością pamięci.
ZapytańKV razemVRAMtok/s każdetok/s łącznie

vLLM rezerwuje pulę KV od startu, więc nvidia-smi pokazuje stałą wartość. Krzywa mówi, ile VRAM trzeba przeznaczyć, żeby N zapytań naraz zmieściło się w puli. Zakładam pełny KV cache każdego zapytania, bez prefix cachingu.

Karta graficzna

Jak to jest liczone

KV cache = 2 × warstwy × głowice_KV × wymiar_głowicy × tokeny × bajty/element, liczone osobno dla warstw globalnych (pełny kontekst) i lokalnych (przycięte do okna). Modele z GQA mają 4–8× mniej głowic KV niż głowic uwagi, więc szacowanie KV cache z samej liczby parametrów zawyża wynik wielokrotnie.

Wagi = parametry × efektywne bajty/wagę. Mnożniki są kalibrowane na realnych plikach modeli klasy 8B, więc uwzględniają skale kwantyzacji i warstwy trzymane w wyższej precyzji.

Czego kalkulator nie modeluje:

  • Limit kontekstu jest per model. Lista pokazuje tylko wartości, które dany model faktycznie obsługuje — według max_position_embeddings z jego config.json. Whisper generuje maks. 448 tokenów, XTTS około 1007, Llama 2 4K, a Gemma 4 i Qwen3.8 przyjmują 256K. Po zmianie modelu kontekst jest przycinany do nowego limitu. Część modeli da się rozciągnąć ponad natywne maksimum przez skalowanie RoPE (YaRN) — tego kalkulator nie zakłada, więc przy takiej konfiguracji wpisz kontekst ręcznie w trybie dokładnym.
  • Koszt wymiany modelu to głównie prefill, nie transfer wag. Przy wyładowaniu modelu ginie jego KV cache, więc po powrocie trzeba przeliczyć cały prompt od nowa. Transfer 12 GB wag przez PCIe 5.0 to ~0,2 s, ale odbudowa kontekstu 32K dla modelu 12B zajmuje ~8 s — czterdziestokrotnie więcej. Prefill ogranicza moc obliczeniowa, więc skaluje się odwrotnie do parametrów aktywnych: MoE 20B z 3,6 mld aktywnych prefilluje szybciej niż gęsty model 12B. Bazę „Prefill 8B” odczytaj z logów swojego serwera — llama.cpp podaje ją jako prompt eval time.
  • Decoding spekulatywny to jedyny układ, w którym dwa modele naraz są szybsze. Draft proponuje γ tokenów po kolei, target weryfikuje je jednym przebiegiem — bo dekodowanie ogranicza pamięć, nie obliczenia. Oczekiwana liczba tokenów na rundę to Σ αi dla i = 0…γ, a prędkość wynosi E / (γ × czas_draftu + czas_targetu). Zysk wymaga, by draft był wielokrotnie tańszy: Qwen3 32B z draftem 0,6B daje ×2,5, ale Llama 8B z draftem 3B tylko ×1,07 — bo γ przebiegów zbyt dużego draftu zjada cały zapas.
  • Offload ekspertów zależy od łącza, nie od karty. Przy zepchnięciu ekspertów do RAM wąskim gardłem przestaje być pamięć GPU, a staje się PCIe. Dla gpt-oss 20B przy 100% offloadu: PCIe 5.0 x16 daje ~37 tok/s, PCIe 4.0 ~18, a NVMe Gen4 już tylko ~4. Kalkulator liczy to z pola „Łącze przeładowania”.
  • Uwaga liniowa (Qwen3.6 / 3.8, Mamba, GDN) — te warstwy mają stan o stałym rozmiarze, tu pominięty. Realnie doda ok. 0,1–0,5 GiB.
  • MLA (DeepSeek V2/V3/V4) — kompresja KV nawet kilkunastokrotna, wymaga innego wzoru.
  • Modele OCR i VLM — podane parametry obejmują już wieżę wizyjną, więc wagi się zgadzają. Pamiętaj jednak, że obraz zjada kontekst: strona A4 to zwykle 1–2 tys. tokenów (DeepSeek-OCR kompresuje do ok. 100–800). Przy wsadowym przetwarzaniu ustaw kontekst na tyle stron naraz, ile faktycznie podajesz.
  • Kwantyzacja małych modeli — poniżej ~2 mld parametrów schodzenie do 4 bitów wyraźnie psuje jakość, a oszczędza ułamek GiB. Modele OCR i mowy trzymaj raczej w FP16 lub FP8.
  • Polski zjada więcej tokenów niż angielski — w zmierzonym tekście polskie słowo to 1,5–2,5× więcej tokenów niż angielskie (Llama 3.x: 2,81 vs 1,17; Qwen3: 2,69 vs 1,17; Gemma 3: 2,20 vs 1,20). Kontekst zaplanowany na angielskich benchmarkach będzie za mały. Wyjątek to tokenizery APT (Bielik PL), uczone pod polski. Przy 32K daje to od 10 tys. do 20 tys. polskich słów, czyli od 40 do 79 stron, przy tym samym VRAM. Pełna tabela jest w zakładce Przelicznik kontekstu.
  • Modele mowy — „kontekst” oznacza tu tokeny audio, nie słowa. XTTS mieści ok. 1000 tokenów (ok. 20 s mowy), Whisper generuje maks. 448 naraz, więc najniższa pozycja z listy i tak je przeszacowuje. Modele typu VITS (MMS-TTS, Piper) nie są autoregresyjne i nie mają KV cache — ustaw im rolę „embedding”.
  • Presety odczytane z config.json (sierpień 2026) — przy nowym modelu zweryfikuj wartości, architektury zmieniają się co kwartał.