Kúpili ste si výkonnú grafickú kartu, stiahli ste si jeden z najnovších otvorených jazykových modelov (napríklad Qwen 3.8 alebo DeepSeek V4.1) a po spustení sa dozviete len: „Nedostatok pamäte.
Znížte veľkosť modelu alebo zatvorte iné aplikácie.“ Nie je to chyba výkonu – je to chyba VRAM. Táto pamäť je dnes najväčším obmedzením pre každého, kto chce prevádzkovať umelú inteligenciu na vlastnom hardvéri. A práve preto je kľúčové vedieť, koľko jej naozaj potrebujete.
Definícia: Čo je VRAM jednoducho povedané
VRAM (Video Random Access Memory – videopamäť) je vyhradená pamäť na grafickej karte, ktorá slúži ako rýchly sklad pre dáta, s ktorými práve pracuje GPU. Pre lokálnu AI je to miesto, kde sa načítava celý model umelej inteligencie – jeho váhy, architektúra a kontextové okno. Bez dostatočnej VRAM model jednoducho nespustíte, aj keby ste mali najvýkonnejší procesor na svete.
Ako to funguje a prečo na tom záleží
Predstavte si VRAM ako pracovný stôl. Čím je stôl väčší, tým viac vecí naň naraz položíte a tým rýchlejšie s nimi pracujete. Bežná RAM (operačná pamäť) je ako skriňa v rohu miestnosti – veci do nej uložíte, ale kým ich presuniete na stôl, trvá to. GPU potrebuje mať model AI priamo na stole (vo VRAM), aby s ním mohol pracovať v reálnom čase. Ak sa model nezmestí, systém začne presúvať dáta medzi VRAM a RAM, čo spôsobí dramatické spomalenie – v praxi to znamená, že odpoveď od AI môže trvať minúty namiesto sekúnd.
Pre lokálnu AI je VRAM kľúčová z troch dôvodov: - Veľkosť modelu: Jazykové modely majú stovky miliónov až miliardy parametrov. Napríklad model so 7 miliardami parametrov v plnej presnosti (32-bit, teda 4 bajty na parameter) zaberá približne 28 GB (7 miliárd × 4 bajty). - Kontextové okno: Čím dlhší text modelu poskytnete (napríklad celú knihu), tým viac VRAM potrebuje na jeho spracovanie. - Rýchlosť: Rýchlosť generovania odpovedí priamo závisí od toho, či sa celý model zmestí do VRAM. Ak nie, rýchlosť klesá rádovo.
Konkrétny príklad z praxe
Povedzme, že chcete spúšťať malý otvorený model s približne 8 miliardami parametrov (napríklad Ministral 3 8B) v kvantizovanej 4-bitovej verzii. Pri 4-bitovej kvantizácii pripadá na parameter približne pol bajtu, takže samotný model potrebuje okolo 4 GB VRAM plus rezervu. Pridajte kontextové okno s 8 000 tokenmi (približne 6 000 slov) – to je ďalších 2 – 3 GB. Spolu potrebujete približne 7 – 8 GB VRAM. To zvládne grafická karta s 8 GB VRAM.
Ak však chcete použiť model so 70 miliardami parametrov v 4-bitovej verzii, potrebujete len pre model približne 35 GB VRAM (70 miliárd × 0,5 bajtu), plus ďalších 5 – 10 GB pre kontext. To už vyžaduje profesionálnu kartu s 48 GB VRAM alebo viacero kariet. A ak chcete model v plnej 16-bitovej presnosti (2 bajty na parameter), potrebujete približne 140 GB – teda niekoľko kariet prepojených dohromady.
Koľko VRAM naozaj potrebujete – praktické odporúčania
Tu je reálny návod podľa toho, čo chcete robiť:
8 GB VRAM – minimálny štart. Zvládnete malé modely (3 – 7 miliárd parametrov) v kvantizovanej verzii. Vhodné na experimentovanie, jednoduché chatovanie a základné úlohy. Stačí karta aktuálnej generácie s 8 GB VRAM.
12 GB VRAM – ideálny bod pre bežného používateľa. Zvládnete modely do približne 14 miliárd parametrov v 4-bitovej verzii, napríklad Ministral 3 8B alebo 14B. Môžete pracovať s dlhšími textami a vykonávať jednoduché doladenie (fine-tuning). Vyberte kartu aktuálnej generácie s 12 GB VRAM.
16 – 24 GB VRAM – pre nadšencov a profesionálov. Zvládnete modely s približne 30 miliardami parametrov v 4-bitovej verzii, napríklad Gemma 4 31B alebo Muse Glimmer. Môžete pracovať s veľkými kontextovými oknami (32k – 128k tokenov) a vykonávať pokročilé doladenie. Vyberte kartu aktuálnej generácie s 16 až 24 GB VRAM.
48 GB a viac – pre serióznu prácu. Zvládnete modely so 70 miliardami parametrov v 4-bitovej verzii, prípadne menšie modely v plnej presnosti. Vyžaduje profesionálnu kartu s 48 GB VRAM alebo viacero kariet prepojených do klastra.
Časté omyly a na čo si dať pozor
Omyl č. 1: Výkon GPU je dôležitejší ako VRAM. Nie je. Pri lokálnej AI je VRAM prvým a najdôležitejším obmedzením. Rýchlejšie GPU s menšou VRAM je horšie ako pomalšie GPU s väčšou VRAM, pretože model sa do nej jednoducho nezmestí.
Omyl č. 2: Kvantizácia je zadarmo. Kvantizácia (zníženie presnosti modelu) zmenšuje veľkosť, ale mierne znižuje kvalitu výstupov. Pre bežné chatovanie je to zanedbateľné, pre odborné úlohy (napríklad preklad právnych dokumentov) to už môže byť problém.
Omyl č. 3: Stačí len GPU, zvyšok je nepodstatný. Potrebujete aj dostatočnú RAM (aspoň 16 GB, ideálne 32 GB) a rýchle úložisko (NVMe SSD), pretože modely sa načítavajú z disku. Ak máte pomalý disk, načítanie modelu môže trvať minúty.
Pasca č. 1: „Lacné“ riešenia s malou VRAM. Karty so 6 GB VRAM (napríklad RTX 3050) sú na lokálnu AI prakticky nepoužiteľné – zmestí sa do nich len najmenší model (3 miliardy parametrov) a aj ten s obmedzeniami.
Pasca č. 2: Zanedbanie chladenia. Ak používate kartu na dlhodobé behy modelov (napríklad doladenie), generuje obrovské teplo. Bez dostatočného chladenia môže dôjsť k tepelnému škrteniu (throttlingu), ktoré výrazne zníži výkon.
Verdikt: Čo si vybrať
Ak začínate a chcete len vyskúšať lokálnu AI, kúpte kartu aktuálnej generácie s 12 GB VRAM – tá dnes ponúva najlepší pomer ceny a možností pre tento účel. Ak plánujete serióznu prácu s väčšími modelmi, investujte do 24 GB, čo vás pokryje na niekoľko rokov. A ak potrebujete profesionálne nástroje, pripravte sa na výrazne vyššie náklady.
Pamätajte: VRAM je dnes vzácnejšia ako samotný výpočtový výkon. Pri výbere grafickej karty pre lokálnu AI sa najprv pozerajte na kapacitu pamäte, až potom na počet jadier a frekvencie. Ušetríte si tak frustráciu a peniaze.
