Napíšete AI do chatu otázku, ona odpovie, vy sa spýtate na niečo ďalšie - a po pol hodine rozhovoru sa odpovede spomalia alebo model „zabudne“ začiatok.
Za týmto javom nestojí len dĺžka textu, ale konkrétna dátová štruktúra v pamäti grafickej karty: KV cache (keš kľúčov a hodnôt). Vysvetlíme si, čo to je, prečo pri dlhom kontexte rastie a čo z toho vyplýva pre vás ako používateľa.
Čo sa deje „pod kapotou“ pri každom slove
Keď model generuje text, prechádza postupne token po tokene (token = približne slabika až krátke slovo). Pri každom kroku počíta pozornosť (attention) - teda ako veľmi súvisí aktuálne slovo so všetkými predchádzajúcimi. Aby to nemusel robiť od nuly pri každom novom tokene, uloží si medzivýsledky pre každý token do dvoch vektorov: kľúč (key) a hodnota (value). Odtiaľ názov KV cache.
- Bez keše: model by pri každom novom slove prepočítaval celú históriu konverzácie - výpočtovo aj pamäťovo neúnosné.
- S kešou: staré kľúče a hodnoty ostávajú v pamäti a model k nim len pripája nové. Rýchlosť generovania výrazne stúpne.
Zásadný dôsledok: keš sa nedá „zahodiť“ uprostred konverzácie bez toho, aby model stratil kontext. Preto s každým ďalším tokenom pribúda do pamäte ďalší kus.
Prečo je dlhý rozhovor drahý na pamäť
Veľkosť KV cache závisí od troch vecí:
- počet tokenov v kontexte (čím dlhší rozhovor, tým viac),
- počet vrstiev modelu a rozmer pozornosti (väčšie modely = väčšia keš),
- počet paralelných požiadaviek, ktoré server obsluhuje naraz.
Praktický dôsledok opísal Zoner cloud vo svojom teste GPU serverov pre veľké jazykové modely (LLM): pri dlhom kontexte okolo 50 000 až 100 000 tokenov začína byť práve veľkosť KV cache tým, čo rozhoduje o tom, koľko používateľov server zvládne súčasne. Ich porovnanie ukázalo, že štvornásobný počet GPU neprináša len vyššiu rýchlosť generovania (skok zo 47 na 73 tokenov za sekundu), ale hlavne výrazne väčšiu KV cache - približne 9 plnohodnotných požiadaviek naraz (Zoner cloud, 2026).
To je pointa, ktorú bežný benchmark jediným číslom neukáže: rýchlosť a pamäť sú dve rôzne veci. Model môže odpovedať rýchlo, no ak nemá kam uložiť keš, jednoducho odmietne ďalšiu požiadavku alebo skráti kontext.
Čo to znamená pre vás ako používateľa
Ako používateľ to pocítite v niekoľkých situáciách:
- Dlhý rozhovor sa spomalí. Čím dlhšie píšete, tým viac pamäte keš zaberá a tým menej priestoru ostáva na paralelných používateľov - služba môže odpovedať pomalšie.
- „Zabudnutie“ začiatku. Ak poskytovateľ narazí na limit pamäte, môže staršie časti konverzácie orezať. Nie je to chyba modelu, ale dôsledok obmedzenej keše.
- Softvérové optimalizácie. Niektoré nasadenia používajú „predikciu viacerých tokenov“ (MTP) - zrýchli krátke a rýchle scenáre, no pri dlhom kontexte sa podľa Zoner cloudu (2026) ukazuje ako istejšia voľba vypnutá predikcia. Pre vás to znamená, že rýchlosť služby pri dlhých vstupoch môže kolísať podľa toho, ako ju prevádzkovateľ nastaví.
Prečo to nie je len technický detail
KV cache je dôvod, prečo poskytovatelia AI služieb účtujú podľa počtu tokenov a prečo sú dlhé kontexty drahšie. Každý token, ktorý pošlete, musí mať v pamäti miesto pre svoj kľúč a hodnotu - a to po celý čas, kým konverzácia beží. Keď sa rozhovor skončí, keš sa uvoľní.
Pre bežného používateľa z toho vyplýva jednoduché pravidlo: ak potrebujete dlhý rozhovor s AI, očakávajte, že bude pomalší alebo drahší - nie preto, že by bol model horší, ale preto, že si musí pamätať viac. Ak naopak potrebujete rýchle odpovede, kratšie a sústredenejšie otázky fungujú spoľahlivejšie.
Čo si z toho odniesť
- KV cache = pamäť pre históriu konverzácie. Rastie s každým tokenom a nedá sa uprostred rozhovoru zmazať.
- Dlhý kontext je náročný na pamäť, nie len na výpočet. Podľa Zoner cloudu (2026) práve veľkosť keše rozhoduje o tom, koľko používateľov zvládne server súčasne.
- Viac GPU = väčšia keš. Štvornásobný počet kariet neznamená len rýchlejšie tokeny, ale aj priestor pre približne 9 paralelných požiadaviek.
- Pri dlhých vstupoch overte nastavenie služby. Rýchlosť a stabilita pri 50 000+ tokenoch závisia od konfigurácie prevádzkovateľa.
Záver: Ako čítať pamäťovú stopu dlhého rozhovoru s AI
KV cache je technický pojem, ktorý sa pri bežnom používaní nevidí, no pri dlhých rozhovoroch s AI ho pocítite na rýchlosti aj cene. Ak chápete, že keš rastie s každým tokenom a že jej veľkosť určuje, koľko konverzácií služba zvládne naraz, prestanete sa čudovať, prečo je „pamätanie si“ také drahé. Pri výbere nástroja alebo pri plánovaní vlastného nasadenia sa pýtajte práve na veľkosť KV cache - je to číslo, ktoré rozhoduje o tom, či vám AI bude slúžiť plynulo, alebo sa pri dlhom rozhovore zadýcha.
Zdroje
- Zoner cloud - Staviame efektívny GPU server: Koľko grafických kariet zvoliť pre rôzne LLM modely, zonercloud.sk (citované 20. 10. 2026)
