Čo je token a prečo sa AI účtuje po tokenoch

Zaplatili ste za 10 000 slov výstupu z ChatGPT, no minuli ste ich za 20 minút?

Nie ste sami. Mnoho používateľov AI nerozumie, prečo ich účet rastie rýchlejšie, než čakali. Kľúčom je token – základná jednotka, ktorou AI meria a účtuje všetko, čo jej poviete, aj čo vám odpovie. Token nie je slovo, ani znak – je to oveľa zložitejšie, a práve v tom sa skrývajú skryté náklady.

Definícia hneď v prvej vete

Token je základná jednotka textu, ktorú AI model (ako GPT-4 alebo Claude) spracúva ako jeden kus – približne ¾ slova v angličtine, no v slovenčine často len polovicu slova. Token môže byť kratšie slovo („dom“), časť dlhšieho slova („nepre-“) alebo dokonca interpunkčné znamienko („.“). Cena za každý vstup (prompt) aj výstup (odpoveď) sa počíta v tokenoch, nie v slovách či znakoch.

Ako to funguje a prečo to vzniklo

Predstavte si, že AI model je ako obrovský prekladač, ktorý nerozumie celým vetám, ale len malým stavebným kameňom. Tieto kamene – tokeny – si model skladá dohromady, aby pochopil význam. Každý token má svoje číslo v slovníku modelu (napr. token „the“ má číslo 464). Keď napíšete „Ahoj, ako sa máš?“, model si text rozseká na tokeny: [„Ahoj“], [„,“], [„ako“], [„sa“], [„máš“], [„?“]. Každý z nich je jeden token.

Prečo sa účtuje po tokenoch, nie po slovách? Pretože model nespracúva text lineárne ako človek, ale paralelne – potrebuje presne vedieť, koľko výpočtového výkonu (GPU/CPU času) si vaša požiadavka vyžiada. Tokeny sú jednotka, ktorá je úmerná tomuto výkonu. Slovom „neprekonateľný“ model spotrebuje 3 tokeny („nepre-„, „konateľ-„, „ný“), hoci je to len jedno slovo. Ak by sa účtovalo po slovách, platili by ste rovnako za „dom“ aj za „neprekonateľný“, čo by bolo nespravodlivé.

Analógia z bežného života: Tokeny sú ako mince do automatu. Jedna minca (token) vám umožní jeden krok výpočtu. Dlhšia a zložitejšia veta (napr. „neprekonateľný“) spotrebuje viac mincí ako krátka („dom“). Automat (AI) vám vráti odpoveď, ale každé slovo v odpovedi tiež stojí mince. Cena je teda súčet mincí, ktoré vhodíte (vstup) a ktoré dostanete (výstup).

Konkrétny príklad z praxe

Povedzme, že používate ChatGPT-4 Turbo, ktorý stojí 0,01 € za 1 000 vstupných tokenov a 0,03 € za 1 000 výstupných tokenov (orientačné ceny k marcu 2025). Napíšete prompt: „Napíš mi 500-slovný článok o výhodách AI v zdravotníctve.“ Tento prompt má približne 12 tokenov (v angličtine, v slovenčine o niečo viac). Model odpovie 500-slovným textom, čo je v angličtine ~670 tokenov, v slovenčine ~1 000 tokenov (pretože slovenčina je morfologicky bohatšia – viac koncoviek, predpôn).

Cena: (12 vstupných tokenov / 1 000) * 0,01 € + (1 000 výstupných tokenov / 1 000) * 0,03 € = 0,00012 € + 0,03 € = 0,03012 €. Zdá sa to málo, no ak denne spravíte 100 takýchto dotazov, je to 3 € denne, 90 € mesačne. A ak pracujete s dlhými dokumentmi (napr. 50 000 tokenov na vstupe), jeden dotaz vás môže stáť 0,50 € na vstupe a 1,50 € na výstupe – dokopy 2 € za jednu odpoveď. To už nie je zanedbateľné.

Pasca: Mnoho ľudí si neuvedomuje, že vstupné tokeny sa počítajú z celého promptu vrátane systémovej inštrukcie, histórie konverzácie a priložených dokumentov. Ak máte dlhú konverzáciu s AI (napr. 100 správ), každý nový dotaz odošle celú históriu ako vstup – a platíte za ňu. To je dôvod, prečo niektorí používatelia platia 50 € mesačne, hoci „len“ píšu pár správ denne.

Časté omyly a na čo si dať pozor

• Token = slovo? Nie. V angličtine je pomer ~1 token na 0,75 slova, v slovenčine ~1 token na 0,5 slova. Dlhé zložené slová („najneskúsenejší“) spotrebujú 3 – 4 tokeny.
• Cena za výstup je vyššia ako za vstup. Pri GPT-4 Turbo je výstup 3x drahší ako vstup. Preto sa oplatí písať čo najkratšie a najpresnejšie prompty – menej tokenov na vstupe aj na výstupe.
• Tokeny sa rátajú aj z medzier a interpunkcie. Medzera je token, bodka je token. Každý detail zvyšuje cenu.
• Bezplatné verzie (napr. ChatGPT Free) majú limit na počet tokenov na odpoveď (zvyčajne ~4 000 tokenov). Ak potrebujete dlhší výstup, musíte platiť.
• Rôzne modely majú rôzne tokenizátory. GPT-4 tokenizuje inak ako Claude 3 alebo Llama 3. To znamená, že rovnaký text môže mať v rôznych modeloch rôzny počet tokenov. Pri výbere modelu si overte, ako tokenizuje váš jazyk.

Ako ušetriť na tokenoch – konkrétne odporúčania

1. Používajte kratšie prompty. Namiesto „Napíš mi podrobný článok o všetkých výhodách AI v zdravotníctve vrátane príkladov z praxe a odborných štúdií“ skúste „Zhrň 5 kľúčových výhod AI v zdravotníctve s jedným príkladom ku každej.“ Ušetríte 30 – 50 % tokenov.
2. Využívajte systémové inštrukcie efektívne. Namiesto opakovania inštrukcií v každom prompte ich dajte do systémovej správy (system prompt), ktorá sa pošle len raz.
3. Obmedzte históriu konverzácie. Pri dlhých diskusiách pravidelne začínajte novú konverzáciu – staré správy sa nebudú posielať ako vstup.
4. Používajte modely s nižšou cenou. GPT-4o mini stojí 0,15 € za milión vstupných tokenov (oproti 10 € za milión pri GPT-4 Turbo). Na jednoduché úlohy je to ideálne.
5. Skontrolujte tokenizáciu vášho textu. Mnoho poskytovateľov (OpenAI, Anthropic) ponúka online nástroje na zistenie počtu tokenov – použite ich pred odoslaním dlhého promptu.

Verdikt: čo si vybrať?

Ak pracujete s krátkymi textami (do 1 000 tokenov na vstup a výstup), pokojne používajte výkonné modely ako GPT-4 Turbo alebo Claude 3 Opus – mesačné náklady zostanú pod 10 €. Ak však spracúvate dlhé dokumenty (knihy, právne zmluvy, výskumné články) alebo vediete dlhé konverzácie, zvoľte lacnejší model (GPT-4o mini, Claude 3 Haiku) alebo pay-as-you-go plán s limitom na počet tokenov. Vyhnite sa paušálnym predplatným, ak neviete odhadnúť svoju spotrebu – môžete platiť za nevyužité tokeny.

Tokeny nie sú nepriateľ – sú len mernou jednotkou. Pochopením toho, ako fungujú, prestanete platiť za vzduch a začnete platiť len za to, čo skutočne potrebujete.