Kúpite si najvýkonnejší traktor s 500 koňmi na obrábanie záhradky 10×10 metrov.
Zaplatíte majland, spotrebujete kopu nafty a nakoniec zistíte, že sa s ním ani neotočíte. Presne to isté sa deje s veľkosťou modelov umelej inteligencie. Číslo ako 7B, 70B alebo 400B (miliardy parametrov) dnes frčí v každej diskusii o AI, no málokto vám povie, čo to v praxi znamená pre vašu peňaženku, čas a výslednú kvalitu.
Parameter je v podstate „vedomostný uzol" v sieti AI – čím viac ich model má, tým viac informácií dokáže obsiahnuť, no za obrovskú cenu.
Ako to funguje? Analogicky s ľudským mozgom
Predstavte si, že parametre sú ako synapsie v mozgu. Model so 7 miliardami parametrov (7B) je ako šikovný stredoškolák – rýchlo sa učí, zvládne bežné úlohy, no v špecializovanej medicíne alebo práve sa pomýli. Model so 70B parametrami je ako profesor s dvomi doktorátmi – rozumie hĺbkovým súvislostiam, no na odpoveď potrebuje viac času a „kávu" (výpočtový výkon). A 400B model? To je celý univerzitný zbor – neuveriteľne múdry, no na to, aby vôbec začal rozmýšľať, potrebuje superpočítač a elektrinu ako malá elektráreň.
Technicky vzaté, parametre sú váhy medzi neurónmi v sieti. Každý parameter je desatinné číslo, ktoré model používa na výpočet pravdepodobnosti – napríklad „aké slovo nasleduje po 'Bratislava je hlavné mesto'". Viac parametrov znamená jemnejšie rozlíšenie a schopnosť zachytiť zriedkavé súvislosti. No zároveň to znamená obrovské nároky na pamäť GPU – 7B model zaberie ~14 GB v 16-bitovej presnosti, 70B ~140 GB a 400B model potrebuje 800 GB (čo je 10× viac, než má bežný herný počítač).
Konkrétny príklad z praxe: Preklad zmluvy
Pošlite týmto trom modelom preklad 50-stranovej právnej zmluvy z angličtiny do slovenčiny. 7B model (napr. Mistral 7B) zvládne prvú stranu za 2 sekundy, no na 5. strane začne vymýšľať právne termíny a vynechávať odseky. 70B model (Llama 3 70B) preloží celú zmluvu za 3 minúty s 98% presnosťou – občas pomýli „shall" a „must". 400B model (napr. GPT-4) zvládne rovnakú úlohu za 30 sekúnd s takmer dokonalou presnosťou, no za jediný preklad zaplatíte 2 € cez API, kým 7B model na lokálnom počítači vás stojí len elektrinu.
Kľúčová otázka teda znie: Potrebujete naozaj profesora, keď vám stačí šikovný stredoškolák?
Časté omyly a na čo si dať pozor
Omyl č. 1: „Väčší model = vždy lepší výsledok." Nie je to pravda. Pre jednoduché úlohy (sumarizácia e-mailov, základný chat, generovanie jednoduchých textov) je 7B model rovnako dobrý ako 400B, no je 50× lacnejší a 10× rýchlejší. Viaceré štúdie naznačujú, že pre 80 % bežných úloh postačuje 7 – 13B model.
Omyl č. 2: „Všetky modely s rovnakým počtom parametrov sú rovnako výkonné." Kvalita závisí od trénovacích dát, architektúry a doladenia (fine-tuning). Napríklad 7B model Mistral je v mnohých úlohách lepší ako starší 13B model Llama 2. Číslo parametrov je len jeden z mnohých faktorov.
Omyl č. 3: „Parameter je ako bunka – čím viac, tým lepšie." V skutočnosti s rastúcim počtom parametrov rastie aj riziko „preučenia" (overfitting) – model si zapamätá trénovacie dáta namiesto toho, aby sa naučil zovšeobecňovať. Preto niektoré 7B modely prekonávajú v testoch kreativity 70B modely.
Skryté náklady: Prevádzka 70B modelu na cloudovej GPU (napr. A100) stojí ~1,5 € za hodinu. Ak ho používate 8 hodín denne, mesačne zaplatíte 360 €. 7B model beží na bežnej hernej grafike (RTX 3060) s nákladmi ~0,20 € za hodinu. Rozdiel je 1 800 % v neprospech väčšieho modelu.
Čo si vybrať? Praktický verdikt
Pre domáce použitie a malé firmy: 7B modely (Mistral 7B, Llama 3 8B, Phi-3) – bežia na notebooku s 16 GB RAM, sú zadarmo a zvládnu 90 % úloh. Ideálny pomer cena/výkon.
Pre stredné firmy a špecializované úlohy: 70B modely (Llama 3 70B, Mixtral 8x22B) – vyžadujú cloudovú GPU alebo výkonný server, no poskytujú výrazne lepšiu presnosť v právnych, medicínskych a technických textoch. Počítajte s nákladmi 300 – 600 € mesačne.
Pre výskumné centrá a enterprise: 400B+ modely (GPT-4, Claude 3 Opus) – jediné, ktoré zvládajú komplexné analýzy, viacjazyčné preklady s kultúrnym kontextom a generovanie kódu na úrovni senior programátora. Cena cez API je 10 – 30 € za milión tokenov (cca 700 strán textu).
Zlaté pravidlo: Začnite s najmenším modelom, ktorý zvládne vašu úlohu. Až keď narazíte na limity, prejdite na väčší. V 90 % prípadov zistíte, že 7B model je viac než dosť.
Súvisiace pojmy
- Kvantizácia modelov – technika zmenšenia veľkosti modelu bez výraznej straty kvality (napr. 70B model sa zmestí do 40 GB)
- Tokenizácia – proces, ktorým model rozdeľuje text na časti, ktoré spracúva
- GPU VRAM – pamäť grafickej karty, ktorá limituje, aký veľký model vôbec spustíte
- Inferencia vs. trénovanie – beh hotového modelu (inferencia) je oveľa menej náročný než jeho učenie
Podrobnejšie články a návody nájdete na ai.ezin.sk.
