Chcete naučiť dieťa po slovensky.
Najprv mu roky čítate tisíce kníh, púšťate rozprávky a rozprávate sa o všetkom možnom – o zvieratkách, o počasí, o vesmíre. Dieťa si postupne osvojí slovnú zásobu, gramatiku a základné súvislosti. Až potom, keď už „vie po slovensky", ho môžete začať učiť konkrétne veci – napríklad účtovníctvo alebo programovanie. Predtrénovanie (pretraining) je presne táto prvá, masívna fáza učenia umelej inteligencie.
Definícia: Čo to vlastne je?
Predtrénovanie je proces, pri ktorom sa model umelej inteligencie (najmä veľký jazykový model, LLM) učí základné jazykové znalosti a všeobecné súvislosti z obrovského množstva neoznačených textových dát. Ide o prvú a najnákladnejšiu fázu vývoja modelu, ktorá mu dáva schopnosť rozumieť jazyku a generovať zmysluplné odpovede. Bez predtrénovania by akékoľvek ďalšie dolaďovanie (fine-tuning) bolo ako stavať dom bez základov.
Ako to funguje? Analógia s kuchárom
Predstavte si, že trénujete AI kuchára. Predtrénovanie je ekvivalent toho, že mu dáte prečítať 10 miliónov receptov, kuchárskych kníh, blogov o jedle a vedeckých článkov o chémii potravín. Kuchár sa z toho nenaučí variť konkrétne jedlo na objednávku – ale získa obrovské povedomie o tom, čo je to múka, ako reagujú suroviny pri pečení, aké chute sa k sebe hodia a aká je typická štruktúra receptu. Keď potom poviete „urob pizzu", nebude tápavo hádať, čo to je – už vďaka predtrénovaniu vie, že pizza je jedlo, že má cesto, omáčku a syr, a že sa pečie v rúre.
Technicky sa predtrénovanie realizuje takzvaným samokontrolovaným učením (self-supervised learning). Modelu dávate vety, z ktorých zámerne vynecháte slovo, a on sa učí to slovo doplniť. Alebo mu ukážete začiatok vety a on sa učí predpovedať, čo nasleduje. Milióny a miliardy takýchto cvičení ho nútia odhaliť skryté vzorce v jazyku.
Konkrétny príklad z praxe: odkiaľ má model svoju „vševedúcnosť"
Keď OpenAI alebo iná laboratórium trénuje veľký jazykový model, predtrénovanie znamená spracovať bilióny tokenov (kúskov slov) z internetu, kníh, vedeckých článkov a ďalších zdrojov. Tento proces trvá týždne až mesiace na tisíckach špecializovaných čipov (GPU) a len výpočtový výkon a elektrina stoja desiatky miliónov dolárov. Výsledkom je model, ktorý dokáže hovoriť o kvantovej fyzike, písať poéziu, prekladať medzi desiatkami jazykov a odpovedať na otázky o histórii - a to všetko bez toho, aby ho niekto konkrétne učil tieto témy. Znalosti získal práve počas predtrénovania.
Časté omyly a na čo si dať pozor
Mýtus 1: „Predtrénovanie je to isté ako trénovanie modelu na moje dáta." Nie. Predtrénovanie je všeobecné, masívne učenie. Ak chcete, aby model rozumel vašej firemnej dokumentácii, potrebujete až potom dolaďovanie (fine-tuning) – s ním prídete až po predtrénovaní.
Mýtus 2: „Väčšie predtrénovanie = vždy lepší model." Platí to len do určitej miery. Výskumy ukazujú, že po prekročení určitej veľkosti modelu (napr. 70 miliárd parametrov) prínosy ďalšieho predtrénovania klesajú. Dôležitejšia je kvalita a diverzita dát, nie len ich objem.
Mýtus 3: „Model po predtrénovaní je hotový produkt." Vôbec nie. Predtrénovaný model je ako surový diamant – má obrovský potenciál, ale je nepoužiteľný na konkrétne úlohy. Musí prejsť ďalšími fázami: dolaďovaním, hodnotením a často aj bezpečnostným orezávaním.
Na čo si dať pozor v praxi: - Náklady: Predtrénovanie vlastného modelu od nuly je finančne nedostupné pre väčšinu firiem (milióny eur). Riešením sú otvorené modely (napr. Gemma 4, DeepSeek V4.1, Qwen 3.8 či Mistral Small 4), ktoré už majú predtrénovanie hotové. - Dátová zaujatosť: Model sa učí z internetu, ktorý je plný predsudkov, dezinformácií a chýb. Bez starostlivého filtrovania dát model preberie tieto nedostatky. - Ekológia: Predtrénovanie veľkého modelu spotrebuje obrovské množstvo elektriny a vody na chladenie dátových centier, čo predstavuje významnú environmentálnu záťaž.
Verdikt: Kedy sa oplatí investovať do predtrénovania?
Ak ste bežná firma, nekupujte si vlastné predtrénovanie. Využite už hotové modely (napr. GPT-6, Claude alebo otvorené modely ako Gemma 4 a DeepSeek V4.1) a sústreďte sa na dolaďovanie a prompt inžinierstvo. Vlastné predtrénovanie dáva zmysel len v troch prípadoch:
- Pracujete s vysoko špecializovanou doménou, na ktorú bežné modely nie sú trénované (napr. starogrécke rukopisy).
- Potrebujete model, ktorý nebude závislý od cloudových API (napr. pre armádu, zdravotníctvo alebo offline prostredie).
- Máte rozpočet v miliónoch eur a tím skúsených výskumníkov.
Vo väčšine ostatných prípadov je predtrénovanie hotových modelov natoľko kvalitné, že by ste vyhadzovali peniaze za niečo, čo už existuje zadarmo.
Súvisiace pojmy
- Dolaďovanie (fine-tuning): Druhá fáza, kde model učíte na konkrétne úlohy.
- Token: Základná jednotka textu (slovo alebo jeho časť), ktorú model spracúva.
- GPU (grafický procesor): Špecializovaný čip, ktorý urýchľuje predtrénovanie.
- Samokontrolované učenie (self-supervised learning): Spôsob učenia bez ľudského označovania dát.
Podrobnejšie články a návody nájdete na aiporadca.sk.
