Chcete naučiť dieťa po slovensky.
Najprv mu roky čítate tisíce kníh, púšťate rozprávky a rozprávate sa o všetkom možnom – o zvieratkách, o počasí, o vesmíre. Dieťa si postupne osvojí slovnú zásobu, gramatiku a základné súvislosti. Až potom, keď už „vie po slovensky", ho môžete začať učiť konkrétne veci – napríklad účtovníctvo alebo programovanie. Predtrénovanie (pretraining) je presne táto prvá, masívna fáza učenia umelej inteligencie.
Definícia: Čo to vlastne je?
Predtrénovanie je proces, pri ktorom sa model umelej inteligencie (najmä veľký jazykový model, LLM) učí základné jazykové znalosti a všeobecné súvislosti z obrovského množstva neoznačených textových dát. Ide o prvú a najnákladnejšiu fázu vývoja modelu, ktorá mu dáva schopnosť rozumieť jazyku a generovať zmysluplné odpovede. Bez predtrénovania by akékoľvek ďalšie dolaďovanie (fine-tuning) bolo ako stavať dom bez základov.
Ako to funguje? Analógia s kuchárom
Predstavte si, že trénujete AI kuchára. Predtrénovanie je ekvivalent toho, že mu dáte prečítať 10 miliónov receptov, kuchárskych kníh, blogov o jedle a vedeckých článkov o chémii potravín. Kuchár sa z toho nenaučí variť konkrétne jedlo na objednávku – ale získa obrovské povedomie o tom, čo je to múka, ako reagujú suroviny pri pečení, aké chute sa k sebe hodia a aká je typická štruktúra receptu. Keď potom poviete „urob pizzu", nebude tápavo hádať, čo to je – už vďaka predtrénovaniu vie, že pizza je jedlo, že má cesto, omáčku a syr, a že sa pečie v rúre.
Technicky sa predtrénovanie realizuje takzvaným samokontrolovaným učením (self-supervised learning). Modelu dávate vety, z ktorých zámerne vynecháte slovo, a on sa učí to slovo doplniť. Alebo mu ukážete začiatok vety a on sa učí predpovedať, čo nasleduje. Milióny a miliardy takýchto cvičení ho nútia odhaliť skryté vzorce v jazyku.
Konkrétny príklad z praxe: GPT-4 a jeho „vševedúcnosť"
Keď OpenAI trénovala model GPT-4, predtrénovanie znamenalo spracovať približne 13 biliónov tokenov (kúskov slov) z internetu, kníh, vedeckých článkov a ďalších zdrojov. Tento proces trval týždne na tisíckach špecializovaných čipov (GPU) a stál odhadom 100 až 200 miliónov USD len za výpočtový výkon a elektrinu. Výsledkom je model, ktorý dokáže hovoriť o kvantovej fyzike, písať poéziu, prekladať medzi stovkami jazykov a odpovedať na otázky o histórii – a to všetko bez toho, aby ho niekto konkrétne učil tieto témy. Znalosti získal práve počas predtrénovania.
Časté omyly a na čo si dať pozor
Mýtus 1: „Predtrénovanie je to isté ako trénovanie modelu na moje dáta." Nie. Predtrénovanie je všeobecné, masívne učenie. Ak chcete, aby model rozumel vašej firemnej dokumentácii, potrebujete až potom dolaďovanie (fine-tuning) – s ním prídete až po predtrénovaní.
Mýtus 2: „Väčšie predtrénovanie = vždy lepší model." Platí to len do určitej miery. Výskumy ukazujú, že po prekročení určitej veľkosti modelu (napr. 70 miliárd parametrov) prínosy ďalšieho predtrénovania klesajú. Dôležitejšia je kvalita a diverzita dát, nie len ich objem.
Mýtus 3: „Model po predtrénovaní je hotový produkt." Vôbec nie. Predtrénovaný model je ako surový diamant – má obrovský potenciál, ale je nepoužiteľný na konkrétne úlohy. Musí prejsť ďalšími fázami: dolaďovaním, hodnotením a často aj bezpečnostným orezávaním.
Na čo si dať pozor v praxi: - Náklady: Predtrénovanie vlastného modelu od nuly je finančne nedostupné pre väčšinu firiem (milióny eur). Riešením sú open-source modely (napr. Llama 3, Mistral), ktoré už majú predtrénovanie hotové. - Dátová zaujatosť: Model sa učí z internetu, ktorý je plný predsudkov, dezinformácií a chýb. Bez starostlivého filtrovania dát model preberie tieto nedostatky. - Ekológia: Predtrénovanie jedného veľkého modelu vyprodukuje toľko emisií CO₂ ako 5 áut za celý ich životný cyklus.
Verdikt: Kedy sa oplatí investovať do predtrénovania?
Ak ste bežná firma, nekupujte si vlastné predtrénovanie. Využite už hotové modely (napr. GPT-4, Claude, open-source Llama 3) a sústreďte sa na dolaďovanie a prompt inžinierstvo. Vlastné predtrénovanie dáva zmysel len v troch prípadoch:
- Pracujete s vysoko špecializovanou doménou, na ktorú bežné modely nie sú trénované (napr. starogrécke rukopisy).
- Potrebujete model, ktorý nebude závislý od cloudových API (napr. pre armádu, zdravotníctvo alebo offline prostredie).
- Máte rozpočet nad 5 miliónov eur a tím skúsených výskumníkov.
Vo väčšine ostatných prípadov je predtrénovanie hotových modelov natoľko kvalitné, že by ste vyhadzovali peniaze za niečo, čo už existuje zadarmo.
Súvisiace pojmy
- Dolaďovanie (fine-tuning): Druhá fáza, kde model učíte na konkrétne úlohy.
- Token: Základná jednotka textu (slovo alebo jeho časť), ktorú model spracúva.
- GPU (grafický procesor): Špecializovaný čip, ktorý urýchľuje predtrénovanie.
- Samokontrolované učenie (self-supervised learning): Spôsob učenia bez ľudského označovania dát.
Podrobnejšie články a návody nájdete na ai.ezin.sk.
