V práci vám pribudne obrovský projekt, ktorý vyžaduje desaťnásobok doterajšej kapacity.
Namiesto toho, aby ste najali stovku nových ľudí, ktorí by všetci robili všetko, rozdelíte tím na špecializované skupiny – jednu na analýzu dát, druhú na dizajn, tretiu na programovanie. Každá úloha aktivuje len tú skupinu, ktorá je pre ňu najrelevantnejšia. Presne takto funguje architektúra Mixture of Experts (MoE) – a práve vďaka nej dokážu dnešné špičkové modely umelej inteligencie dosahovať rekordné výsledky bez astronomických nákladov na výpočty.
Definícia: Čo je Mixture of Experts?
Mixture of Experts (MoE) je architektúra neurónovej siete, ktorá namiesto jedného obrovského modelu používa desiatky až stovky menších špecializovaných „expertov" a riadiaci mechanizmus – gating network (smerovacia sieť) – ktorý pre každý vstup rozhodne, ktorých expertov aktivovať. Výsledkom je, že pri každom spracovaní sa fyzicky zapojí len malá časť celkovej kapacity modelu, čo dramaticky znižuje výpočtové náklady pri zachovaní vysokého výkonu.
Ako to funguje? Analógia s firemným tímom
Predstavte si, že vediete firmu so 100 špecialistami. Keď príde objednávka na návrh webstránky, nepošlete ju všetkým 100 ľuďom – aktivujete len dizajnéra, frontend developera a projektového manažéra. Gating network v MoE funguje ako váš asistent, ktorý na základe prvých pár slov objednávky rozhodne: „Toto potrebuje expertov č. 3, 17 a 42."
Technicky: Keď do modelu vstúpi token (slovo alebo časť obrázka), gating network vypočíta, ktorí experti sú pre tento vstup najvhodnejší. Aktivuje sa len top-k expertov (typicky 2 z desiatok či stoviek). Výstupy týchto expertov sa potom vážene skombinujú do finálneho výsledku. Zvyšní experti ostanú nečinní – nespotrebúvajú energiu ani výpočtový výkon.
Prečo MoE vzniklo? Problém škálovania
Tradičné modely (napr. GPT-3) sú „dense" (husté) – všetky parametre sú aktívne pri každom spracovaní. Zväčšenie modelu znamená lineárny nárast výpočtov. Pri modeloch s biliónom parametrov by to bolo ekonomicky neudržateľné.
MoE rieši práve tento problém: model môže mať vyše bilióna parametrov (napr. DeepSeek V4-Pro má 1,6 bilióna), ale pri každom spracovaní sa aktivuje len malá časť z nich (pri V4-Pro približne 49 miliárd). To znamená, že výpočtová náročnosť je porovnateľná s oveľa menším modelom, no kvalita odpovedí je na úrovni oveľa väčšieho modelu.
Konkrétny príklad z praxe
MoE dnes používa väčšina špičkových otvorených modelov. DeepSeek V4-Pro má 1,6 bilióna parametrov, no pri každom spracovaní aktivuje len približne 49 miliárd. Podobne Llama 4 Scout od Mety má 109 miliárd parametrov, z ktorých je aktívnych 17 miliárd, a otvorený model Muse Spark Open má 816 miliárd parametrov so 42 miliardami aktívnymi. Medzi otvorenými modelmi architektúru MoE spopularizoval Mistral AI modelom Mixtral 8x7B (2023). Vďaka tomu tieto modely dosahujú kvalitu veľkých modelov pri výpočtových nákladoch podstatne menšieho modelu.
MoE využívajú aj uzavreté modely; ich presné parametre však výrobcovia spravidla nezverejňujú. Medzi historickými otvorenými MoE modelmi bol napríklad Grok-1 od xAI s 314 miliardami parametrov, ktorého váhy zverejnili v marci 2024.
Časté omyly a na čo si dať pozor
-
MoE nie je to isté ako model s viacerými hlavami (multi-head attention) – ide o odlišné koncepty. MoE rozdeľuje samotné neurónové vrstvy, nie mechanizmus pozornosti.
-
Väčší počet expertov nie vždy znamená lepší výkon. S rastúcim počtom expertov sa zvyšuje náročnosť tréningu a gating network môže mať problém efektívne sa naučiť, ktorý expert je na čo vhodný. Optimálny počet preto závisí od konkrétnej architektúry a úlohy.
-
Trénovanie MoE modelov je náročnejšie ako dense modelov. Gating network musí byť trénovaná spolu s expertmi, inak hrozí „kolaps expertov" – situácia, keď sa všetky vstupy smerujú len k jednému expertovi a ostatní sú nevyužití. Rieši sa to regularizačnými technikami (napr. Z-loss), ktoré však tréning ďalej predražujú a komplikujú.
-
MoE nie je vhodné pre malé modely. Pri modeloch pod 1 miliardu parametrov režijné náklady na gating network a load balancing prevažujú nad úsporami. MoE začína byť výhodné až od veľkosti 10+ miliárd parametrov.
-
Pamäťové nároky neklesajú – všetci experti musia byť načítaní v RAM/VRAM, aj keď sú neaktívni. Pri 64 expertoch potrebujete 64-násobok pamäte oproti jednému expertovi. Preto MoE modely vyžadujú viac GPU pamäte, no menej výpočtového výkonu.
Kedy zvoliť MoE a kedy tradičný model?
Zvoľte MoE model, ak: - Potrebujete vysokú kvalitu odpovedí (porovnateľnú s oveľa väčšími dense modelmi) - Máte obmedzený rozpočet na inferenciu (každá otázka stojí menej) - Vaše GPU majú dostatok pamäte (všetci experti musia byť načítaní vo VRAM, aj keď sú neaktívni) - Spracúvate veľké objemy požiadaviek (úspora na jednej otázke sa násobí)
Zvoľte tradičný dense model, ak: - Používate malé modely (pod 7 miliárd parametrov) - Máte obmedzenú GPU pamäť (napr. 16 GB) - Potrebujete maximálnu rýchlosť na malej vzorke otázok - Trénujete model od nuly (tréning MoE je komplexnejší)
Verdikt: Vyplatí sa MoE?
Ak prevádzkujete AI službu s tisíckami požiadaviek denne, MoE model vám pri rovnakej kvalite výrazne zníži náklady na inferenciu oproti dense modelu. Nevýhodou je vyššia pamäťová náročnosť a zložitejšie ladenie. Pre väčšinu firemných nasadení sa oplatí začať s MoE modelom – ak máte dostatok GPU pamäte, úspora na prevádzke výrazne preváži počiatočné komplikácie.
Súvisiace pojmy
- Dense model (hustý model) – tradičná neurónová sieť, kde sú všetky parametre aktívne pri každom spracovaní
- Sparse model (riedky model) – model, ktorý aktivuje len časť svojich parametrov; MoE je typ sparse modelu
- Gating network (smerovacia sieť) – komponent MoE, ktorý rozhoduje, ktorých expertov aktivovať
- Load balancing (vyvažovanie záťaže) – technika zabezpečujúca rovnomerné využitie všetkých expertov počas tréningu
Podrobnejšie články a návody nájdete na aiporadca.sk.
