V práci vám pribudne obrovský projekt, ktorý vyžaduje desaťnásobok doterajšej kapacity.
Namiesto toho, aby ste najali stovku nových ľudí, ktorí by všetci robili všetko, rozdelíte tím na špecializované skupiny – jednu na analýzu dát, druhú na dizajn, tretiu na programovanie. Každá úloha aktivuje len tú skupinu, ktorá je pre ňu najrelevantnejšia. Presne takto funguje architektúra Mixture of Experts (MoE) – a práve vďaka nej dokážu dnešné špičkové modely umelej inteligencie dosahovať rekordné výsledky bez astronomických nákladov na výpočty.
Definícia: Čo je Mixture of Experts?
Mixture of Experts (MoE) je architektúra neurónovej siete, ktorá namiesto jedného obrovského modelu používa desiatky až stovky menších špecializovaných „expertov" a riadiaci mechanizmus – gating network (smerovacia sieť) – ktorý pre každý vstup rozhodne, ktorých expertov aktivovať. Výsledkom je, že pri každom spracovaní sa fyzicky zapojí len malá časť celkovej kapacity modelu, čo dramaticky znižuje výpočtové náklady pri zachovaní vysokého výkonu.
Ako to funguje? Analógia s firemným tímom
Predstavte si, že vediete firmu so 100 špecialistami. Keď príde objednávka na návrh webstránky, nepošlete ju všetkým 100 ľuďom – aktivujete len dizajnéra, frontend developera a projektového manažéra. Gating network v MoE funguje ako váš asistent, ktorý na základe prvých pár slov objednávky rozhodne: „Toto potrebuje expertov č. 3, 17 a 42."
Technicky: Keď do modelu vstúpi token (slovo alebo časť obrázka), gating network vypočíta, ktorí experti sú pre tento vstup najvhodnejší. Aktivuje sa len top-k expertov (typicky 2 z desiatok či stoviek). Výstupy týchto expertov sa potom vážene skombinujú do finálneho výsledku. Zvyšní experti ostanú nečinní – nespotrebúvajú energiu ani výpočtový výkon.
Prečo MoE vzniklo? Problém škálovania
Tradičné modely (napr. GPT-3) sú „dense" (husté) – všetky parametre sú aktívne pri každom spracovaní. Zväčšenie modelu znamená lineárny nárast výpočtov. Pri modeloch s biliónom parametrov by to bolo ekonomicky neudržateľné.
MoE rieši práve tento problém: model môže mať 1,7 bilióna parametrov (ako GPT-4), ale pri každom spracovaní sa aktivuje len približne 5 – 10 % z nich. To znamená, že výpočtová náročnosť je porovnateľná s modelom, ktorý má „len" 100 – 200 miliárd aktívnych parametrov, no kvalita odpovedí je na úrovni oveľa väčšieho modelu.
Konkrétny príklad z praxe
Mixtral 8x7B od spoločnosti Mistral AI je jeden z najznámejších open-source MoE modelov. Oficiálne má 46,7 miliardy parametrov, no pri každom spracovaní aktivuje len 12,9 miliardy. Výsledok? V benchmarkoch poráža modely ako Llama 2 70B (70 miliárd parametrov, všetky aktívne) pri rýchlosti a nákladoch porovnateľných s modelom o veľkosti 12 – 13 miliárd parametrov. Reálne úspory: pri prevádzke na GPU (napr. A100) ušetríte 70 – 80 % nákladov na inferenciu (spracovanie otázky) oproti dense modelu rovnakej kvality.
GPT-4 podľa nepotvrdených špekulácií používa MoE s 8 expertmi, každý s približne 220 miliardami parametrov – celkovo teda ~1,7 bilióna. No pri každej otázke sa aktivujú len 2 experti, čo vysvetľuje, prečo GPT-4 dokáže odpovedať tak rýchlo napriek obrovskej celkovej veľkosti.
Časté omyly a na čo si dať pozor
-
MoE nie je to isté ako model s viacerými hlavami (multi-head attention) – ide o odlišné koncepty. MoE rozdeľuje samotné neurónové vrstvy, nie mechanizmus pozornosti.
-
Väčší počet expertov nie vždy znamená lepší výkon. Výskum ukazuje, že optimálny počet expertov je medzi 8 a 64. Nad 128 expertov začína klesať kvalita, pretože gating network nestíha efektívne učiť, ktorý expert je na čo vhodný.
-
Trénovanie MoE modelov je náročnejšie ako dense modelov. Gating network musí byť trénovaná spolu s expertmi, inak hrozí „kolaps expertov" – situácia, keď sa všetky vstupy smerujú len k jednému expertovi a ostatní sú nevyužití. Rieši sa to regularizačnými technikami (napr. Z-loss), ktoré zvyšujú tréningové náklady o 10 – 20 %.
-
MoE nie je vhodné pre malé modely. Pri modeloch pod 1 miliardu parametrov režijné náklady na gating network a load balancing prevažujú nad úsporami. MoE začína byť výhodné až od veľkosti 10+ miliárd parametrov.
-
Pamäťové nároky neklesajú – všetci experti musia byť načítaní v RAM/VRAM, aj keď sú neaktívni. Pri 64 expertoch potrebujete 64-násobok pamäte oproti jednému expertovi. Preto MoE modely vyžadujú viac GPU pamäte, no menej výpočtového výkonu.
Kedy zvoliť MoE a kedy tradičný model?
Zvoľte MoE model, ak: - Potrebujete vysokú kvalitu odpovedí (porovnateľnú s oveľa väčšími dense modelmi) - Máte obmedzený rozpočet na inferenciu (každá otázka stojí menej) - Vaše GPU majú dostatok pamäte (aspoň 80 GB pre modely ako Mixtral 8x7B) - Spracúvate veľké objemy požiadaviek (úspora na jednej otázke sa násobí)
Zvoľte tradičný dense model, ak: - Používate malé modely (pod 7 miliárd parametrov) - Máte obmedzenú GPU pamäť (napr. 16 GB) - Potrebujete maximálnu rýchlosť na malej vzorke otázok - Trénujete model od nuly (tréning MoE je komplexnejší)
Verdikt: Vyplatí sa MoE?
Ak prevádzkujete AI službu s tisíckami požiadaviek denne, MoE model ako Mixtral 8x7B alebo GPT-4 vám ušetrí 60 – 80 % nákladov na inferenciu oproti dense modelu rovnakej kvality. Nevýhodou je vyššia pamäťová náročnosť a zložitejšie ladenie. Pre väčšinu firemných nasadení odporúčame začať s MoE modelom – ak máte dostatok GPU pamäte, úspora na prevádzke výrazne preváži počiatočné komplikácie.
Súvisiace pojmy
- Dense model (hustý model) – tradičná neurónová sieť, kde sú všetky parametre aktívne pri každom spracovaní
- Sparse model (riedky model) – model, ktorý aktivuje len časť svojich parametrov; MoE je typ sparse modelu
- Gating network (smerovacia sieť) – komponent MoE, ktorý rozhoduje, ktorých expertov aktivovať
- Load balancing (vyvažovanie záťaže) – technika zabezpečujúca rovnomerné využitie všetkých expertov počas tréningu
Podrobnejšie články a návody nájdete na ai.ezin.sk.
