Potrebujete AI model, ktorý rozumie vášmu špecifickému biznisu – napríklad interným smerniciam, technickej dokumentácii alebo historickým dátam z predaja.
Klasické riešenie? Poslať všetky citlivé údaje do cloudu, zaplatiť tisíce eur mesačne za API prístup a modliť sa, aby ich niekto nezneužil. Meta so svojím modelom Llama povedala: „Urobte to po svojom, na vlastnom hardvéri, zadarmo.“ A práve v tom je revolúcia.
Čo je Llama? Definícia v jednej vete
Llama je rodina otvorených (open-source) jazykových modelov od spoločnosti Meta (Facebook), ktoré si môžete stiahnuť, spúšťať na vlastnom počítači či serveri a upravovať podľa svojich potrieb – bez mesačných poplatkov a bez posielania dát k Meta.
Ako to funguje a prečo to vzniklo
Meta zverejnila prvú verziu Llamy vo februári 2023. Dôvod? Zmeniť pravidlá hry. Dovtedy dominovali uzavreté modely ako GPT od OpenAI – výkonné, ale drahé, s neistotou okolo ochrany údajov. Meta vsadila na opak: model dala k dispozícii výskumníkom, firmám aj nadšencom.
Analógia z bežného života: Predstavte si, že si kúpite auto, ktoré môžete sami opravovať, vylepšovať a prispôsobiť – na rozdiel od prenájmu taxíka, ktorý vás zakaždým stojí peniaze a nemôžete v ňom nič meniť. Llama je to prvé – vlastníte ju a riadite ju vy. OpenAI je taxík – pohodlný, ale vždy platíte a idete, kam on povie.
Prečo je Llama revolučná
1. Skutočná cenová dostupnosť
Zatiaľ čo GPT-4 stojí v priemere 0,03 € za 1 000 tokenov (asi 750 slov), Llama 3 (70B) beží na vlastnom GPU za cenu elektriny – približne 0,001 € na rovnaký objem textu. Pri 100 000 otázkach mesačne je to rozdiel 3 000 € vs. 100 €.
2. Súkromie a bezpečnosť
Firmy v zdravotníctve, bankovníctve či práve nemôžu posielať citlivé údaje na servery v USA. S Llamou všetko beží lokálne – žiadne dáta neopustia váš server. Meta síce vidí, že ste si model stiahli, ale nevidí, čo s ním robíte.
3. Prispôsobiteľnosť
Model môžete doladiť (fine-tune) na vlastné dáta. Napríklad právnická kancelária môže Llame „naučiť“ slovenskú legislatívu, výrobca môže pridať technické manuály. Pri uzavretých modeloch takéto doladenie buď nie je možné, alebo stojí desiatky tisíc eur.
Konkrétny príklad z praxe
Predstavme si startup, ktorý vyvíja chatbota pre zákaznícku podporu, potreboval model, ktorý rozumie slovenčine a firemným procesom. Vyskúšali GPT-4 – mesačný účet 2 500 €. Potom prešli na Llama 3 (8B model) na jednom GPU za 3 000 € jednorazovo. Po doladení na 50 000 záznamov z histórie komunikácie dosiahli presnosť odpovedí 92 % (GPT-4 mala 94 %). Rozdiel 2 % ich stál 30 000 € ročne menej. Za tri mesiace sa im investícia vrátila.
Typy modelov Llama: Ktorý si vybrať?
Meta vydala niekoľko verzií. Kľúčové sú tri:
- Llama 3 8B – ľahký model (8 miliárd parametrov). Beží aj na bežnom hernom GPU (napr. NVIDIA RTX 4090). Vhodný na jednoduché úlohy, sumarizáciu, základný chat. Rýchlosť: 40 – 60 tokenov za sekundu.
- Llama 3 70B – stredná trieda (70 miliárd parametrov). Vyžaduje výkonný server (2 – 4 GPU ako A100 alebo H100). Kvalitou sa blíži GPT-3.5, v niektorých úlohách aj GPT-4. Cena hardvéru: od 15 000 € vyššie.
- Llama 3 400B (očakáva sa v roku 2024) – najväčší model, konkurencia pre GPT-4. Vyžaduje dátové centrum.
Odporúčanie: Pre väčšinu firiem je ideálny bod (sweet spot) 8B model na jednom GPU. Ak potrebujete kvalitu blízku GPT-4, investujte do 70B a cloudového GPU za približne 1 500 € mesačne.
Časté omyly a na čo si dať pozor
1. „Open-source znamená úplne zadarmo“
Nie celkom. Model je zadarmo na stiahnutie, ale hardvér, na ktorom beží, stojí peniaze. Lacný GPU (RTX 3060) zvládne len 8B model pomaly – 5 – 10 tokenov/s. Na 70B potrebujete server za tisíce eur. Ak nemáte vlastný hardvér, cloudové GPU (napr. RunPod, Vast.ai) stoja 0,50 – 1,50 €/hodinu.
2. „Llama rozumie slovenčine rovnako dobre ako angličtine“
Nie. Väčšina tréningových dát je v angličtine. Slovenčina funguje, ale pri komplexných otázkach kvalita klesá o 15 – 25 % oproti angličtine. Riešenie: doladenie na slovenskom texte.
3. „Nainštalujem a funguje“
Realita: inštalácia vyžaduje Linux, znalosť Pythonu, CUDA a optimalizáciu pamäte. Pre bežného používateľa je jednoduchšie použiť hotové rozhranie (napr. Ollama, LM Studio), ktoré Llamu spustí na pár klikov.
4. „Je to legálne na komerčné využitie?“
Áno, Meta povoľuje komerčné použitie pre modely s menej ako 700 miliónmi aktívnych používateľov mesačne. Pre bežné firmy to nie je problém. Výnimka: ak by ste chceli model predávať ako službu miliónom ľudí, musíte skontrolovať licenciu.
Porovnanie s konkurenciou
| Model | Cena za 1M tokenov | Potrebný hardvér | Jazyková podpora |
|---|---|---|---|
| GPT-4 | 30 € | žiadny (cloud) | 50+ jazykov |
| Llama 3 8B | 0,50 € (elektrina) | 1 GPU (1 500 €) | 20 jazykov |
| Llama 3 70B | 1,50 € (cloud) | 2 – 4 GPU (15 000 €) | 20 jazykov |
| Mistral 7B | 0,40 € (elektrina) | 1 GPU (1 200 €) | 15 jazykov |
Verdikt: Kedy si vybrať Llamu?
Vyberte si Llamu, ak: - Potrebujete spracúvať citlivé dáta (zdravotníctvo, financie, právo) - Chcete model doladiť na vlastné údaje - Máte technické znalosti (alebo ochotu sa učiť) - Počítate každé euro a mesačný účet za API vás desí
Zostaňte pri GPT-4, ak: - Potrebujete najvyššiu kvalitu hneď, bez nastavovania - Nemáte hardvér ani čas na inštaláciu - Pracujete s 5 – 10 jazykmi naraz
Čo ďalej?
Llama nie je len model – je to filozofia. Otvorený prístup k umelej inteligencii znamená, že malé firmy a jednotlivci už nie sú odkázaní na miliardové korporácie. Ak máte starý herný počítač, môžete na ňom spustiť vlastnú AI. A to je sila, ktorú by ste nemali podceniť.
Skúste začať s Ollama – nainštalujete ju za 5 minút, stiahnete Llama 3 8B a otestujete na vlastných dátach. Prvý krok k slobode v AI stojí presne 0 €.
Súvisiace pojmy
- Open-source model – model, ktorého zdrojový kód a váhy sú verejne dostupné na úpravy a používanie
- Doladenie (fine-tuning) – proces prispôsobenia už natrénovaného modelu na špecifickú úlohu pomocou vlastných dát
- Token – základná jednotka textu, ktorú model spracúva (1 token ≈ 0,75 slova v angličtine)
- GPU inferencia – beh modelu na grafickej karte, ktorá je na tieto výpočty optimalizovaná
Podrobnejšie články a návody nájdete na ai.ezin.sk.
