Spustíte ChatGPT na svojom notebooku, bez internetu, bez mesačného predplatného a bez toho, aby vaše dáta opustili váš počítač.
Presne toto vám umožňuje Ollama – nástroj, ktorý mení spôsob, akým bežní používatelia aj firmy pracujú s umelou inteligenciou.
Čo je Ollama?
Ollama je bezplatný open-source nástroj (otvorený softvér), ktorý umožňuje spúšťať veľké jazykové modely (LLM) lokálne na vašom vlastnom počítači. Funguje ako jednoduchý správca a spúšťač modelov – stiahnete si ho, vyberiete model a môžete s ním okamžite komunikovať. Žiadny cloud, žiadne API kľúče, žiadne obavy o súkromie vašich údajov.
Ako to funguje?
Ollamu si môžete predstaviť ako inštalačného sprievodcu pre AI modely. Namiesto zložitého sťahovania, konfigurácie a ladenia GPU ovládačov vám stačí jeden príkaz v termináli. Napríklad: ollama run llama3 stiahne a spustí model Meta Llama 3 priamo na vašom disku.
Technicky vzaté, Ollama používa kvantizáciu – techniku, ktorá zmenšuje veľkosť modelov (napr. z 8 GB na 4 GB) pri zachovaní väčšiny kvality. To znamená, že modely bežia aj na starších grafikách so 4 GB VRAM alebo dokonca len na procesore (CPU), hoci pomalšie.
Prečo to vzniklo?
Hlavný dôvod je jednoduchý: súkromie a dostupnosť. Veľké cloudové služby (ChatGPT, Claude, Gemini) síce ponúkajú neuveriteľné schopnosti, no vaše dáta končia na serveroch v zahraničí. Pre firmy s citlivými údajmi, právnikov, lekárov alebo vývojárov pracujúcich s utajenými informáciami je to neprijateľné. Ollama rieši presne tento problém – AI beží u vás, nikam neodchádza.
Druhým dôvodom sú náklady. Pri intenzívnom používaní (napr. 100 000 otázok mesačne) vás cloudová služba vyjde na stovky eur. Ollama je zadarmo – platíte len za elektrinu a prípadne nový hardvér.
Konkrétny príklad z praxe
Máte malú advokátsku kanceláriu. Potrebujete analyzovať stovky strán zmlúv, no nemôžete ich posielať na servery v USA. Stiahnete si Ollamu, nainštalujete model Llama 3 (8B) a spustíte lokálne. Nahráte dokumenty a kladiete otázky: „Nájdite všetky klauzuly o rozhodcovskom konaní“ alebo „Zhrňte povinnosti kupujúceho v bode 4.2.“ Model odpovedá v reálnom čase, vaše dáta sú v bezpečí.
Vývojár softvéru zase používa Ollamu na generovanie kódu bez prerušenia internetu. Pri programovaní v lietadle alebo na chate mu stačí lokálny model, ktorý beží na notebooku.
Čo potrebujete na spustenie?
Minimálne požiadavky sú prekvapivo nízke: - 8 GB RAM – pre malé modely (1 – 3B parametrov) - 16 GB RAM – pre stredné modely (7 – 8B parametrov) - GPU so 4 GB VRAM – pre plynulý chod (napr. NVIDIA GTX 1650)
Ideálny bod (sweet spot) je grafika s 8 GB VRAM (napr. RTX 3070/4060), na ktorej rozbehnete modely ako Llama 3 8B, Mistral, Phi-3 alebo Qwen2.5.
Časté omyly a na čo si dať pozor
1. „Ollama je pomalá“ – Áno, na starom hardvéri. Na modernom GPU (RTX 4060) generuje model 8B rýchlosťou 40 – 60 tokenov za sekundu, čo je porovnateľné s cloudovou službou. Na samotnom CPU (bez GPU) to klesne na 5 – 10 tokenov – citeľne pomalšie.
2. „Malé modely sú zbytočné“ – Omyl. Model s 3 miliardami parametrov (napr. Phi-3) zvládne preklady, sumarizácie a jednoduché otázky prekvapivo dobre. Pre bežnú kancelársku prácu bohato stačí.
3. „Je to zadarmo, takže kvalita je nízka“ – Kvalita lokálnych modelov rýchlo rastie. Meta Llama 3 8B sa v mnohých testoch vyrovná GPT-3.5. Samozrejme, na GPT-4 alebo Claude 3.5 nemá, no pre 90 % bežných úloh je dostačujúci.
4. Skryté náklady – Hlavným nákladom je hardvér. Ak nemáte výkonnú grafiku, investícia do RTX 4060 (cca 350 €) sa vám vráti za pár mesiacov, ak by ste inak platili za cloudové API.
Porovnanie s alternatívami
| Nástroj | Cena | Kvalita modelov | Jednoduchosť |
|---|---|---|---|
| Ollama | 0 € | Stredná až vysoká | Veľmi jednoduchá |
| LM Studio | 0 € | Stredná až vysoká | Jednoduchá |
| GPT-4 (cloud) | 20 €/mesiac | Veľmi vysoká | Veľmi jednoduchá |
| Claude (cloud) | 20 €/mesiac | Veľmi vysoká | Jednoduchá |
Ollama vyhráva v cene a súkromí. Cloudové služby v kvalite.
Pre koho je Ollama vhodná?
Áno, ak: - Pracujete s citlivými údajmi (právo, zdravotníctvo, financie) - Chcete AI bez mesačného predplatného - Ste vývojár a potrebujete lokálny testovací model - Máte výkonný počítač s GPU
Nie, ak: - Potrebujete najvyššiu kvalitu (GPT-4 úroveň) - Máte starší notebook bez GPU (pôjde, ale pomaly) - Nechcete sa zaoberať inštaláciou a konfiguráciou
Verdikt a odporúčanie
Ak vlastníte počítač s grafickou kartou s aspoň 4 GB VRAM, Ollama je pre vás povinnosťou. Stiahnite si ju, nainštalujte model Llama 3 8B alebo Mistral 7B a vyskúšajte. Ušetríte desiatky eur mesačne a získate úplnú kontrolu nad svojimi dátami.
Pre firemné nasadenie odporúčame investovať do GPU s 12 – 16 GB VRAM (napr. RTX 4070 Ti Super, cca 800 €) – na takom hardvéri rozbehnete aj modely s 30 miliardami parametrov (napr. Mixtral 8x7B), ktoré sa kvalitou približujú GPT-4.
Ollama nie je len nástroj – je to brána k slobodnej, súkromnej a lacnej umelej inteligencii, ktorú máte doslova na dosah ruky.
Súvisiace pojmy
- Kvantizácia – technika zmenšovania modelov pre beh na slabšom hardvéri
- Llama 3 – open-source model od Meta, najpoužívanejší v Ollame
- LM Studio – alternatívny nástroj s grafickým rozhraním
- API (Application Programming Interface) – rozhranie na komunikáciu s cloudovými modelmi
Podrobnejšie články a návody nájdete na ai.ezin.sk.
