Hardvér pre AI: GPU, NPU a koľko VRAM naozaj treba

Kúpite si najvýkonnejší traktor s 500 koňmi na obrábanie záhradky 10×10 metrov.

Kúpili ste si výkonnú grafickú kartu za 1 500 €, stiahli ste si najnovší jazykový model Llama 3.1 a po spustení sa dozviete len: „Nedostatok pamäte.

Kúpite si notebook s „AI procesorom“ za 2 500 € a pri prvom spustení generovania obrázkov zistíte, že jedna fotka trvá 45 sekúnd.

Riadite výrobnú linku a kamera na nej každú sekundu generuje 60 snímok.