Stručně: pro lokální jazykové modely rozhoduje hlavně velikost paměti grafické karty (VRAM), u Maců velikost sjednocené paměti. Malé modely poběží i na běžném notebooku s 16 GB RAM, rozumná sestava pro domácí AI začíná u grafiky s 16 GB VRAM.
- AI na vlastním počítačiOllama a LM Studio krok za krokem, bez cloudu a bez předplatného.
- Grafická karta pro AIKolik VRAM potřebují jazykové modely a generování obrázků.
Kdy se vlastní hardware vyplatí
Kvůli úspoře peněz málokdy. Grafika za desítky tisíc korun odpovídá několika letům předplatného a lokální modely jsou slabší než nejlepší modely v cloudu. Vyplatí se, když pracujete s daty, která nesmí opustit počítač, chcete AI používat offline, nebo vás zajímá, jak modely fungují. Hodně lidí také kupuje výkonnou grafiku kvůli hrám a lokální AI je pak bonus zdarma.
Co rozhoduje
- VRAM grafické karty: určuje, jak velký model se vejde. Víc v článku Grafická karta pro AI.
- Mac s Apple Silicon: grafika sdílí operační paměť, takže Mac s 32 GB nebo víc zvládne i větší modely, jen pomaleji než výkonná grafika Nvidia.
- Operační paměť: pokud se model nevejde do VRAM, běží částečně z RAM a výrazně zpomalí.
- Procesor s NPU: „AI PC“ s neuronovým procesorem zrychlují funkce Windows a některých aplikací. Pro jazykové modely přes Ollama nebo LM Studio zatím rozhoduje grafika.