Stručně: nainstalujte LM Studio (okno s chatem jako ChatGPT) nebo Ollamu (pro terminál a propojení s dalšími programy). Pak si stáhněte model, který se vejde do paměti: s 8 GB RAM model do 4 miliard parametrů, s grafickou kartou s 12 až 16 GB paměti model do 14 miliard parametrů. Data zůstávají ve vašem počítači.
Proč AI pouštět doma
Hlavní důvod je soukromí. Smlouvy, zdravotní zprávy nebo interní dokumenty firmy do online chatbotu vkládat nechcete, a lokálnímu modelu je dát můžete, protože nic nikam neodesílá. Druhý důvod jsou peníze: model, který jednou stáhnete, používáte bez limitů a bez měsíčního poplatku. Třetí důvod je, že funguje i bez internetu, třeba ve vlaku.
Daň za to je kvalita. Model, který se vejde do běžného notebooku, je menší než ty, které běží v datových centrech OpenAI nebo Googlu. Na shrnutí, přepis, překlad krátkého textu nebo jednoduchý skript stačí. Na složitou analýzu nebo dlouhý text v dobré češtině radši použijte velký online model.
Jaký počítač potřebujete
Rozhoduje paměť. Model se musí celý vejít do paměti grafické karty (VRAM), nebo když grafiku nemáte, do operační paměti. Velikost modelu se udává v miliardách parametrů (značka B, například 8B). Lokálně se modely skoro vždy spouštějí zmenšené (kvantizované) na zhruba 4 bity na parametr, což kvalitu zhorší jen málo a paměti ušetří hodně.
| Velikost modelu | Paměť pro model (4 bity) | Na čem poběží | K čemu se hodí |
|---|---|---|---|
| 1 až 4 miliardy | 1 až 3 GB | Skoro každý notebook s 8 GB RAM, i bez grafiky | Shrnutí, jednoduché dotazy, autokorektura, angličtina |
| 7 až 9 miliard | 5 až 6 GB | Grafika s 8 GB VRAM, nebo 16 GB RAM (pomaleji) | Běžný chat, kód, práce s dokumenty |
| 12 až 14 miliard | 8 až 10 GB | Grafika s 12 až 16 GB VRAM, Mac s 16 až 24 GB | Rozumná čeština, delší texty |
| 27 až 35 miliard | 17 až 22 GB | Grafika s 24 GB VRAM, Mac s 32 GB a víc | Nejlepší poměr kvality a nároků pro domácí použití |
| 70 miliard a víc | 40 GB a víc | Dvě grafiky, Mac s 64 GB a víc, nebo server | Blíží se online modelům, doma spíš pro nadšence |
Počítáme zhruba 0,6 GB na miliardu parametrů při 4bitové kvantizaci. K tomu připočtěte 1 až 2 GB na konverzaci (kontext), u dlouhých dokumentů i víc. Výběr grafické karty podle paměti rozebíráme v článku Grafická karta pro AI.
Zvláštní případ jsou počítače Mac s čipy Apple M. Procesor a grafika u nich sdílejí jednu paměť, takže MacBook s 32 GB RAM spustí model, pro který byste na PC potřebovali grafiku za desítky tisíc korun. Odpovídá sice pomaleji než výkonná grafika od Nvidie, ale na chat to stačí.
LM Studio: nejjednodušší začátek
LM Studio je aplikace pro Windows, macOS a Linux, která vypadá jako ChatGPT. Všechno se dělá klikáním.
- Stáhněte instalačku z lmstudio.ai a nainstalujte ji.
- Otevřete sekci pro vyhledávání modelů (ikona lupy). LM Studio u každého modelu ukáže, jestli se vejde do vašeho počítače.
- Stáhněte model, u kterého aplikace hlásí, že se vejde do paměti grafiky. Na začátek stačí model kolem 4 až 8 miliard parametrů.
- Přepněte se do chatu, nahoře vyberte stažený model a pište. Do chatu můžete přetáhnout i PDF nebo textový soubor a ptát se na jeho obsah.
LM Studio umí také spustit místní server kompatibilní s API OpenAI. Programy, které umějí mluvit s ChatGPT, tak můžete přesměrovat na svůj počítač.
Ollama: pro terminál, server a propojení
Ollama běží na pozadí a modely ovládáte příkazem ollama nebo přes API. Hodí se, když chcete AI zapojit do vlastních skriptů, do editoru kódu, do domácí automatizace nebo ji provozovat na serveru.
Instalace na macOS a Linuxu jedním příkazem v terminálu:
curl -fsSL https://ollama.com/install.sh | shNa Windows stáhněte instalačku z ollama.com/download, nebo v PowerShellu spusťte:
irm https://ollama.com/install.ps1 | iexModel pak stáhnete a spustíte jedním příkazem. Název modelu najdete v knihovně Ollamy, u každého je seznam velikostí (například :4b nebo :27b):
ollama run nazev-modelu:velikostPříkaz ollama list ukáže stažené modely, ollama ps ty, které právě běží, a kolik zabírají paměti. Nepotřebný model smažete příkazem ollama rm nazev-modelu, ať vám nezabírá desítky gigabajtů na disku.
V knihovně Ollamy jsou i modely označené jako cloud. Ty neběží na vašem počítači, ale na serverech Ollamy, takže o výhodu soukromí přicházíte. Když vám jde o data, vybírejte modely s uvedenou velikostí v miliardách parametrů.
Chcete okno s chatem i pro Ollamu? Ollama má vlastní jednoduchou aplikaci, nebo k ní připojte Open WebUI, které vypadá skoro jako ChatGPT a umí víc uživatelů. Pokud ji chcete mít dostupnou odkudkoli, i z telefonu, provozujte ji na serveru. Ceny a nároky jsme sepsali na sesterském webu v článku Ollama server.
Jak vybrat model
Otevřených modelů vychází každý měsíc několik a pořadí se rychle mění, proto tu nedoporučujeme konkrétní verzi. Při výběru se řiďte těmito věcmi:
- Velikost podle paměti. Vyberte největší velikost, která se podle tabulky výše vejde do vaší grafiky. Větší model ve 4 bitech je skoro vždy lepší než menší model v plné přesnosti.
- Čeština. Modely velkých firem trénované na mnoha jazycích zvládají češtinu líp. Vyzkoušejte dva tři modely na stejném zadání a porovnejte.
- Účel. Na programování existují specializované modely (v názvu mívají coder), na obrázky v chatu modely s podporou vidění (vision nebo vl).
- Licence. Pokud model nasazujete ve firmě, přečtěte si licenci na jeho stránce.
Kdy se lokální AI nevyplatí
Pokud máte jen starší notebook s 8 GB RAM a potřebujete kvalitní odpovědi v češtině, poslouží vám líp bezplatná verze ChatGPT nebo Gemini (viz AI zdarma). Kupovat kvůli lokální AI novou grafickou kartu má smysl, když ji využijete i jinak, třeba na hry nebo generování obrázků, nebo když opravdu pracujete s daty, která nesmí ven.