Vlastní AI a jak s ní pracovat

Učení je matka pokroku, navíc máme neděli, tak dávám oddychový blog, kterak si co nejlevněji zprovoznit vlastní AI na svém PC.

Než se dostaneme ke konkrétnímu návrhu, bude si třeba osvětlit několik bodů, aby zájemce věděl vo-co-gou, tedy „kdo-s kým-proč-a za kolik“.

Základní info pro pochopení problematiky

1. modely AI (s různými názvy) jsou označovány „1b“, „7b“, 14b“, „32b“, „64b“ … atd.
2. písmeno „b“ v označení je odvozeno od anglického slova „billion“ (česky miliarda) → model „14b“ má tedy 14 miliard parametrů
3. zatím největší veřejně dostupné modely mají stovky až tisíce miliard parametrů (např. 405B nebo až 2.8T) Pro provoz velkých modelů v datových centrech jsou ale potřeba stovky kW, pro trénování dokonce megawatty (MW).
4. ekvivalentní označení pro lidský mozek se odhaduje mezi „100 000b“ – „1 000 000b“ … se spotřebou asi … virbl … 20W (!). Není to překlep, opravdu asi 20W.
5. zmenšení AI modelu do velikosti, která je vhodná pro nahrání do paměti běžného PC se provádí tzv. „kvantizací“ – každý parametr se zkrátí na 4 bity (lze ale zvolit i 3, 5 nebo 8 bitů) Pozn: PC – to jsou jenom čísla ve dvojkové soustavě – tedy 1 nebo 0. „zaokrouhlením čísla“ na 4 bity se dosáhne významného zmenšení souboru, zmenšení přesnosti výpočtu (snížení inteligence) je u větších modelů zanedbatelná
6. natrénovaný originál má parametry („přesnost čísel“) velikosti 16 bitů. Dříve originály pracovaly s parametry 32 bitů, ale pro velikost se od toho upustilo. I parametry o velikosti 16 bitů vytváří dost velké soubory a tedy následné komplikace pro provoz.
7. Důležité – pokud je model vytrénovaný, jeho stav (váhy parametrů) se „zmrazí“ a vydá se k použití. Komunita z něj udělá zmenšený „zkvantizovaný“ model. Důsledkem ovšem je, že uzavřený model se „nedoučuje“ o nové věci, které nastaly po uzavření modelu. Nicméně, vývojáři hlavního modelu tento dál trénují a pravidelně vytvářejí nové „uzavřené“verze. Pro uživatele pak přechod na novější schopnosti a vědomosti AI znamená jen nahrání nového souboru s uzavřenou/zmrazenou verzí.

Jak AI pracuje na PC – technická část

1. AI nepracuje se slovy, ale s tokeny. Větu si nerozděluje podle slov, ale rozseká ji na „tokeny“ (Pozn.: AI dokáže porozumět překlepům díky tomu, že se učila na obrovském množství textů a dokáže si chybějící nebo špatná písmena domyslet podle okolního kontextu.)
2. aby byla práce na PC s AI svižná, je podmínka, že natrénovaný model musí být celý v paměti, kde je nejrychlejší přístup k datům.
3. v dnešním PC máme zatím dva druhy paměti – klasická RAM paměť PC a paměť v grafické kartě VRAM (VideoRAM). Přístup k datům v paměti grafické karty je na základě technologické odlišnosti NÁSOBNÉ rychlejší než přístup/práce v klasické paměti RAM.
4. AI sice lze na PC používat i bez výkonné grafické karty, ale jde o svižnost – pokud bude AI model nahrán jen v klasické paměti RAM počítače, pak výstup bude rychlostí 1-5 tokenů/sekundu, což je 1-7 slov za sekundu (tady záleží na procesoru PC a kmimtočtu RAM pamětí, vhodnou kombinací se může dosáhnout výstupu s rychlosti průměrného čtení). Pokud bude AI model v paměti grafické karty VRAM, pak výstupy budou rychlostí přes 10 tokenů/sekundu … což uživatel nestačí tak rychle číst.

Jak na větší projekty – např. analýzu knihy o 500 stranách

1. označení AI modelu „7b-14b-32b … atd.“ nevypovídá o schopnosti zpracování velikosti vstupu, ale o přesnosti výpočtu – volně přeloženo o „inteligenci AI“
2. pro zpracování každého vstupu musí mít AI tzv. „kontextové okno“. Naprostá většina AI modelů má kontextové okno 128 000 (128k) tokenů → což v případě např. analýzy knihy znamená cca 190-200 stran textu (v jednom vložení – např. známé CTR+C a vložit CTRV+V, jze etyd jen 190-200 stran textu). Specializované modely mohou mít kontextové okno vyšší (dokonce 3–128 milionů u Google Gemini) což už dnes není „vyšší level“, ale standard komerčních API a mnoha lokálních modelů. Fenomén „lost in the middle“ (chyba uprostřed) je u nejnovějších modelů z let 2025/2026 architektonicky z velké části vyřešen.
3. Většina free a placených přístupů na internetu k AI má tedy kontextové okno 128 tokenů, free verze přístupu na internetu mají navíc omezení např. na vložení jen určitého počtu souborů o určité velikosti.
4. z výše uvedeného vyplývá, že omezení na velikost „kontextového okna“ je v podstatě stejná jak u lokální instalace AI na vlastním PC , tak u naprosté většiny free přístupu k AI na internetu. S vysokou mírou pravděpodobnosti lze předpokládat, že služba přístupu k AI s kontextovým oknem o velikosti 1M (namísto 128k) nebude v ceně do 1 tisíce Kč/měsíc.
5. instalací AI na vlastním lokálním PC se sice zbavíte různých omezení – např. restrikce max. počtu vkládaných souborů atd., ale nezbavíte se omezení velikosti kontextového okna. U instalace na vlastním PC pak je samozřejmostí, že Vaše data jsou opravdu Vaše a neputují po internetu k analýze. PC s nainstalovaným AI můžete klidně odpojit od sítě … a AI bude s Vámi na Vašem PC dál komunikovat.
6. Větší projekty – např. analýza knihy o 500 stranách se tedy musí dělat po částech (per partes). V případě knihy se nahrávají části po ucelených celcích (např. kapitolách) a nechá se udělat stručný závěr z každé analyzované části. Nakonec se vloží všechny částečné závěry a nechá se udělat finální hodnotící závěr. Pozn.: Pokud tedy na internetu někdo nabízí analýzu celé knihy naráz, pro cloudové giganty (Google, Anthropic) je to dnes díky obřím serverům standard, ale s vysokou mírou pravděpodobnosti ne ve „free“ přístupu, ale v ceně předplatného (cca 1000+ Kč/měsíc). U lokálního PC se ale kouskování „per partes“ stále doporučuje, protože zpracování např. 100k tokenů naráz by domácí slabší hardware totálně zahltilo nebo vyčerpalo paměť.

Provoz AI na vlastním PC

Výborná zpráva je, že opravdu můžete provozovat „svůj“ plný, nezkvantizovaný model AI (tedy s „nezaokrouhlenými čísly“) na vlastním PC, klidně pak odpojeným od internetové sítě. Model DeepSeek je totiž plně open-source a každý si může doma zprovoznit svůj plný, „full“ model. FP16/BF16.

Samozřejmostí je, že vše bude open-source a legálně zadarmo – základem bude Ubuntu/Debian. Doporučuji neuvažovat o produktu, kde za peníze poznáváte výhody legálního software, protože se pro práci jedná o výstavní „shit“ s propagovanou kvalitou Rolls-Royce, ve skutečnosti jde o Trabanta … ale jen s koženými sedadly.

Napřed pro opravdové fajnšmekry popíšu nejlevnější stavbu PC pro „neořezaný“, „full“ model AI (FP16/BF16)

1. nejlevnější část projektu je zajištění dostatečného příkonu – budete potřebovat příkon min. nějakých 20-25 kW. (Pro srovnání – tohle může být příkon celého rodinného domu). Když přidáme klimatizaci a další hračičky okolo, pak realita může být i v násobcích …
2. následně si z každé výplaty odložíte zbytečný milión korun a po nějakých 7-8 měsících se dáte do stavby svého superpočítače.
3. nakoupíte tolik grafických karet, aby součet jejich VRAM byl 1600-2000 GB VRAM (1,6TB – 2TB)
4. dobrá zpráva je, že na základní desce budou stačit jen dva (!) procesory – minimálně však 2x AMD EPYC (např. řada 9004/9005) nebo Intel Xeon Scalable s minimálně 64 až 128 jádry na procesor, aby zvládaly koordinovat masivní datové toky mezi kartami.
5. vzhledem k aktuálním cenám je méně optimistická zpráva u RAM paměti PC – budete potřebovat 2TB až 3TB DDR5 ECC – samozřejmě s optimalizaćí pro daný procesor a profilem pro Linux.
6. disk – doporučuje se SSD: Minimálně 4 TB až 8 TB NVMe SSD v RAID enterprise úrovni (např. s rychlostí čtení nad 7000 MB/s). Samotný nezkvantizovaný model totiž zabere na disku kolem 1,4 TB.
7. dále budete nezbytně potřebovat něco k propojení (Interconnect): Absolutní nutností je NVIDIA Mellanox InfiniBand (NDR 400Gb/s) pro ultrarychlé propojení mezi jednotlivými serverovými uzly. Bez toho by komunikace mezi kartami paralyzovala výkon celého modelu
8. k tomu všemu pak odpovídající PC zdroj a další běžné části počítače.
9. a poslední, opět dobrá zpráva → obslužný software je open-source a grátis (!) Pozn: po spuštění svého superpočítače si nekažte náladu pohledem na elektroměr … ale jak se říká: kdo chce opici, musí mít na banány 🙂

Nyní popíšu řešení AI na vlastním PC pro děti prodavačky Vlasty a soustružníka Pepy.

Předesílám, že půjde opravdu asi o nejlevnější řešení bez grafické karty. V poznámkách pak uvedu alternativu pro asi druhé nejlevnější řešení, ale možnostmi nejsympatičtější … soustružník Pepa by musel udělat pár hodin přesčasů, ale opravdu jen pár …

Opět začneme dobrou zprávou – pro opravdu minimalistický model AI 14b na PC bez samostatné grafické karty, by měl stačit rozpočet do 30.000,- Kč (08/2026), rozpětí závisí podle toho, zda dáváte přednost rozměrově nejmenšímu řešení a zda bude možné doplnění v budoucnu samostatnou grafickou kartu pouhým vložením do skříně PC.

Bez samostatné grafické karty bude AI sice psát na výstup rychlostí 2-3 tokeny/sekunda, což může být až rychlost běžného čtení (reálně asi méně) … ale za ty peníze to bude muset přežít.

Druhá dobrá zpráva je, že získáte PC, které lze rozšířit o plnohodnotnou grafickou kartu – buď vložením do skříně, která s tím počítá nebo do extra boxu. Karta pak zrychlí komunikaci s AI z pomalé na velmi svižnou … AI bude odpovídat asi 10x rychleji. Navíc, pokud doplníte sestavu o kartu velikosti min. 24GB VRAM (s CUDA), pak můžete provozovat vlastní AI 32b (místo 14b).

Detaily rozpočtu jsou následující – orientační ceny 08/2026:

1. jako nezbytně nové budete potřebovat: základní desku, procesor, paměť RAM. Pokud jde o upgrade stávajícího PC, pak lze použít disk SSD 1TB, odpovídající zdroj a skříň.
2. základní deska – cca 3.000,-. Kč: bude stačit např. ASROCK B850M PRO RS WIFI (formát mATX), pokud chcete připlatit za menší a sympatičtější řešení, tak za cca 4.600,- Kč kupte ASRock B850I Lightning WiFi (formát mini-ITX).
3. Procesor – tady vsaďte na AMD, minimum je např. např. AMD Ryzen 5 7600 TRAY (bez ventilátoru) za cca 3.500,- Kč, doporučuji však pouvažovat nad AMD RYZEN 7 9700X @ 3.8GHz – TRAY za cca 5.750,- Kč.
4. procesor je úmyslně uváděn „TRAY“, tj. bez ventilátoru, protože cílíme na rozměrově malý PC, takže budete potřebovat nízkoprofilové chlazení – např. Thermalright AXP90-X36/47 podle prostoru ve vybrané PC skříni.
5. paměti RAM* – cca 13-15.000 Kč: pro uvedenou základní desku a procesor volte min. 32GB DDR5 (2x16GB) 6000MHz CL30 AMD EXPO. Klíčové pro rychlost je 2x16GB (Dual Channel) a frekvence 6000MHz, což ve spojení s uvedenou deskou a procesorem je „best of“. Nedejte se zmást specifikací CPU – ta hovoří o min. stabilní frekvenci na jakékoliv certifikované základní desce, naše konfigurace je na netu odzkoušená přímo vývojáři AMD. RAM moduly by však měly být optimalizované pro AMD s profilem EXPO, což je zase pro Linux. Dále hledejte nízkoprofilové RAM – kvůlivá chlazení v malé skříni.
6. skříň a zdroj – tohle souvisí jednak spolu a jednak s volbou základní desky. Pokud by byla nějaká koruna z přesčasů soustružníka Pepy navíc, pak bych volil tu trošku dražší desku formátu mini-ITX a hned bych koupil skříň Fractal Design Ridge (cca 3.100,- Kč) a k tomu modulární (!) zdroj – kvůli místu pro kabeláž, 750W – tahle kombinace je totiž předpřipravena pro upgrade – až došetříte cca 25.000,- Kč, tak grafickou kartu jen vložíte do velmi elegantní skříně … místo tam totiž pro ni je, příkon díky zdroji 750W bude taky. Pokud použijete levnější základní desku formátu mATX, pak skříň vč. zdroje 300W stojí cca 2.000,- Kč (např.: Chieftec DT-10B-300 má zdroj 300W nebo 1stCOOL SFF case COMPACT 2 ver.1~2 a k ní dokoupíte zdroj). Sestava bez grafické karty se sice bude pohybovat s nároky kolem 120-130W, ale zdroje mají nějaké optimální pásmo účinnosti a musí se počítat s rezervou … min. je tedy 300W. U druhé varianty pak upgrade bude znamenat samostatnou kartu + zdroj pro ni v samostatném boxu + synchronizační kabel pro spouštění 2 zdrojů (1.v PC a 2. u graf. karty).
7. disk – předpoklad je SSD, minimum by mělo být 500GB. Celkově výhodnější je ale připlatit asi tisícovku a koupit za cca 4.200,- Kč např. Samsung 990 PRO 1TB (verze BEZ chladiče – chladič je u základní desky), který má ale hlavně PCIe 4.0 4x NVMe, což hřeje méně než nové verze … a na chlazení v malé skříni je třeba dát pozor a zohlednit.

*Poznámka – RAM 32GB je minimum pro AI 14b a umožňuje rozšíření konfigurace PC o grafickou kartu VRAM 16 až 24GB. Pokud uvažujete do budoucna o nasazení modelu AI 32b, budete pro jeho provoz bez grafické karty potřebovat 64GB RAM, ale to už nedává smysl, protože celkově je výhodnější 2x16GB RAM a VRAM 24GB. Pokud si časem pořídíte výkonnou grafickou kartu s 24GB VRAM, model se nahraje celý do ní a systémová RAM už pak velká být nemusí … zkrátka 32GB (2x16GB) je optimální pro obě varianty.

Komponenty, které neuvádím, – monitor, klávesnice, myš → lze použít cokoliv co „je po ruce“.

Důležitá poznámka – uvedenou konfiguraci berte jen jako inspiraci, nejedná se o garantovaný výčet s garantovanou funkčností. Pro sebe jsem si to vybíral s ohledem na další – např. virtualizaci KVM. Zda jsem neudělal někde chybu se dozvím někdy na konci října, jakmile vše dorazí … a poskládám to.

K dalším možnostem při instalaci na vlastním serveru

Existují softwarové nadstavby a nástroje (např. AnythingLLM nebo Open WebUI), které umožňují takové „pseudo doučení“ AI za běhu pomocí externích zdrojů:

1. můžete použít modul pro nahrávání nové dokumentace (RAG) – řekněme, že máte model AI vytrénovaný a v domě „zmrazení vah“ byla poslední verze jazyka PHP-8.0. Po uzavření modelu, však vyšla dokumentace k verzi PHP-8.3 … konektor umožňuje „podstrčit“ novou dokumentaci pro PHP-8.3 a AI se, lidově řečeno, „doučí“ verzi PHP-8.3
2. dále existuje modul k prohledávání internetu – při řešení úkolu pak zadáte něco jako: … prohledej internet a najdi novinky k věci
3. samotná aktualizace na nový uzavřený model, s novými vědomostmi a schopnostmi, se provádí prostým nakopírováním nového souboru.

A nyní k DeepSeek

Je stále více zřejmější, že soudruzi v Číně nějak zvlášť nelpí na uzavření všeho do “patentové klece“. Pro DeepSeek zvolili open-source model, tedy dostupný každému. Západní technologičtí giganti naopak vše důsledně uzavírají do licencí, protože jejich smyslem není, aby věc sloužila lidem, ale aby možné zájemce řádně zkasírovali. Osobně si myslím, že open-source převálcuje uzavřené řešení … ve všem.

V čem je DeepSeek dále přelomový? Dříve AI modely při řešení úkolu „procházely“ celými svými vědomostmi. Tento způsob má své nevýhody s dopadem na rychlost a spotřebu. Lidský mozek ale pracuje jinak – když řešíte matematický úkol, tak mozek „vypíná“ spojení, které řeší např. udržení rovnováhy při jízdě na kole. Jinými slovy – mozek se rozhodne, že nezapojí celou svou kapacitu, ale jen spojení pro vyřešení daného úkolu. A vývojáři DeepSeek zvolili úspěšně stejnou metodu. Říká se jí MoE (Mixture of Experts) a v podstatě se stali lídry v tomto principiálním řešení. Navíc, u DeepSeek vidíte, jak model vnitřně přemýšlí a až poté zobrazuje výsledek. To „vnitřní přemýšlení“ se na výstupu může a nemusí zobrazovat – záleží, jak si uživatel nakonfiguruje „frontend“