Raport o AI na domácím PC

Na začátku byly dvě věci – zvědavost, zda lze ten fenomén dnešní doby provozovat na vlastním PC, resp. za kolik a prostý fakt, že dosavadní PC přestával stíhat a blížila se doba sestavení nového, výkonnějšího. Vytyčený cíl byl, mít „svoje AI“ pro programování a ideálně schopné překládat delší texty … za rozumný peníz.

Ponořil jsem se tedy do problematiky AI trošku hlouběji a prvním výsledkem byly články zde na Litterate o tom, jak vlastně ta AI funguje. Dnes vynecháme vášnivé diskuze na téma, zda AI přemýšlí nebo jen velmi sofistikovaně počítá nejvhodnější následující slovo a podíváme se na praktickou realitu.

Krátký raport

Vlastní AI lze provozovat na PC v ceně cca 30.000 Kč, ale …

Delší raport

Začnu pohledem do minulosti – starší kousci si budou pamatovat na začátky ABS u automobilů. První exempláře se začaly objevovat u luxusních vozů na konci 70. let minulého století. Tato varianta ABS byla ale jednak pomalá, nehodila se např. pro dynamiku vozů F-1 a hlavně byla extrémně drahá – na začátku byl „doplněk“ ABS v ceně menšího vozu. V 90. letech se toho chopili inženýři Formule-1 a vypilovali to takřka k dokonalosti. Dnes máme velmi dobré ABS doslova na každém trakaři za velmi levný peníz.

Linux používám přes 20 let a tak si pamatuji, že začátky Ubuntu na desktopu byly opravdu pro skalní fanoušky. I tady stačilo, aby uběhlo pár let a dnes máme k dispozici velmi pohodlný linuxový desktop zadarmo a s otevřeným kódem.

Podle mého jsme v případě AI časově někde kousek za nasazením ABS ve F-1 nebo prvního použitelného linuxového desktopu … Jenže doba zrychluje a běžnému, opravdu masovému nasazení AI na „malých“ PC dávám tak 3 roky … maximálně 5 let!

Otázka, zda se vyplatí DNES investovat přes 30.000,- Kč do PC s vlastní AI nemá jednoznačnou odpověď a pokusím se uvést fakta proč ano a proč ne.

Pro pochopení důvodů a reálných možností se vrátím k popisu principu práce AI.

AI ke svému běhu potřebuje v principu 3 věci – paměť do které se model AI vejde, procesor, který umí rychle propočítávat ty miliardy parametrů a hlavně rychlé propojení mezi pamětí a procesorem. A právě tento poslední bod (rychlé propojení) je středobodem dnešních omezení. Velké paměti nejsou až takový problém, kvalitní a rychlý procesor taky ne … jen to propojení!

V klasickém PC se procesor označuje jako CPU a paměť RAM. Aktuální špička na běžném trhu za relativně běžnou cenu jsou RAM paměti typu DDR5, které pracují až na frekvenci 8400MHz. Ve spojení s výkonným procesorem může být teoretická max. propustnost (CPU-RAM) kolem 250GB/s. Taková sestava by ale byla za více jak sedminásobnou cenu než konfigurace, kterou jsem použil, přičemž propustnost méně než trojnásobná.

Pro provoz AI se dnes používají hlavně PC, které mají dedikované grafické karty. Proč? … no protože mají jinak řešený grafický procesor (GPU) a jinak vyřešenou video-paměť (VRAM) a propustnost je tam větší. Je to z toho důvodu, že pro zpracování videa bylo zapotřebí přesouvat a rychle propočítávat větší množství dat, než tomu bylo u „klasického“ PC. Grafické karty tedy mají větší propustnost (GPU-VRAM) něž „klasické“ CPU-RAM, čehož se využilo pro běh AI. Problémem je, že grafická karta s pamětí 32GB startuje dnes na sympatických 110.000,- Kč, solidní pak není problém koupit za 200.000,- Kč.

V poslední době se začínají objevovat hybridní řešení PC pro AI – objevují se základní desky, které jsou již osazeny v podstatě hybridem CPU/GPU a sdílenou RAM/VRAM. Na Alza takový PC pořídíte za 100k, samotnou desku s AMD Ryzen AI Max 300 Series – např. ASRock Industrial AI BOX jsem nejlevnější našel za cca 66.000 Kč.

Protože je klíčová propustnost PROCESOR-PAMĚŤ, dám přehled do tabulky

Sestava	Propustnost	Cena v Kč
Ryzen 7 9700X + 2x16GB @6000MHz	96 GB/s	cca 30.000
max. pro CPU-RAM 2x16GB @8400MHz	~250GB/s	cca 220.000
PC s grafickou kartou NVIDIA 32GB	od 500 GB/s	od 150.000
AI MAX 300 series + 128GB	reálně ~256 GB/s	cca 100.000

Z tabulky je patrné, že nemá smysl uvažovat nad nejvýkonnější variantou „klasického“ CPU s dnes nejvýkonnější RAM – tohle je prostě koncept pro klasický PC.

Podle mého má budoucnost hybridní řešení typu „AI MAX“, kde lze v případě rozběhu výroby očekávat výrazné snížení ceny.

Podstatné upozornění – model AI s 32 miliardami parametrů (32b) zabere v paměti ~ 20GB + potřebuje něco na kontextové okno + něco na samotný provoz systému PC. V případě, že chcete v PC s grafickou kartou spouštět model např. 64B pak potřebujete buď kartu s 40+GB VRAM nebo dvě menší. Pro zjednodušení můžete počítat následovně: model 32b = karta 32GB = min. 100.000Kč, pro model 64b = 2xkarta 32GB = min. 2×100.000 Kč 🙂 .

Vraťme se ale k PC za 30.000 Kč, na kterém lze provozovat AI 32b. Reálné zkušenosti jsou následující:

• PC bez grafické karty nelze použít pro AI, která by měla generovat videa. Horní hranicí bude asi jednoduchý obrázek
• hlavní výhoda ale je, že lokální AI nepočítá tokeny, které se pak objeví na faktuře u komerční (ale rychlejší) služby k proplacení. Na druhou stranu – na PC za 30k můžete nechat např. celou noc běžet překlad knihy o 300 stranách … nebo udělat sumarizaci obsahu knihy. Tady mám konkrétní testování za sebou a je to reálné.
• lokální AI na tomto PC půjde taky použít na programování, které by mělo s použitím agenta AI – např. „OpenCode“ běžet svižně … tohle teprve budu testovat, ale už nyní odhaduji, že to bude celkem dobře použitelné.
• problematické je použití pro dotazy, u kterých se má prohledávat internet – ne, že by to nešlo, ale z principu je to na lokálním PC pomalejší … AI se musí spojit s vyhledávačem, poslat dotaz, stáhnout výsledky k sobě a pak zpracovat. Každá free verze AI má pro tohle lepší podmínky – dotazuje se speciálního vyhledávače v datacentru, je připojena k internetu širším pásmem než je Vaše připojení a celé to zpracuje na sestavě procesorů a pamětí, které doma k dispozici nemáte. Nevýhoda ale je, že dotazy mohou na straně poskytovatele free verze AI podléhat filtru „politické korektnosti“

Kdy uvažovat o „levném“ počítači pro svoje AI

Pokud nechcete používat free verze AI, pak máte možnost vybrat si ze široké škály placených tarifů. Všechny tarify jsou založeny na počítání spotřebovaných tokenů asi nejlevnější/nejoptimálnější bude za cca 500Kč/měs. – v tomto případě cena 30.000 Kč za PC představuje předplatné na 5 let.

My ale všichni víme, že ne vše se má přepočítávat na grošíky, jak svého času moudře pravil pan předseda Senátu, než zařízl svým politickým talentem Škoda Auto Česká republika v Číně, proto uvedu důvody, proč o pořízení uvažovat:

• říká se, že programátoři by měli pracovat na pomalých a nevýkonných počítačích, aby programovali tak, že jejich aplikace budou na normálních PC běžet svižně. PC za 30k pro běh lokálně instalované AI se blíží tomuto modelu – uživatel musí pochopit, jak AI pracuje a nastavit parametry každého modelu tak, aby běžel co nejsvižněji … což se dá.
• s výše uvedeným bodem souvisí i následující – kdo se pustí do AI dnes, kdy začíná „běžné užívání“ má lepší podmínky stát se expertem pro dobu, kdy AI bude na domácím PC opravdu běžnou záležitostí
• pokud máte pro AI práci typu překlady (nebo můžete vstupy předávat AI automaticky pomocí skriptu) a nechcete počítat (a platit) tokeny a AI tedy může pracovat např. samostatně celou noc
• dosluhuje Vám starší počítač nebo plánujete kupovat svému potomku nový PC – tady je k zvážení, zda nepřiplatit a nezískat tak výkonný, na kterém může lokálně zkoušet různé modely a nastavení AI.

K samotné instalaci a modelům AI

1. Sestava

Jako optimální mi vycházelo následující: základní deska ASRock B850M PRO RS WiFi. AMD Ryzen 7 9700X @3.8GHz ve verzi TRAY, SSD Samsung 990 PRO 1TB (Verze BEZ chladiče). Protože nemám rád velké PC skříně, volil jsem Chieftec DT-10B-300 a pro Ryzen pak nízkoprofilový chladič Thermalright AXP120-X67 (i proto procesor verze TRAY). Procesor je s nízkým TDP (65W), při max. zatížení 8 jader na 100% je teplota pod 80 stupňů … Až sem to bylo za ~15.700 Kč.

Paměti RAM – teorie říkala, že budou zapotřebí min. 2x16GB s frekvencí 6000MHz a CL30, pokud vyšší frekvence, pak možnost nastavit EXPO profil přesně pro 6000MHz, nižší frekvence nebrat, vyšší nevyužijete. Specifikace je z důvodu, že Ryzen 7 9700X má tzv. „sweet spot“ právě s použitím DDR5, 6000 MT/s s časováním CL30. Cena byla cca 13.000 Kč za 2x16GB. Nakonec jsem koupil 2x32GB @6000MHz CL30 za 27.000,- Kč.

A praxe ukázala následující – stačilo by 2x16GB. Model AI 32b obsazuje v RAM cca 20GB, pro kontextové okno stačí cca 4GB a zbytek máte pro běžnou práci/funkci PC – je to ale opravdu dolní hranice, pokud by PC sloužilo jen jako server, pak stačí. Pokud má PC sloužit jako desktop a chcete pracovat při spuštěném AI, pak doporučuji spíše min. 48GB, 2×32 je pak opravdu s velkou rezervou. Pro průchodnost RAM-CPU-RAM je důležitá konfigurace tzv. „dual channel“ a správné osazení do slotů 1 a 3 (nikoliv 0 a 2)

2. Software AI

Pro lokální běh máte v podstatě k dispozici dva „motory“ – Llama a Ollama, přičemž Ollama staví na llama.cpp. Model AI je pouhý datový soubor, který je obsluhován právě buď Ollama nebo Llama. Protože je hodně doplňků pro Ollama, volil jsem tuto variantu. V teoretické rovině je asi Ollama o něco pomalejší/náročnější, ale bavíme se jen teoreticky a o naprosto zanedbatelných hodnotách ~ 1%.. Přestože kompilaci používám zcela výjimečně, tak tady jsem udělal výjimku a Ollama zkompilovat pro Ryzen 7 9700X – v teoretické rovině 3-5% výkonnosti navíc. Tento „motor“ se spojí se staženým modelem AI a můžete pracovat … ale přístup bude jen z terminálu.

Grafické ovládání – pro ovládání Ollama se doporučuje Open-webui, což jsem nainstalil jako první. Údajně má být nejrozšířenější, ale praxe ukázala, že je to „tučný bazmek“, který přidával k dotazům moc balastu, což v důsledku výrazně zpožďovalo reakce AI … a taky vyplynulo se, že je optimalizován pro používání AI na PC s grafickými kartami NVIDIA s CUDA, nikoliv jen s CPU … zkrátka skončil jsem u Hollama a testoval i doplněk do Firefoxu/Chrome s názvem „Page Assist“. Tyhle dva fungují dobře. Pomyslným „králem“ pro zkušené uživatele má být „Text Generation Web UI“ (známé jako Oobabooga).

3. AI modely

Velká výhoda lokální instalace AI spočívá mj. V tom, že můžete mít do PC staženy různé modely a navíc si z nich odvozovat modely pro konkrétní použití. Uvedu příklad – pro překlady se bere jako nejlepší francouzský model Mistral, ve verzi 22b má označení „Mistral-small“. Mám vytvořené odvozené modely s parametry pro vstup přes chatování v Hollama a druhý upraven pro dávkování textu k překladu pomocí skriptu.

Tady bych měl praktickou poznámku – pro posílání textu do AI k překladu pomocí skriptu, musíte mít zdrojový text ve formátu „.txt“. Většina knih je ale v .pdf a konverze do .txt sice není problém, ale ztrácíte formátování, resp. Každý řádek končí „entrem“. Stává se tak velmi často, že např. anglická věta je v .pdf na třech řádcích => pokud to neupravíte, pak skript posílá k překladu 3 věty (každý řádek), což ve výsledku vytvoří jiný smysl věty a jiný překlad, než kdyby k překladu šla „neroztrhaná věta“. Ten samý problém je, pokud zvolíte nad dokumentem v .pdf metodu CTRL+C a do Hollama chatu pak CTRL+V … prostě zdroj musí být v korektním stavu, jinak máte zkomolený překlad jako výsledek.

4. Verze DENSE a MoE

Poslední poznámka bude k možným modelům AI – existují principiálně dva druhy: DENSE a MoE. DENSE model posílá k propočítávání vždy celý model a je tedy pomalejší. MoE model už pracuje jako lidský mozek, který „vypíná“ část mozku nepotřebnou k řešení dané úlohy – např. vypne oblast, která řeší jak se udržet při plavání nad hladinou, když řeší, jak udržet rovnováhu na kole v zatáčce. MoE model to dělá obdobně – při prvním propočtu vstupního dotazu zjistí „o čem je řeč“ a pro další propočítávání posílá/používá jen asi 1/10 … je tedy výrazně svižnější. MoE model 32b tak první vstup zpracuje pomocí 32b parametrů, k další práci pak používá cca 3b parametrů

Pro představu jsem nahrál záznam obrazovky, jak rychle lokální AI pracuje. Je třeba si uvědomit, že první dotaz znamená: nahrání modelu do paměti → příjem vstupního dotazu → „zjištění“ co má model dělat → až pak začíná „pracovat. Na druhý dotaz je pak vždy rychlejší reakce. Opravdu velké rozdíly pak jsou u reakce na druhý a další dotaz v případě modelu DENSE a MoE.

Záznam práce a rychlosti AI najdete zde:

• obecný dotaz → model MoE Qwen 3:30b >>zde<<
• překlad → model_DENSE Mistral-small:22b >>zde<<

Reakce modelů s nižšími parametry -např. 14b nebo 8b je pak opravdu výrazně rychlejší, cenou za rychlost je ale menší „inteligence“ AI.

Dnes večer od 18:00 podávám „raport“ o lokální AI i u Valenčíka, připojit se může kdokoliv (odkaz najdete na „nepodvoleni.cz“), zodpovím případné dotazy.