Jak ta AI vlastně pracuje

V předchozím článku jsem se zabýval návodem, kterak zprovoznit AI na svém domácím počítači, který pak nemusí být ani připojen k internetové síti. K vlastní AI jsem jen stručně uvedl, že existují modely s označením „1b“, „7b“, 14b“, „32b“, „64b“ … atd., kde písmeno „b“ je od anglického „bilion“ – tedy česky miliarda a označení v podstatě uvádí, s kolika parametry (v miliardách) dotyčný model pracuje.

Dnes se pokusím osvětlit JAK taková AI vlastně pracuje – je to dlouhé, tak to bude na 2 části. Je třeba si uvědomit, že např. model 32b“ zabírá v paměti počítače nebo grafické karty velikost cca 20GB, což není mnoho. Pro srovnání – hodinový film v HD kvalitě může mít velikost od 1,5GB do 2,5GB, tedy bavíme se o tom, že celý „mozek vč. vědomostí“ AI má velikost cca 10 hodinových filmů v HD kvalitě. I člověka neznalého jistě napadne, že objem dat velikosti cca 10 hodinových filmů nemůže přece obsahovat „veškerou moudrost a znalosti světa“.

Takže, jak to ta AI vlastně dělá, že všechno ví, na všechno má odpověď … zkrátka je chytrá jak opice a přitom její reálný „mozek“ má velikost o objemu dat jen cca 10 filmů o průměrné délce 1 hodina?

Odpověď je kupodivu následující – AI nemá žádná data ve smyslu Wikipedie, lexikonu nebo nějakého sborníku všech vědomostí. Pokud bychom se bavili např. o AI vytrénované na problematiku svařování, tak v jejím „mozku“ nenajdeme žádné tabulky se svařovacími parametry nebo něco na způsob databáze obsahu všech příruček svářeče. Obdobně v případě AI specializované na vaření, pečení, konzervování. Ani v tomto případě „mozek“ AI nebude obsahovat obsah knih a publikací „všech kuchařek světa“. Přesto Vám napíše, jak nastavit parametry pro různá svařování nebo dá návod jak něco zavařit, upéct nebo uvařit.

Takže znova, jak to ten chytrý stroj dělá?

Celý princip „inteligence“ AI je postaven na matematickém výpočtu nejpravděpodobnějšího následujícího tokenu/slova, což je doslova primitivní princip. Extrémně složitou a přesnou záležitost z toho dělá stanovení parametrů, které následně umožňují velmi složitý a opakovaný propočet nejpravděpodobnějšího následujícího slova.

Tady malá odbočka – v dobách, kdy nebyly osobní PC a ani nebyly rozšířené stolní kalkulačky jste se v ruských obchodech mohli setkat s jednoduchým dřevěným kuličkovým počítadlem – řečeným „Sčot“. Pro pokladní to byla praktická pomůcka a opravdu na tom byly schopny sčítat rychlostí, že blesk byl pomalejší bráška. Přes všechny nesporné výhody od rychlosti po nulovou spotřebu energie mám v tomto bodě špatnou zprávu – na takovém počítadle to nejpravděpodobnější následující slovo prostě nevypočítáte 🙂 .

Principiální schéma práce AI je následující – „mozek“ AI má tyto funkční části:

1. vstup (dotaz) si „rozseká“ na tokeny a sestaví si seznam těchto tokenů
2. překlad (Embedding) – AI se podívá do své první tabulky (slovníku) a nahradí tokeny za startovní čísla (vektory). Tu tabulku nazvěme „základní tabulka tokenů“ a je to v podstatě jediná databáze/tabulka v „mozku AI … tabulka ve smyslu „údaj-hodnota“, tak jak to známe z excelovské tabulky nebo databáze.
3. Zpracování čísel získaných dle bodu 2. se provádí v další (už „hlavní“) části „mozku“ AI , což je Neuronová síť – Čísla získaná v bodě 2. projdou obrovským labyrintem miliard dalších parametrů (vnitřních vrstev sítě). Zde dochází k onomu výpočtu kontextu a pravděpodobnosti.
4. výstup –výsledná, vypočítaná čísla se na konci přes výstupní tabulku přeloží zpět na nejsrozumitelnější lidské slovo.

A to je celé, žádná kouzla, žádná magie, žádné hádání – jen výpočet pravděpodobnosti. Nutno dodat, že extrémně složitý výpočet pravděpodobnosti, který se neustále zpřesňuje a dolaďuje, což přináší stále více „inteligentnější“ AI. Způsob výpočtu AI z roku 2017 je jednodušší (a méně přesný), než způsob (a přesnost) výpočtu AI z r. 2026.

Nyní se podíváme na jednotlivé fáze podrobněji.

AD 1. Na začátku napíšete dotaz nebo příkaz v češtině, příp. v jiném jazyce. Lidská věta se skládá ze slov, ale AI pracuje s tzv. tokeny. Token si představte jako [podstatnou]část slova – např. můžeme mít token „svař“ … přidáním [eč] vznikne slovo „svářeč“, … přidáním [ování] vznikne slovo „svařování“, … přidáním [ečka] vznikne slovo „svářečka“ atd. Rozdělení na tokeny má hlavní výhodu následující – jedním tokenem jste schopni velmi elegantně pokrýt několik významových variant, což ve výsledku dramaticky zmenšuje objem dat. Vedlejším efektem je i částečná odolnost proti překlepům – např., když napíšete „svářečkka“ => token „svař“ je nezkomolen.

Závěr – ten mozek AI o velikosti cca 20GB dat (u modelu 32b) má jako „vstupní bránu“ funkci tokenizace, která rozseká lidskou větu na tokeny a vytvoří si z nich seznam tokenů, který předá k dalšímu zpracování. Samotná velikost této funkce může zabírat pár desítek MB (z celkového objemu 20GB „mozku“ AI 32b)

AD 2. Již jsem psal, že „mozek“ AI, konkrétně model 32b , může mít velikost 20GB a neobsahuje žádnou databázi typu Wikipedie nebo nějakou jinou databázi „všech znalostí lidstva“. Není to až tak úplně pravda, protože jednu „tabulku“ tento „mozek“ AI obsahuje. Jedná se o tabulku základních tokenů a můžete si ji představit jako excelovskou tabulku, která má nejčastěji 250.000 řádků a 4.096 sloupců. Na každém řádku je jeden token, který má v každém z 4.096 sloupců přesnou číselnou hodnotu parametru. Odborně se to nazývá „embedding matice“ a slouží výhradně na převod tokenů na čísla. Pokud má tabulka 250.000 řádků a 4.096 sloupců s číselnými parametry, tak to matematicky dělá cca 1 miliardu parametrů – v označení modelu AI ale používáme např. 32b, což je zkratka pro 32 miliard … takže označení modelu nevychází z počtu parametrů v „základní tabulce tokenů“ (embedding matice). Otázka: kde tedy je těch 32 miliard parametrů v případě AI modelu 32b? … je v následující části „mozku“ AI, která následuje po průchodu embedding maticí. K tomu se ale dostaneme až v dalším pokračování …

Ta tabulka tokenů je první místo, které ovlivňuje „inteligenci“ AI. Počet tokenů/řádků může být menší nebo větší, stejně tak počet sloupců. Nejčastější verze je ale cca 250.000 řádků/tokenů a 4.096 sloupců. Celkem logicky se dá očekávat, že AI, která bude mít základní tabulku např. s 350.000 řádky/tokeny a 8.192 sloupci/parametry pro každý token bude ve výsledku představovat přesnější výpočet a tedy „vyšší inteligenci“ AI.

S formátem čísla daného parametru v daném sloupci se to má obdobně – počítání s číslem ve formátu jedné pozice (např.: 1) bude méně přesné než počítání s parametrem ve formátu čísla s pěti desetinnými místy (např.: 0.00342). Pozn.- v počítačové řeči se u AI používají tzv. „čísla s plovoucí desetinnou čárkou“ (nejčastěji formáty Float16 nebo Bfloat16).

Základní tabulka tokenů s parametry se vytváří při sestavení a trénování AI. Můžete si představit, že AI zaměřená na „všeobecnou inteligenci“ bude mít jiný seznam 250.000 základních tokenů než AI, která bude sestavena a trénována jako specialista na problematiku svařování. Seznam tokenů této základní tabulky se tvoří tak, že shromáždíte veškeré texty a statisticky určíte 250.000 (nebo jiný počet) nejčastěji se vyskytujících tokenů v těchto analyzovaných textech. A čistě teoreticky – pokud bychom chtěli AI natrénovat výhradně jako specialistu na problematiku svařování, tak ji „nakrmíte“ odborným textem týkající se svařování, což by ve výsledku mohlo znamenat jiný základní soubor tokenů než v případě, že vytváříte AI se všeobecnou inteligencí, kterou „krmíte“ i např. krásnou literaturou. V realitě se tak ale nepostupuje, protože vytváření této „základní tabulky tokenů“ je ohromně časově a zdrojově náročné. Postupuje se tak, že AI má jednu „univerzální základní tabulku tokenů“ a specializace AI se provádí tzv. „fine-tuningem“. Tady poznámka – „fine-tunig“ umožňuje dotrénovat AI tak, že bude „myslet“ a odpovídat, jako třeba Vy … jednoduše sesbíráte všechny svoje rozhovory, sepsané články, odborné publikace a vydané knihy a … vytvoříte/dotrénujete/doladíte AI se specializací na Vaše přemýšlení a projev.

Pojďme dále – tvoříte AI a máte sestavenu základní tabulku tokenů s 250.000 nejčastěji používanými tokeny. Každý řádek v té základní tabulce tokenů pak má daný počet sloupců – např. 4.096 sloupců a tudíž každý token má 4.096 parametrů. Při zahájení trénování AI nejsou sloupce prázdné ani nemají nulové hodnoty. Na začátku trénování jsou jako parametry všem tokenům v tabulce přiděleny náhodná čísla, které si AI následně během učení sama upravuje.

Závěr – v prvním kroku AI vstupní dotaz „rozřezala“ na tokeny a sestavila z nich seznam. V tomto druhém kroku pak AI ke každému tokenu ze vstupního dotazu přiřadí řádek s hodnotami ze své „základní tabulky tokenů“ – představte si to tak, že např. vstupní dotaz se skládal ze 7 tokenů a nyní si vyfiltrujete z té základní tabulky tokenů právě těch 7 tokenů z dotazu, kdy každý bude mít 4.096 parametrů. Výsledkem je balík čísel (vektorů), který přesně (číselně) reprezentuje význam slov ze vstupu. A s tímto balíkem čísel se už může konečně nastartovat ta hlavní, miliardová neuronová síť, o které si povíme v dalším pokračování příští neděli.