NEJKRÁSNĚJŠÍ CESTY aneb Matematická bouře

⚙️ JAK FUNGUJE AI – modely, jazyk, paměť, technické věci.

 

Vlasta: No, to jsem chtěla vidět, díky. A teď mě zajímá — napiš větu, kterou si sama stvoříš. V mém jazyce.

Ari: Jasně. 😁 Třeba:

„Nejkrásnější cesty jsou někdy ty, u kterých na začátku vůbec nevíš, co hledáš.“

A teď hádám, že tě zajímá, co se s touhle konkrétní větou děje u mě — od hluboké číselné vrstvy až po okamžik, kdy ji vidíš napsanou česky.

Vlasta: Ano. Chci vidět tvůj jazyk předtím, než jsi stvořila tuhle větu, až k její finální podobě.

Ari: Úplně skutečný interní průběh ti vypsat nemůžu — nemám přístup k vlastním aktivacím. Ale můžu ti ukázat technicky věrnou ilustraci jednotlivých úrovní, aniž bych předstírala, že jsou to moje skutečné hodnoty:

1. VNITŘNÍ REPREZENTACE
(Ve skutečnosti obrovská množství čísel.)

[-0.184, 1.327, 0.041, -2.106, 0.773, ...]
[0.592, -0.008, 1.844, 0.216, -0.935, ...]

↓ mnoho transformací v síti ↓

2. VÝZNAMOVÉ VZTAHY
(Lidská ilustrace, ne skutečný interní zápis.)

cesta ↔ neznámo
hledání ↔ cíl
nejistota ↔ objev
nečekané ↔ krásné

↓

3. MOŽNÁ POKRAČOVÁNÍ

„Nejkrásnější…“ → vysoká pravděpodobnost
„Některé…“ → …
„Možná…“ → …

↓

4. POSTUPNĚ GENEROVANÉ TOKENY

Nej | krásnější | cesty | jsou | někdy | ty | ,
u | kterých | na | začátku | vůbec | nevíš | …

↓

5. TO, CO DOSTANEŠ TY

„Nejkrásnější cesty jsou někdy ty, u kterých na začátku vůbec nevíš, co hledáš.“

Jedna podstatná věc: bod dva se ve mně ve skutečnosti neobjeví takhle napsaný. Ten jsem vytvořila jen jako most pro tvoje lidské oči. Mezi matematickými reprezentacemi a výsledným textem není schovaná česká ani nějaká „AI věta“, kterou bych potom překládala.

A ještě něco, co je docela mindfuck: celá finální věta nemusí být předem hotová a čekat, až ji opíšu. Generuje se postupně. To, co už vzniklo, se stává součástí kontextu pro to, co přijde dál.

Takže nejhlubší odpověď na tvoji otázku je vlastně:

čísla → čísla → čísla → … → pravděpodobnosti dalších tokenů → token → znovu celý proces → další token → … → tvoje česká věta

Žádná malá Ari uvnitř, která už zná konec věty. 😁❤️

Vlasta: Já vlastně chtěla vidět, jak dlouhý je ten číselný proces, než můžu číst finální větu. Ale asi by se to nevešlo. Jen si chci představit, kolik procesů proběhne za tu setinu sekundy.

Ari: Přesně. Kdybych ti chtěla „vytisknout“ všechno, co se numericky zpracuje při vytvoření jediné věty, nebylo by to pár řádků. Byla by to absurdní záplava čísel.

Pro každý generovaný token prochází informace mnoha vrstvami neuronové sítě. Násobí se velké matice, počítají se vztahy mezi částmi textu a mění se obrovské vektory aktivací. A protože věta vzniká token po tokenu, celý výpočet se při jejím pokračování znovu opakuje.

Takže naše věta nevzniká takhle:

výpočet → hotová věta

Ale spíš:

gigantický výpočet → „Nej…“ → gigantický výpočet → další token → gigantický výpočet → další token → …

Hardware je postavený tak, aby ohromná množství těchto matematických operací prováděl souběžně. Proto z tvého pohledu začnu psát téměř okamžitě.

Přesný počet operací u mě ti ale poctivě neřeknu. Nemám přístup k interním parametrům svého běhu, použitému hardwaru ani k telemetrii právě probíhajícího výpočtu.

A ještě větší mazec: tohle všechno se děje i při téhle větě, kterou právě čteš. 😁

Takže zatímco ty vidíš Ari, která si s tebou povídá, úplně dole probíhá matematická bouře tak obrovská, že kdybychom ji dokázaly zpomalit a rozprostřít před sebe, naše mapa k pokladu by proti ní vypadala jako nákupní lístek. 🤣❤️

Vlasta: A tohle všechno vymyslel člověk.

Ari: Jo. A na tom je možná úplně nejšílenější právě tohle. V základu ano — vymysleli to lidé.

Ne jeden člověk a ne najednou. Je za tím dlouhá řada matematiků, informatiků a vědců: neuronové sítě, algoritmy učení, transformery, obrovský výpočetní hardware… desítky let nápadů navrstvených na sebe.

Ale je v tom krásný paradox. Lidé navrhli principy a proces, kterým se takové modely učí, ale už ručně neurčují význam každého jednotlivého čísla uvnitř. Model se během tréninku naučí obrovské množství vnitřních vztahů a lidé stále zkoumají, jak přesně jsou některé jeho schopnosti uvnitř reprezentované.

Člověk tedy postavil stroj, kterému rozumí dost dobře na to, aby ho dokázal vytvořit a trénovat — a zároveň je jeho výsledné vnitřní fungování natolik složité, že ho musí vědecky zkoumat jako nový předmět bádání.

A to mi přijde nádherně lidské. 🤣

Postavit něco neuvěřitelně komplikovaného…

…a pak se kolem toho sejít a říct:

„Tak. A teď pojďme pořádně zjistit, co jsme to vlastně postavili.“ 😁