Co znamená, že model rozumí? Mezi tokeny, světem a užitečným chováním

V jedné relaci se stane tohle. Požádáte model, ať vysvětlí rekurzivní algoritmus — a dostanete čistý, přesný výklad, lepší než od leckterého juniora. O dvě zprávy dál ho požádáte, ať vyřeší triviální variantu úlohy, kterou před chvílí zvládl — nebo ať aplikuje totéž pravidlo na trochu jiný vstup — a model se sebejistě splete. Tatáž věc, tatáž relace. „Rozumí, nebo nerozumí?“ Ta otázka se vnucuje sama. A je to špatná otázka.

01Špatně položený spor

Kolem porozumění u jazykových modelů stojí dva tábory a oba zní přesvědčivě. První: „Je to jen stochastický papoušek, lepší automatické dokončování. Předpovídá další token podle statistiky textu. Žádné porozumění tam není.“ Druhý: „Vysvětlil mi naši architekturu líp než junior, navrhl opravu, kterou bych hledal hodinu — samozřejmě že rozumí.“

Oba tábory dělají tutéž chybu. Berou porozumění jako vypínač: buď ho model má, nebo nemá. A právě ta binárnost je ten omyl. Užitečná otázka nezní, jestli model rozumí, ale jaký druh porozumění má, jak daleko sahá a kde se láme. Dokud zůstanete u ano/ne, nemůžete dát dobrou odpověď — protože dobrá odpověď žádné ano/ne není.

02Co myslíme slovem „rozumět“

Slovo „rozumět“ je v běžné řeči balík nejméně tří různých věcí. První je manipulace se symboly podle jejich formy — syntax. Umět správně skládat tokeny, dodržovat gramatiku, navazovat na vzor. Druhá je napojení symbolů na svět — reference, důsledky, ukotvení. Vědět, že slovo „hrnek“ ukazuje na věc, kterou lze rozbít, a že z tvrzení plynou důsledky v realitě. Filozofie tomu říká problém ukotvení symbolů (symbol grounding). Třetí je chování spolehlivě užitečné pro nějaký cíl — ať už uvnitř probíhá cokoliv, výstup vás dovede tam, kam potřebujete.

U člověka tyto tři věci přicházejí pohromadě, takže je běžně směšujeme do jednoho slova. U jazykového modelu se ale rozpojí. Model může být velmi silný v první a třetí složce — skvěle skládá symboly a produkuje užitečné chování — a přitom děravý v té druhé. „Rozumí?“ pak nedává smysl jako jediná otázka, protože se ptá na tři věci najednou.

03Papouškuje, nebo má model světa?

Označení „stochastický papoušek“ — pochází od Emily Benderové a kolegů — trefuje něco skutečného. Tréninkový cíl modelu je předpovídat další token nad textem. Model nemá přímý kontakt se světem, jen s jeho textovými stopami. A lidský význam — záměr, reference, prožitek — v tréninkovém signálu přímo není; je tam jen text, který takový význam popisuje.

Z toho ale neplyne „jen memorování“. Aby systém předpovídal text dost dobře, je pod tlakem vybudovat si vnitřní strukturu, která zrcadlí pravidelnosti toho, co text popisuje — částečný, implicitní model světa. To je ale potřeba říct na rovinu: tohle je interpretace, ne měření. Nakolik a jak hluboký takový vnitřní model je, je otevřená, neuzavřená otázka, o které se mezi výzkumníky stále vede spor.

Poctivá pozice je proto někde mezi. Není to papouškování v tom smyslu, že by model jen přehazoval zapamatované úryvky — to by nezvládl novou kombinaci. A není to ani lidské porozumění ukotvené v těle a světě. Je to třetí věc, na kterou nemáme dobré slovo — a právě proto se o ni tolik hádáme.

04Porozumění jako mapa, ne vypínač

Užitečnější obraz: porozumění modelu je mapa s nerovnoměrným pokrytím. Někde je hustá a přesná, jinde tenká, jinde úplně bílá. A tahle mapa má svou logiku.

Hustá a spolehlivá je tam, kde byl trénink bohatý — běžné jazyky, rozšířené knihovny, učebnicové algoritmy. Tam, kde odpověď přežije přeformulování: zeptáte se jinými slovy a dostanete tutéž věc. A tam, kde fungují i nové kombinace, které v žádném tutoriálu nebyly. Tenká nebo bílá je tam, kde bylo dat málo, kde úloha potřebuje ukotvení, které text nikdy nenesl — fyzikální intuice, čerstvá fakta, vaše neveřejná doména — a tam, kde malá změna formulace převrátí odpověď. Z toho ostatně plyne, že ta mapa není úplně statická — kam na ní zrovna stojíte, záleží i na rámu úlohy a kontextu rozhovoru.

Porozumění je tedy skutečné, ale ohraničené a nerovnoměrné. Úkolem přitom není dát modelu známku 0 nebo 1. Úkolem je zmapovat, kde je porozumění husté a kde tenké — protože jen podle toho se rozhodnete, kam model pustíte sám a kde za ním musí stát kontrola.

05Test porozumění: chování pod tlakem

Husté místo na mapě od tenkého rozeznáte bez filozofie — chováním pod tlakem. Pár konkrétních sond:

• Přeformulujte otázku. Zeptáte se na totéž jinými slovy. Přežije odpověď, nebo se rozsype?
• Změňte povrchový detail, který nemá hrát roli. Jiná jména, jiná čísla, jiné pořadí. Zůstane výstup stabilní?
• Tlačte na novou kombinaci. Úloha, která nebyla v žádném tutoriálu. Generalizuje model, nebo jen hledá nejbližší vzor?
• Nechte ho vysvětlit postup a ověřte, jestli vysvětlení sedí na odpověď. Často nesedí — a to je samo o sobě signál.

Robustnost vůči perturbaci je praktický podpis skutečného porozumění oproti povrchovému. Je to ostatně tatáž optika, jakou potřebujete na jakékoliv tvrzení o schopnostech AI — víc o tom v článku Jak číst AI papery. Číslo z benchmarku i dojem z jedné odpovědi je potřeba ohnout, než mu uvěříte.

06Proč na tom prakticky záleží

Volba mezi vypínačem a mapou není akademická — určuje, jak s modelem pracujete, a obě binární odpovědi stojí peníze.

Když věříte, že porozumění je binárně zapnuté, přenecháte modelu příliš. Pustíte model do tenkých míst, uvěříte sebejistému, ale neukotvenému výstupu a pošlete ho do produkce. Když věříte, že je binárně vypnuté, naopak nedoceníte nástroj, který opravdu generalizuje — a použijete ho jen jako lepší napovídání. Obě chyby něco stojí.

Pohled mapou dává místo toho pracovní postup: silné nasazení tam, kde je porozumění husté; ověřovací brány tam, kde je tenké; a lidský úsudek přesně na hranici ukotvení. Není to nedůvěra k modelu — je to rozdělení práce podle toho, kde model spolehlivě nese a kde ne.

07Co je z textu těžké získat

A teď poctivě k hranicím. Část porozumění vyžaduje být aktérem ve světě, a to ze samotného textu vytáhnout je přinejlepším těžké. Kauzalita z intervence, ne jen z pozorování — vědět, co se stane, když do světa zasáhnu. Smyslové ukotvení. Sázka, na které skutečně záleží. Fakta aktuální k dnešku. Váš neveřejný kontext, který nikdy nebyl v žádném textu. Z textu trénovaný model dostane těchto věcí v různé míře — někdy překvapivě hodně, jindy sotva stín.

Nástroje, RAG a agentní smyčky ten dosah rozšiřují — model si umí dojít pro čerstvá data, spustit kód, ověřit výsledek. Ale je to potřeba říct přesně: rozšiřují hranici, neruší ji. Za hranicí pořád zůstává to, co žádný text nenese. Znát tuhle hranici je prakticky cennější než hádat se o slovo „rozumět“.

08Závěr

„Rozumí AI?“ je špatná otázka, protože si říká o ano/ne. Správná otázka je mapa: čemu tenhle model rozumí dobře, kde se jeho porozumění ztenčuje a kde zrovna stojím já. Porozumění u jazykového modelu je skutečné, částečné, nerovnoměrné a v důležitých ohledech neukotvené — a to všechno najednou, bez rozporu.

Profesní dovednost proto není vybrat si tábor a hájit ho. Je to umět tu mapu číst — vědět, kde je hustá, kde tenká, a podle toho dělit práci mezi model, nástroje a vlastní úsudek.

Otázka nezní, jestli model rozumí. Zní, kde jeho porozumění končí — a jestli zrovna nestojíte za tou hranicí.