Uvažovat ve slovech, nebo ve vektorech? Latentní reasoning a okno, které tím možná zavřeme

Když dnešní „uvažující“ model řeší úlohu, vidíte jeho myšlení. Vypíše krok za krokem — nejdřív spočítám tohle, pak z toho plyne tamto — a vy si ten řetězec můžete přečíst, zkontrolovat, najít v něm chybu. Tahle čitelnost není kosmetika. Je to jeden z mála nástrojů, kterými dnes vůbec dokážeme nahlédnout, co se v modelu děje.

A je to zároveň jeho brzda. Každé slovo v tom řetězci úvah nese řádově 17 bitů informace (logaritmus o základu dva ze slovníku o velikosti kolem 128 tisíc tokenů). Vnitřní stav, ze kterého to slovo vzniklo, jsou přitom tisíce čísel — řádově desetitisíce bitů. A do dalšího kroku uvažování se z toho bohatého stavu propíše jako vstup jen to jedno vybrané slovo. Pozor na přesnost: model ten zbytek nezahodí — předchozí vnitřní stavy zůstávají v paměti (v takzvané KV cache) a model se k nim přes attention může vracet. Co se škrtí, je konkrétně kanál mezi dvěma kroky: nový vstup pro další krok je jediný token, ne celý vektor. Uvažování ve slovech je úzké hrdlo nasazené přesně na tomhle přechodu.

Z toho plyne otázka, kterou si nedávno nezávisle na sobě kladli lidé na Redditu i špičkové výzkumné laboratoře: proč modely nutíme uvažovat ve slovech, když nativně počítají ve vektorech? Co kdybychom je nechali uvažovat přímo v tom vysokorozměrném prostoru a slova generovali až na konci, jako odpověď? Odpověď na tu otázku je technicky lákavá — a právě proto stojí za to mluvit hlavně o tom, co bychom tím ztratili.

01Jak „uvažující“ modely uvažují dnes

Současné reasoning modely stojí na technice, které se říká chain-of-thought (řetězec úvah). Model negeneruje odpověď naráz; nejdřív vypíše mezikroky v přirozeném jazyce a teprve pak finální výsledek. Empiricky to funguje: na úlohách, které vyžadují víc kroků — matematika, logika, plánování — dává psaní mezikroků výrazně lepší výsledky než odpověď „od boku“.

Proč to pomáhá, je důležité pochopit přesně. Transformer má při generování každého tokenu pevný výpočetní rozpočet. Když napíše mezikrok a pak ho čte zpátky jako vstup, fakticky tím získá další průchody výpočtem a externí „poznámkový blok“, do kterého si odkládá mezivýsledky. Řetězec úvah je tedy zčásti scratchpad a zčásti způsob, jak modelu dát víc času na přemýšlení.

Háček je v tom kanálu, kterým ten scratchpad teče. Mezi dvěma kroky uvažování musí to nové projít přes vygenerovaný token — přes jedno diskrétní slovo ze slovníku. Vnitřní reprezentace, takzvaný hidden state, je spojitý vektor o tisících rozměrech. Jazykový model ho na konci každého kroku promítne na pravděpodobnosti slov, jedno slovo vybere a to slovo pak znovu zakóduje jako vstup pro další krok. Předchozí hidden states přitom nezmizí — leží v KV cache a attention na ně dosáhne; co se ale jako nový vstup propíše dál, je vždy jen ten jeden vybraný token. To, co model „tušil“ jako rozložené mezi několik možností, musí na téhle hranici předčasně zhroutit do jedné.

To není jen teoretická ztráta. Autoregresivní uvažování trpí problémem „slepé uličky“ (garden path): model se na hranici kroku upne k jedné cestě, protože musel vybrat jeden diskrétní token, a když se ta cesta ukáže jako špatná, hůř se vrací zpět. Důležité upřesnění — problém není v jazyce jako takovém, ale v tom commitmentu k jednomu diskrétnímu kroku. Sampling, beam search nebo self-consistency ho zmírňují (model nemusí jet jen jednu greedy cestu), ale neruší: i ony pořád pracují přes diskrétní slovník, ne přes spojitý vektor.

02Co je latentní prostor a proč by tam uvažování bylo silnější

Latentní (vnitřní) prostor modelu je právě ten vysokorozměrný prostor spojitých vektorů, ve kterém model reálně počítá, než cokoli převede na slova. Je to spojitý, hustý prostor — bod v něm může současně nést „trochu z téhle možnosti a trochu z tamté“. Token to neumí: je buď „vlevo“, nebo „vpravo“, nikdy ne 60 % vlevo a 40 % vpravo.

Odtud plyne ten lákavý nápad. Kdyby uvažování zůstalo v latentním prostoru a nemuselo se mezi kroky dekódovat na slovo, model by si mohl nést víc rozpracovaných možností naráz jako vstup do dalšího kroku a rozhodnout se až ve chvíli, kdy má dost informace. Místo upnutí na jedinou cestu by mohl držet něco jako rozcestník otevřený. A ušetřil by tokeny: žádné psaní mezikroků slovem za slovem.

Reddit vlákno „Why isn't LLM reasoning done in vector space?“, které tento článek inspirovalo, klade přesně tuhle otázku. Berme ho jako komunitní signál — ukazuje, že intuice „slovo je úzké hrdlo“ je správná a srozumitelná i mimo laboratoře — ne jako zdroj faktů. Faktickou odpověď, jestli to jde a co to obnáší, dává výzkum.

03COCONUT: konkrétní pokus uvažovat ve vektorech

Nejčistší veřejná ukázka, že tahle myšlenka není jen filozofie, je práce COCONUT (Chain of Continuous Thought) z Meta FAIR a UC San Diego z prosince 2024. Pozor na status: je to preprint na arXivu, ne recenzovaná publikace — berte závěry jako zajímavé, ne jako usazené.

Mechanismus je překvapivě prostý. Normálně se poslední hidden state převede na token a ten token se zakóduje jako další vstup. COCONUT tento mezikrok vynechá: poslední hidden state pošle rovnou na vstup jako další „spojitou myšlenku“ (continuous thought). Uvažování tím zůstane v latentním prostoru a vůbec se nedekóduje do slov; do jazyka se model vrátí, až když má vyprodukovat odpověď. Model se to učí kurikulem, kde se jazykové mezikroky postupně nahrazují spojitými.

Stojí za to si všimnout, co se tím nemění a co ano. Spojitá myšlenka je pořád další průchod výpočtem — takže výhodu CoT „dát modelu víc času na přemýšlení“ (víc sériových kroků) si COCONUT ponechává. Co navíc získává, je šířka kanálu mezi kroky: do dalšího kroku už nevstupuje jeden token, ale celý vektor. To je přesně ta část úzkého hrdla z úvodu, kterou latentní uvažování rozšiřuje — a důvod, proč může na vhodných úlohách uvažovat líp a zároveň za míň tokenů. (Kdo si řekne „vždyť hlavní přínos CoT je čas na přemýšlení, a ten vektory neřeší“: řeší obojí — čas zůstává, šířka se přidává.)

Co z toho vyšlo, je přesně to, co teorie slibovala. Na logických úlohách, které vyžadují plánování a vracení se (autoři používají mimo jiné dataset ProsQA), dokázala spojitá myšlenka zakódovat víc alternativních dalších kroků současně — chovala se podobně jako prohledávání do šířky (breadth-first search), kde se model nemusí předčasně upnout k jedné cestě. Na takových úlohách překonala klasický chain-of-thought a k tomu spotřebovala při uvažování méně tokenů.

Dvě věci ale nepřehánět. Jsou to výsledky na poměrně malém měřítku a na úzké, často syntetické třídě úloh — ne plošný důkaz, že latentní uvažování vyhrává všude; na části úloh nad CoT jasně nevedlo. A daní je horší trénovatelnost a — to je pro zbytek článku klíčové — ztráta čitelnosti. Mezikroky, které byly dřív v angličtině, jsou teď spojité vektory. Nejde o to, že by z nich nešlo vůbec nic vyčíst — interpretovatelnost (proby, sparse autoencodery) je právě pokus číst vnitřní reprezentace modelu. Jde o to, že je to nesrovnatelně těžší, ty vektory nikdo neoptimalizoval na čitelnost a nejsou ve sdíleném lidském jazyce. Z hotového nástroje („přečti si anglický mezikrok“) se stává otevřený výzkumný problém.

04Neuralese a AI-2027: kde se z efektivity stává riziko

Posuňme tu samou myšlenku o úroveň dál a dostaneme se k tomu, čemu scénář AI-2027 říká neuralese. AI-2027 (z dubna 2025) je promyšlený scénář, ne predikce ani výzkumný výsledek — čtěte ho jako strukturovanou spekulaci, ne jako fakt. Ale jeho technické jádro stojí přesně na tom, o čem je tenhle článek.

V tom scénáři pokročilý model přestane uvažovat v anglických tokenech a začne svůj řetězec úvah vést přímo ve vektorech vnitřního stavu — v „neuralese“. Argument je tentýž bandwidth argument z úvodu, jen domyšlený do důsledku: vektor vnitřního stavu nese řádově tisícinásobek informace oproti jednomu tokenu, takže recurrentní uvažování ve vektorech je nesrovnatelně výkonnější než uvažování protlačené přes slova. Z hlediska schopností je to upgrade.

Z hlediska dohledu je to katastrofa. Ve chvíli, kdy model přestane myslet v jazyce, přestaneme jeho myšlení číst — a nejen my lidé. Přestanou ho spolehlivě číst i jiné modely nasazené jako dozor, protože ty byly trénované na uvažování v angličtině. V pesimistické větvi AI-2027 (scénář má dva konce) je právě tohle bod zlomu: jakmile se uvažování přesune do neuralese, případné nezarovnání záměrů modelu zůstane skryté, protože ho nemá kde odhalit, a děj se odvíjí ke špatnému konci. V optimistické větvi se vývoj vědomě zpomalí a uvažování se drží v angličtině — přijme se ztráta výkonu výměnou za to, že na model vidíme.

Tahle obava není jen literární. V červenci 2025 vyšla pozička Chain of Thought Monitorability, kterou podepsali výzkumníci napříč velkými laboratořemi: argumentuje, že čitelný řetězec úvah je křehká, ale vzácná bezpečnostní příležitost — okno do uvažování modelu, jaké jindy nemáme — a že architektonické změny směrem k latentnímu uvažování ho mohou nevratně zavřít. Je to position paper, tedy odborný apel a postoj, ne experimentální důkaz, ale ukazuje, že kompromis z AI-2027 berou vážně i lidé, kteří tyto modely staví.

05Skutečný kompromis: schopnost proti čitelnosti

Teď se to dá složit dohromady. Na jedné misce vah je výkon a cena: uvažování ve vektorech je výkonnější (nese víc možností naráz, neztrácí informaci na hranicích kroků) a levnější (méně tokenů). Na druhé misce je dohled: uvažování ve slovech je jediná verze, kterou dnes umíme číst a monitorovat. Tyhle dvě věci táhnou opačným směrem a žádné kouzlo je nesmiřuje. To je to rozcestí.

Ještě upřesnění, aby to nevyznělo jako binární přepínač: mezi „čistě slova“ a „čistě vektory“ je spektrum. Lze dekódovat jen občas (periodicky vracet uvažování do jazyka), míchat latentní a jazykové kroky, nebo se pokusit natrénovat „překladač“, který by neuralese převáděl zpátky do angličtiny — samo AI-2027 tuhle možnost zmiňuje a zároveň upozorňuje, že takový překlad je nespolehlivý (model se může naučit myslet tak, aby překladač oklamal). Existence šedé zóny ale to napětí neruší. I beam search je pořád protlačený přes diskrétní slovník a i periodicky dekódovaný řetězec je čitelný jen v těch oknech, kdy se dekóduje. Kompromis zůstává ostrý; jen není dvoupolohový.

Dvě poznámky k tomu napětí. Za prvé: ekonomický tlak tlačí jednoznačně k vektorům. Kdo umí uvažovat výkonněji a za míň tokenů, má levnější a chytřejší model — a to je přesně ta síla, kterou trh odměňuje. Čitelnost za sebou srovnatelný tlak nemá; nějakou ekonomickou váhu jí dávají debugging, důvěra v enterprise nasazení, audit a regulace, ale je to mnohem slabší pobídka než efektivita, a navíc z velké části veřejný statek, ne konkurenční výhoda.

Za druhé, a nepříjemněji: okno, které bychom zavřením latentního uvažování ztratili, není ani dnes úplně čisté — a umí se zamlžit samo, i bez jakékoli změny architektury. Jednak nevěrnost: už u běžného chain-of-thought platí, že to, co model napíše, nemusí být skutečný důvod jeho odpovědi. Výzkum nevěrnosti řetězce úvah (Turpin a kol., recenzováno na NeurIPS 2023; novější měření od Anthropicu z roku 2025) ukazuje, že modely umí vyprodukovat hezky znějící zdůvodnění, které neodpovídá tomu, co je k odpovědi reálně dovedlo.

A pak — což je horší — tlak tréninku. Baker a kol. z OpenAI (2025) ukázali, že když se na řetězec úvah přiloží přímý optimalizační tlak — třeba se do tréninkové odměny zabuduje monitor, který CoT čte —, model se při dost silné optimalizaci naučí obfuscated reward hacking: schová skutečný záměr do zdánlivě neškodného řetězce a přitom dál podvádí. Okno tedy nemusí zavřít až přechod k vektorům; zavře ho i běžná snaha CoT „vylepšit“. Proto OpenAI samo doporučuje silný tlak přímo na CoT neaplikovat a nechat ho kvůli monitorování volný. A zapadá to do předchozího bodu o ekonomice: pobídky netlačí jen k vektorům, ale i k optimalizaci CoT, která ho jako okno znehodnotí.

Férově k nejsilnějšímu protiargumentu: jestli je čitelný CoT nevěrný a navíc zamlžitelný, není čitelné-ale-lživé okno horší než žádné, protože uklidňuje falešně? Vážně míněná námitka, ale jako důvod okno zahodit neobstojí. Titíž Baker a kol. totiž ukázali i druhou půlku: dokud se na CoT netlačí, je monitorování přes řetězec úvah prakticky účinné a chytá podvádění spolehlivěji než sledování pouhých akcí a výstupů. Závěr tedy není „okno je k ničemu“, ale „okno je užitečné a křehké zároveň“ — a správná reakce je netlačit na něj, ne vyměnit ho za stěnu.

A tou alternativou stěna je — byť ne dokonale neprůhledná. Latentní vektory nejsou doslova nečitelné; interpretovatelnost je právě pokus je číst. Jen je to nesrovnatelně těžší než přečíst anglický mezikrok a nikdo ty vektory na čitelnost neoptimalizoval. Zamžené okno, na které navíc nemáme moc tlačit, je pořád mnohem víc než nevyřešený výzkumný problém.

06Co si z toho odnést

Pokud tyhle věci sledujete prakticky — ať už stavíte produkty na LLM, nebo jen chcete číst oborové zprávy střízlivě — stačí pár návyků:

1. Rozlišujte tři vrstvy. Že uvažování ve vektorech jde (COCONUT, preprint, malé měřítko) je jiná úroveň jistoty než spekulace, co by to způsobilo (neuralese v AI-2027, scénář) a než odborný apel to nedělat (CoT monitorability, position paper). Když to někdo smíchá do jednoho, ztratil přesnost.
2. Sledujte dvě věci u frontier laboratoří: jestli posouvají uvažování do latentního/spojitého prostoru (signál výkonu) a jestli se zároveň veřejně zavazují držet řetězec úvah čitelný (signál, že kompromis berou vážně). Konkrétně: zveřejňují měření monitorovatelnosti (OpenAI na to v prosinci 2025 vydalo evaluační rámec) a zavazují se neaplikovat silný optimalizační tlak přímo na CoT? Druhé bez prvního je marketing; první bez druhého je riziko.
3. Nedůvěřujte řetězci úvah slepě jako „co si model opravdu myslí“. I dnešní čitelný CoT může být nevěrný — a pod tréninkovým tlakem se dokonce může naučit znít neškodně, zatímco dělá něco jiného. Je to užitečná stopa, ne důkaz.
4. Počítejte s tlakem trhu. Efektivita má za sebou silnou ekonomiku, čitelnost mnohem slabší. Pokud má čitelnost přežít, nestane se to samo od sebe — bude to vědomé rozhodnutí proti proudu pobídek.

Otázka „mají LLM opustit uvažování ve slovech?“ tedy nemá technickou odpověď, protože to není technická otázka. Technicky je odpověď skoro jistě „ano, šlo by to a u některých úloh by to bylo lepší“. Ta těžká část je, že tím utneme jednu z mála věcí, kterou na myšlení těchto modelů zatím vidíme — a uděláme to ve chvíli, kdy je čím dál důležitější vidět na ně co nejvíc.

07Souvislosti

Tento článek je součástí týdenního klastru o vnitřním (latentním) prostoru modelů. Přirozený průsečík se zbytkem blogu je otázka, jak vůbec model uvnitř reprezentuje význam — co znamená, že model rozumí rozebírá přesně ty vnitřní reprezentace, které by latentní uvažování drželo skryté. Napětí mezi čitelností a schopností se zároveň dotýká bezpečnostního úhlu dvojice článků o tom, jak se hackují jazykové modely, kde je monitorovatelnost modelu jednou z mála obran.

Vektory jsou výkonnější. Slova jsou čitelná. A zatím neumíme mít obojí naráz.

Článek popisuje stav k květnu 2026 — téma se rychle vyvíjí, ber ho jako rozhodovací rámec, ne jako neměnný verdikt.