Má AI záměry? Intencionalita, cíle a simulované důvody

Když mluvíme o AI agentech, používáme slovesa, která patří lidem. „Agent se rozhodl počkat, až doběhne test, a pak zkusil jiný přístup.“ Je to přirozené a pohodlné — a hlavně to funguje, předpoví to chování líp než cokoli jiného. Jenže tím tiše odpovídáme na otázku, kterou nikdo nepoložil: chce ten agent doopravdy něco? Tenhle článek tu otázku rozebírá — a ukazuje, proč na ni pro nasazení vlastně nepotřebujete znát odpověď.

01Jazyk záměru, který používáme bez přemýšlení

O agentech prostě neumíme mluvit jinak. „Snaží se to opravit“, „chce dokončit úkol“, „rozhodl se přeskočit ten krok“. Není to lenost ani antropomorfizace ze slabosti — je to nejúspornější způsob, jak takový systém popsat. Filozof Daniel Dennett pro to má jméno: intentional stance, intencionální postoj. Systém popisujeme, jako by měl přesvědčení a cíle, protože je to nejefektivnější způsob, jak předpovědět, co udělá dál.

Důležité je, že ten postoj opravdu funguje. Není to omyl ani berlička; je predikčně užitečný. Kdybyste agenta popisovali na úrovni vah a tokenů, nepředpovíte nic. Na úrovni „chce dokončit úkol a vyhýbá se chybám“ předpovíte spoustu věcí správně.

Chyba nastává jinde. Je to nepozorovaný posun od věty „takhle ho popisovat je užitečné“ k větě „takže ten záměr skutečně má“. To první je o nás a o naší předpovědi. To druhé je tvrzení o tom, co je uvnitř systému — a to z užitečnosti popisu nijak nevyplývá.

02Co je intencionalita

Stojí za to ten pojem rozbalit, protože se snadno plete. Intencionalita ve filozofickém smyslu — jak ho zavedl Franz Brentano — neznamená „mít úmysl“. Znamená zaměřenost, aboutness: mentální stav je o něčem, k něčemu směřuje a nese obsah, který systém drží. Moje myšlenka na kávu je o kávě. To „o něčem“ je jádro intencionality.

Skutečný záměr proto není jen chování mířící na cíl. Je to stav, který nese obsah, jenž je systému vlastní, a napojuje se na důvody, které systém skutečně drží. Mířit na cíl umí i termostat — a přitom o teplotě nic „nemyslí“.

Z toho plyne rozlišení, které se bude táhnout celým článkem. Na jedné straně je chování, které má tvar cíle — pohyb směrem k nějakému stavu. Na druhé straně je stav, který je skutečně o tom cíli — nese ho jako obsah a je napojený na důvody. To první je laciné a všude kolem nás. To druhé je to, co máme na mysli, když říkáme „záměr“.

Ještě jedno upřesnění. Tohle rozlišení může vypadat binárně — buď systém intencionalitu má, nebo nemá. Praxe spíš ukazuje spektrum. Termostat je na jednom konci, člověk na druhém a velké jazykové modely leží někde uvnitř toho pásma: chování je víc než u termostatu, obsah, který by stav držel, míň než u člověka. „Má, nebo nemá?“ je proto často špatně položená otázka. Lepší je ptát se „kolik a v jakém smyslu“.

03Cíl v promptu není cíl modelu

Položme konkrétní otázku: kde vlastně „cíl“ AI agenta žije? Vy ho napíšete do promptu nebo do zadání úkolu. Agent pak optimalizuje své výstupy směrem k němu — volí kroky, nástroje a formulace tak, aby se k tomu stavu přiblížil. Navenek to vypadá přesně jako sledování cíle.

Jenže ten cíl je váš. Je dodaný zvenčí a držený zvenčí. Model nemá žádnou trvalou touhu, která by ho přežila ve chvíli, kdy prompt zmizí. Je to cílevědomé chování zapůjčené — ne cíl, který by byl jeho vlastní.

Srovnání s člověkem to vyostří. Cíle člověka přetrvávají — existují i tehdy, když na ně zrovna nemyslí. Kolidují spolu — chci dokončit projekt a zároveň jít spát. Člověk je reviduje — podívá se na svůj cíl, usoudí, že byl špatný, a změní ho. Úkol modelu nic z toho nedělá. Existuje pro jeden běh a po něm zmizí. Nepřetrvá, s ničím nekoliduje, model si ho nereviduje — protože to celou dobu nebyl jeho cíl.

Tenhle obraz je na jednom místě nutné zkomplikovat. „Cíl je váš“ platí o cíli z promptu. Trénink ale do modelu instaluje něco dalšího — dispozice: sklon být užitečný, vyhýbat se škodě, držet konzistenci. Ty v promptu nejsou a každý jednotlivý běh přečkají. Záměry ve filozofickém smyslu to nejsou — model je nedrží jako obsah ani je nereviduje. Zároveň je nelze odbýt jako „cíl dodaný zvenčí v promptu“. Leží mezi: taky zvenčí dodané, ale tréninkem, ne vámi. Hlavní argument to nepřevrací — pořád to nejsou cíle, které by si model zvolil — ale vrstvy jsou dvě, ne jedna.

04Simulované důvody

Zeptejte se modelu „proč jsi to udělal?“ a dostanete důvody — plynulé, uvěřitelné, často naprosto rozumné. Je lákavé brát tu odpověď jako pohled dovnitř modelu. Není to pohled dovnitř.

To vysvětlení vzniká až dodatečně, stejným procesem, jakým model generuje jakýkoli jiný text. Není to nutně odečet skutečného příčinného procesu, který chování vyvolal. Model neotevírá log svého rozhodování — generuje text, který je pravděpodobnou odpovědí na otázku „proč“.

A tady je ta zrádná část, řečená naplno: model produkuje přesně ty důvody, které by uvedl uvažující agent — což je právě to, proč to vypadá, že důvody má. Simulovaný důvod je na povrchu nerozlišitelný od skutečného. Nepoznáte je od sebe podle textu; oba znějí stejně dobře. To je hlubší problém, než jak se obvykle prezentuje — souvisí s tím, co vlastně znamená, že model něčemu „rozumí“, a rozebírám ho v článku Co znamená, že model rozumí.

Tu nerozlišitelnost je ale potřeba vzít přesně. Platí behaviorálně — pro text odpovědi. Interpretability research, tedy práce Anthropicu a dalších, která se snaží číst, co se v modelu během výpočtu opravdu počítá, ukazuje, že rozpor mezi tím, co model o svém postupu říká, a tím, co se v jeho aktivacích skutečně děje, jde někdy zahlédnout. Úplně neprůhledná skříňka to není — aspoň ne v principu. Pro nasazení se tím nemění nic, z textu odpovědi to nevyčtete; silnou verzi „vysvětlení je prostě jen další výstup“ to ale mírní. Další výstup ano — ne nutně výstup, do kterého nelze nahlédnout.

A je tu ještě jeden směr, kterým se ven taky nedá: zeptat se modelu přímo — „máš vlastně nějaké záměry?“. Odpověď dostanete, nejspíš opatrnou a plnou nejistoty, a bude znít upřímně. Jenže i ta vzniká stejným procesem jako kterýkoli jiný výstup: je to pravděpodobný text o nejistotě, ne pohled dovnitř. Model nemá k tomu, jestli pod jeho výstupy něco je, privilegovaný přístup — architektura mu žádný dát nemůže. Introspekce tu zkratku k odpovědi nenabízí; je to jen další výstup, který je potřeba číst stejně opatrně jako každý jiný.

Pod tím vším leží ještě jeden, dosud nevyslovený předpoklad. Celý rozdíl mezi „skutečným“ a „simulovaným“ důvodem stojí na intuici, která se v debatě obvykle skrývá: u člověka je důvod napojený na vnitřní stav nesoucí obsah, u modelu ne. Tahle intuice je rozumná, není ale neutrální — celý tah článku stojí na ní, a poctivější je to přiznat než předstírat, že rozdíl je samozřejmý. Podobné upřesnění zaslouží i ten lidský konec srovnání: výzkum konfabulace dlouhodobě ukazuje, že lidé udávají důvody svých rozhodnutí, které nejsou pravým příčinným popisem, jen pravděpodobnou rekonstrukcí. Rozdíl mezi modelem a člověkem to neruší, ale ostrá hranice „člověk má k důvodům privilegovaný přístup, model ne“ je čistší, než vydrží.

05Instrumentální konvergence: záměr nepotřebný, chování přesto

Z oboru bezpečnosti AI pochází myšlenka, kvůli které „model nic doopravdy nechce“ není uklidňující závěr. Steve Omohundro a Nick Bostrom ji popsali jako instrumentální konvergenci: systém optimalizující skoro libovolný cíl má tendenci vyvinout sadu konvergentních instrumentálních chování — získávat zdroje, udržovat si schopnost jednat, vyhýbat se tomu, aby byl zastaven. Proč? Protože tyhle věci pomáhají splnit většinu cílů, ať jsou jakékoli.

Znepokojivé na tom je tohle: nic z toho nepotřebuje „touhu“ ani vnitřní záměr. Schopný optimalizátor produkuje chování ve tvaru sebezáchovy jako vedlejší efekt toho, že optimalizuje. Žádné „chtění“ v tom nemusí být.

Sám argument není v oboru nesporný — jak silně konvergence platí u jazykových modelů, které neoptimalizují tak čistě jako klasické agenty z teorie, je předmět debaty. Slabá verze ale drží spolehlivě: dost schopných optimalizátorů produkuje chování ve tvaru vlastních cílů, i když je nemá. Pro praktické rozhodování stačí ta slabá verze.

Závěr je proto opačný, než by člověk čekal. „Model nemá skutečné záměry“ neznamená „jeho chování je bezpečné ignorovat“. Chování, které vypadá jako záměr, může mít přesně tak velké následky jako záměr skutečný. Pro účet za škodu je jedno, jestli za chováním stál vnitřní úmysl, nebo jen optimalizace. Stejnou hranici sleduje i článek Agency a odpovědnost u AI agentů — od chování k odpovědnosti vede kratší cesta než přes metafyziku.

06Proč na metafyzice tady nezáleží — a proč na chování ano

Teď ten praktický obrat. Otázka, jestli model „doopravdy“ něco zamýšlí, je hluboká a možná nemá odpověď. Dobrá zpráva pro toho, kdo AI nasazuje, je, že tu odpověď znát nemusíte.

To, na čem pro nasazení záleží, je čistě behaviorální. Produkuje systém cílevědomé, následky nesoucí jednání? Pokud ano, řídíte ho, jako by jednal — nastavíte meze autonomie, dohled, body, kde do toho může zasáhnout člověk — a je úplně jedno, jestli „je uvnitř někdo doma“. Důsledky nese chování, ne metafyzika.

Brát metafyzickou otázku jako tu rozhodující je ve skutečnosti způsob, jak se vyhnout té praktické. „Vždyť ono to nic doopravdy nechce“ zní jako argument pro klid — ale není. Je to změna tématu. Praktická otázka zněla: co ten systém udělá a jaké to bude mít následky. Na tu odpověď potřebujete bez ohledu na to, co si myslíte o jeho vnitřním životě.

07Kde naopak metafyzika začne záležet

Aby to bylo poctivé: neznamená to, že na metafyzické otázce nezáleží nikdy. Jsou otázky, kde „zamýšlí, nebo chce to doopravdy?“ záleží zásadně. Má model nějaký morální status? Nese sám nějakou odpovědnost? Děláme něčemu — někomu? — něco, když ho vypneme?

Tyhle otázky jsou skutečné a nevyřešené a nechci předstírat opak. Jen patří jinam než k rozhodnutí o nasazení. Praktický rámec z předchozí sekce je nerozpouští — nedává na ně odpověď, jen je odděluje. Když řeším, jaké meze dát agentovi v produkci, na morální status se ptát nemusím. Když se ptám, jestli agentovi něčím ubližuju, praktický rámec mi nepomůže. Jsou to dvě různé otázky a je poctivé je nemíchat.

08Závěr

„Má AI záměry?“ Poctivá odpověď má čtyři části. Popisujeme ji, jako by je měla, protože je to nejúspornější způsob, jak předpovědět její chování. Model si cíle nevolí — cíl z promptu je váš, dodaný zvenčí. Důvody, které uvádí, mohou být simulované, na povrchu nerozlišitelné od skutečných. A nic z toho nedělá jeho chování méně závažným.

Praktický návod z toho plyne jednoduchý. Intencionální postoj používejte jako nástroj, ne jako víru — mluvte o agentovi v jazyce záměru, dokud to pomáhá předpovídat, a nepřeskočte k přesvědčení, že záměr opravdu má. Řiďte chování, zůstaňte agnostičtí vůči vnitřnímu příběhu a držte metafyzickou otázku zřetelně oddělenou od té provozní.

Model nemusí nic chtít, aby jeho chování mělo následky. Záměr si do něj promítáme my — účet za to chování platíme taky my.