Agency a odpovědnost u AI agentů: kdy už nástroj začíná jednat?

Linter označí chybu a nikdo se neptá, kdo nese odpovědnost za jeho názor. Spustí se jako součást buildu, vypíše varování, vývojář ho vezme v potaz nebo ne. Coding agent ten samý týden ve stejné firmě otevře pull request, přepíše tři moduly, a po zelené CI ho sám mergne — a otázka „kdo tohle rozhodl?“ má najednou opravdu těžkou odpověď. Někde mezi tím nástrojem a tím agentem začal nástroj jednat.

01Nástroj, asistent, agent

Nejde o tři škatulky, ale o tři body na spektru. Nástroj dělá přesně to, co vyvoláte — žádná iniciativa. Kompilátor přeloží to, co mu dáte; linter zkontroluje to, na co ho pustíte. Nic víc se nestane, dokud něco neřeknete.

Asistent navrhuje, vy rozhodujete. Napíše koncept, nabídne dokončení řádku, odpoví na otázku — ale ten krok do reality uděláte vy: vy se rozhodnete a vy ho provedete. Našeptávač i model odpovídající na dotaz jsou pořád asistenti.

Agent sleduje cíl přes víc kroků, sám si volí mezikroky a jedná na svět. Coding agent, který si naplánuje postup, edituje soubory, spustí testy a commitne, není asistent — je to agent. Hranice, na které záleží, je jediná: kdo volí ty mezikroky. Dokud je volíte vy, je to nástroj nebo asistent. Jakmile je volí ono, je to agent.

02Co se mění s autonomií

Jak se posouváte po tom spektru, rostou společně tři věci. Počet rozhodnutí učiněných bez vás — agent během jedné úlohy udělá desítky voleb, které nikdy neuvidíte. Vzdálenost mezi vaším pokynem a výsledným efektem — řeknete „oprav tu chybu“ a mezi tím a mergnutým kódem je celá řada kroků, které jste neviděli. A obtížnost předpovědět, co udělá — čím víc volnosti, tím méně dopředu víte, kudy se k cíli dostane.

Autonomie je užitečná přesně proto, že vás vyndá ze smyčky — nemusíte schvalovat každý krok, práce běží bez vás. A to je zároveň přesně její cena. Co vás z té smyčky vyndá, vás z ní vyndá i ve chvíli, kdy by se vám tam hodilo být.

03Agency není vědomí

Tady je potřeba jasná čára. „Agency“ v tomto textu není vědomí ani úmysl v žádném hlubokém smyslu — je to funkční vlastnost: schopnost vybírat akce směřující k cíli. Termostat jí má nepatrný zlomek; coding agent jí má hodně. Nemusíte vyřešit, jestli agent „opravdu něco chce“, abyste viděli, že funkčně jedná.

Praktická otázka je behaviorální, ne metafyzická. Nezáleží na tom, co se děje „uvnitř“ — záleží na tom, že systém volí kroky a mění svět. A přesně přes záměnu těchto dvou rovin týmy uhýbají té skutečné, nudné, praktické otázce: kdo za to ručí. Debata o tom, jestli je agent „skutečně“ inteligentní, je pohodlná právě proto, že odkládá otázku odpovědnosti, na kterou se odpovídat musí.

04Odpovědnost se nepřesouvá s prací

Tohle je jádro. Když delegujete úlohu na agenta, přesune se práce, ale ne odpovědnost. Agent nemůže být odpovědný — nemá co ztratit, nemá reputaci, nemůže se mýlit „na svůj účet“. Nelze ho povolat k zodpovědnosti, protože postih pro něj nic neznamená. To platí pro dnešní generaci systémů a není to nutně trvalý fakt: až agent získá reputační kontinuitu nebo vlastní ekonomické vazby — a podnikání kolem agentů tím směrem míří — bude ta věta jemnější. Zatím je to spíš hraniční téma než uzavřená otázka; pro nasazení, která řešíte dnes, ale platí beze zbytku.

Je to stejná past jako u modelu, který něco tvrdí s jistotou, o které píšu v článku AI a problém autority — výstup zní autoritativně, ale autorita bez odpovědnosti je jen forma bez obsahu. Každá akce agenta proto pořád má lidského vlastníka. Pokud je ten vlastník nejasný, neodebrali jste práci — odebrali jste odpovědnost. A to je horší než neudělat nic, protože práce se aspoň dá dohnat; chybějící vlastník se pozná až ve chvíli, kdy už je něco rozbité.

Ten jmenovaný člověk to ovšem nemá tak čisté, jak to zní. Obvykle je to někdo, kdo dostal úkol nasadit agenta od organizace, která sama jedná podle pobídek, jež nevlastní nikdo konkrétní — takže ano, na konci řetězce musí stát jméno, ale ten člověk je často sám v pozici „nasazuju, protože tlak shora“. A pokud platí, že ten odpovědný ve skutečnosti nemůže nenasadit, je jeho jmenování jen forma divadla posunutá o úroveň výš. To není vada AI. Agenti ten obecnější problém s odpovědností uvnitř organizací nezpůsobili — jen ho ostře nasvítili. Praktický důsledek je ale nepříjemný: v některých případech čtyřotázkový test z příští sekce nevede k „najděte jméno, které to ponese“, ale k „tohle agentovi nesvěřujte vůbec“.

05Čtyři otázky, než něco svěříte agentovi

Než agentovi předáte úlohu, položte si čtyři otázky. Jsou to praktická měřítka, ne filozofie:

• Vratnost — dá se akce agenta levně vzít zpět?
• Dosah — čeho nejhoršího se může dotknout, když se splete?
• Ověřitelnost — může člověk nebo test zkontrolovat výsledek dřív, než začne platit?
• Rychlost zpětné vazby — jak rychle se o chybě dozvíte: za pět minut, nebo za měsíc na produkci?

Ta čtvrtá je samostatná osa, ne jiný název pro vratnost: jedno je, jestli akci vezmete zpět, druhé, jak rychle se o problému vůbec dozvíte. Agent, jehož chybu uvidíte za pět minut, je něco jiného než agent, jehož chybu najdete za měsíc na produkci.

Autonomii pak kalibrujte podle odpovědí. Vysoká vratnost  +  malý dosah  +  ověřitelný výsledek  +  rychlá zpětná vazba — nechte agenta běžet, případný omyl je levný a chytíte ho včas. Nízká vratnost, nebo široký dosah, nebo neověřitelný výsledek, nebo zpětná vazba, která přijde až za měsíc — agent navrhuje, člověk rozhoduje. Stačí jedno „ne“ ze čtyř a poslední krok patří člověku.

Pozor ale na to, že tahle čtyři měřítka hodnotí jednu akci. Agent typicky neudělá jednu — udělá padesát. Padesát individuálně vratných změn může systém posunout do stavu, který v praxi vratný není, protože se nikdo nebude vracet a rekonstruovat, co bylo původně proč. K otázkám o jedné akci proto patří pátá, méně formální: kam se to dostane, když ten samý vzorec poběží sto iterací?

06Hranice agenta je rozhodnutí, ne default

Čeho se agent smí dotknout — jakých dat, nástrojů, repozitářů, jestli smí mergovat nebo nasazovat — je architektonické a bezpečnostní rozhodnutí. Není to default, který se převezme od dodavatele, protože tak to přišlo z krabice. Výchozí nastavení je optimalizované na to, aby agent působil schopně, ne na to, aby seděl vašemu rozsahu rizika.

Rozhodněte to záměrně: jaké má agent scopes, jaká oprávnění, které akce vyžadují potvrzení člověka. A pak to zapište — přesně tohle je nosné rozhodnutí, které si zaslouží ADR: architektonickou paměť týmu. Za rok se nikdo nebude pamatovat, proč agent smí do produkční databáze, pokud to nikde nestojí černé na bílém — a „proč to tak je“ se bez záznamu rozpadne stejně rychle jako u každého jiného architektonického rozhodnutí.

07Human-in-the-loop, ale ne jako razítko

Past je tahle: „člověk ve smyčce“ se zvrhne v člověka, který razítkuje věci, jež doopravdy nekontroluje. Agent vyrobí čtyřicet řádků, člověk klikne „approve“ — a všichni mají dobrý pocit, že tam byl dohled. Není to dohled, je to divadlo odpovědnosti.

Skutečný human-in-the-loop znamená, že člověk může výstup vetovat a taky to dělá, má čas ho opravdu zkontrolovat a vlastní výsledek. Pokud je revize příliš rychlá na to, aby byla skutečná, je ta smyčka jen dekorace. A proto člověka nedávejte všude — to ho jen naučí přestat se dívat. Dejte ho tam, kde je rozhodnutí nevratné nebo neověřitelné. Tam jeho pozornost něco znamená.

08Závěr: nástroj, který jedná, je pořád vaše jednání

Nástroj, který jedná, je pořád vaše jednání. Agenti jsou skutečně užiteční — odebírají práci, a to je legitimní důvod je nasadit. Co ale nikdy neodeberou, je odpovědnost; ta zůstává u konkrétního, jmenovaného člověka.

Dovednost není „nasadit agenta“ nebo „nenasadit agenta“. Je to kalibrace: kolik agentovi necháte rozhodnout proti tomu, jak vratné a ověřitelné jeho akce jsou — a udržet nad vším, co dělá, skutečného vlastníka, ne razítkujícího člověka. To je celý rozdíl mezi autonomií, která vám pomáhá, a autonomií, která vyrábí rozhodnutí bez majitele.

Agent může jednat za vás. Odpovídat za to ale pořád budete vy.