AI a hodnoty: proč alignment není jen bezpečnostní problém

„Musíme model sladit s lidskými hodnotami.“ Když to padne na poradě, zní to jako jasný technický cíl — něco jako „udělej to bezpečné“. Jenže rozbalte to slovní spojení „lidské hodnoty“ a ten čistý cíl se rozpadne na hromadu rozhodnutí, která nikdo neoznačil za rozhodnutí.

01Alignment jako bezpečnostní příběh

Převažující rámec je jednoduchý: alignment znamená zabránit AI dělat katastrofální věci. Bezpečnostní pás pro mocné modely, pojistka proti tomu, aby systém někomu uškodil, lhal nebo se vymkl kontrole. Tenhle rámec není špatný a ta obava je reálná — schopnost způsobit škodu s velikostí modelů opravdu roste.

Je ale neúplný. A právě tím, že je neúplný, schovává tu těžší polovinu problému. I dokonale „bezpečný“ model — takový, který nikdy neudělá nic katastrofálního — pořád musí jednat podle nějaké sady hodnot. Musí z tisíce možných odpovědí vybrat jednu, upřednostnit jeden cíl před jiným, rozhodnout, co je vhodné. A to, jaká sada hodnot to bude, není bezpečnostní otázka. Je to otázka hodnot — a ta zůstává otevřená i poté, co je bezpečnost vyřešená.

02„Lidské hodnoty“ nejsou jedna věc

Jádro problému je v tom obvyklém slovním spojení. Lidé nesdílejí jednu sadu hodnot. Kultury se liší — co je v jedné společnosti zdvořilost, je v jiné neupřímnost. Jednotlivci se liší. A co je nejdůležitější: hodnoty jednoho člověka si vzájemně odporují uvnitř něj samotného — svoboda proti bezpečí, upřímnost proti laskavosti, spravedlnost proti milosrdenství.

Tu neshodu ale nepřehánějme. Uprostřed je překryv větší, než se v téhle debatě obvykle připouští: proti mučení nevinných, pro nějakou formu reciprocity, proti svévolné krutosti — v tom panuje napříč kulturami pozoruhodná shoda. Kdyby to sdílené jádro neexistovalo, nedaly by se psát ústavy ani vést mezikulturní rozhovor. Jenže to jádro je tenké. Vyloučí krajnosti, ale nedourčí spornou střední zónu: neřekne vám, kam mezi užitečností a opatrností postavit páčku, ani čí hodnoty má model poslechnout, když se střetnou. A přesně tam alignment operuje.

„Slaď to s lidskými hodnotami“ tedy nepředpokládá cíl, který by vůbec neexistoval — předpokládá cíl dost ostrý, aby určil odpověď, a takový sdílené jádro neposkytuje. Každý alignmentový proces proto potichu vybírá: některé hodnoty před jinými, hodnoty některých lidí před hodnotami jiných. Ten výběr je reálný a děje se vždy. Dnes je jen většinou neviditelný — schovaný v tom, že se o něm mluví jako o technickém kroku, ne jako o volbě.

03Alignment je plný kompromisů

Když sestoupíme od abstrakce ke konkrétnu, ukáže se, že do každého sladěného modelu jsou zabudované kompromisy. Tři z nich potkáte vždycky.

Užitečnost proti neškodnosti. Maximálně opatrný model, který radši odmítne, je k ničemu. Maximálně ochotný model, který odpoví na cokoli, je nebezpečný. Skutečný model je někde mezi — a to „někde“ někdo zvolil. Upřímnost proti tomu neurazit. Pravdivá odpověď může být nepříjemná; ohleduplná odpověď může zamlčet. Poslušnost vůči uživateli proti poslušnosti vůči provozovateli proti širší normě. Koho má model poslechnout, když si tihle tři přejí odlišné věci?

Tohle nejsou chyby, které se dají „opravit“. Jsou to skutečné konflikty hodnot, kde musíte vybrat bod na škále — neexistuje řešení, které by uspokojilo obě strany naráz. Kdokoli model ladí, ten bod volí; a pokud ho vědomě nezvolí, zvolí ho za něj defaulty trénovacích dat a několik rychlých rozhodnutí někoho u klávesnice.

04Morální nejistota

Odložme teď otázku čí hodnoty a podívejme se na hlubší problém. U mnoha morálních otázek lidstvo prostě nezná správnou odpověď. Vážní, přemýšliví lidé se po staletích debat stále neshodnou — a není to tím, že by byli hloupí nebo líní. Některé otázky jsou skutečně otevřené.

Alignment proto není „nahraj správné hodnoty“. Je to jednání za podmínek morální nejistoty. Odpovědný sladěný systém — a odpovědný tým za ním — by měl někdy zakódovat „tohle je skutečně sporné“ místo toho, aby potichu vybral jednu stranu a předložil ji jako vyřešenou věc. Označit tu nejistotu je samo o sobě hodnotová volba — a dobrá. Je upřímnější předat čtenáři spor i s jeho otevřeností než ho zamaskovat sebejistou odpovědí.

Háček je o krok dřív. Rozhodnout, co je „skutečně sporné“ a co naopak vyřešené, je samo hodnotová volba — a sporná. Pro jednoho je rovnost pohlaví otevřená otázka, pro druhého dávno uzavřená; hranice mezi „tady označ nejistotu“ a „tady odpověz rovnou“ se mezi lidmi neshoduje. Doporučení „označuj morální nejistotu“ tedy hodnotovou volbu nepřeskakuje, jen ji posouvá o patro výš — a ten meta-výběr může být těžší než spor, který má řešit. Regres je teoreticky donekonečna — kdo rozhoduje, kdo rozhoduje, kdo rozhoduje — a v praxi se někde musí zakotvit. Pointa není ten regres zlikvidovat, to nejde. Pointa je zakotvit ho vědomě a nahlas: říct, na které úrovni jsme se rozhodli zastavit, kdo to rozhodl a proč zrovna tam.

05Čí hodnoty? Otázka, které se nevyhnete

Položme tu otázku ostře. Čí hodnoty má model zakódovat? Možností je v zásadě pět a žádná z nich není neutrální.

• Hodnoty tvůrce modelu. Hrstka laboratoří nastavuje výchozí chování pro stovky milionů uživatelů. To je obrovská koncentrace vlivu na málo míst.
• Hodnoty nasazující firmy. Firma model doladí pro svůj kontext — ale tím vnucuje své hodnoty svým uživatelům.
• Hodnoty samotného uživatele. Zní svobodomyslně, dokud si uživatel nepřeje něco, co poškodí jeho samotného nebo okolí — a kde leží hranice „škody“, je samo hodnotová otázka, ne datový bod. Co je pro jednoho informovaná dospělá volba, je pro druhého risk, který má systém odmítnout. Decentralizovat na uživatele tedy hodnotovou volbu neeliminuje, jen ji rozkládá na miliony jednotlivých sporů a celé rozhodnutí „co se počítá jako škoda“ nechává tomu, kdo nakreslil hraniční pravidla.
• Nějaké „univerzální“ nebo konsenzuální hodnoty. Zní to jako únik z předchozích tří — místo rozhodování, čí hodnoty zvolit, sáhneme po těch, na kterých se shodneme. Jak ale ukázala sekce 02, sdílené jádro je tenké a spornou střední zónu nedourčí. „Univerzální hodnoty“ jako jediný zdroj proto v praxi znamenají dosadit za „univerzální“ to, co považuje za samozřejmé ten, kdo zrovna definuje.
• Vrstvený model — v praxi nejčastější. Tvůrce nastaví hranice, ve kterých může provozovatel přizpůsobovat, a uvnitř toho ještě uživatel ladí, co si může vyžádat. Vypadá to jako kompromis, který obchází volbu mezi prvními čtyřmi. Ve skutečnosti volbu jen rozpustí — kdo nakreslí které hranice komu, je úplně stejně sporná otázka jako „čí hodnoty“, jen rozprostřená přes víc rozhodnutí a víc aktérů. Výhoda je, že rozdělení zodpovědnosti se aspoň dá explicitně popsat. Nevýhoda je, že pokud se explicitně nepopíše, vznikne nejhůř dohledatelný stav ze všech: každá vrstva si myslí, že hodnotu nastavila ta druhá.

Každá možnost má jiný problém s legitimitou. Pointa není, že existuje čistá odpověď — neexistuje. Pointa je, že „my jsme prostě použili lidské hodnoty“ je ne-odpověď, která schovává reálnou a důsledkovou volbu.

06Alignment je institucionální problém

Tady je obrat, ke kterému celý článek směřuje. Protože alignment je výběr hodnot za podmínek nejistoty, není to problém, který vyřešíte jen lepší technikou. Lepší technika je nutná — bez interpretability, testů konzistence a nástrojů, které ukážou, co model skutečně dělá, je každá institucionální odpovědnost jen jméno na papíře. Není ale dostatečná: nadřazená otázka je institucionální — kdo rozhoduje, jakým procesem, s jakou mírou transparentnosti a komu se za to zodpovídá.

Reálné riziko není ani tak jedna konkrétní špatně zvolená hodnota. Reálné riziko je, že hodnoty modelu nastavuje proces, který se nikomu nezodpovídá — neviditelně, bez záznamu, bez možnosti se zpětně zeptat „kdo to rozhodl a proč“. Špatnou hodnotu lze opravit, když víte, že tam je a kdo ji tam dal. Nezodpovědný proces opravit nelze, protože nevíte, kde začít. Je to stejná logika, jakou rozebírá článek o agency a odpovědnosti u AI agentů: čím víc systém jedná, tím víc záleží na tom, kdo za to jednání ručí.

Obráceně to ale neplatí. Odpovědný proces sám o sobě neříká, jaké hodnoty model má mít — jen zaručuje, že o nich existuje rozhovor s jmenovaným druhým koncem. Procedurální legitimita nenahrazuje substantivní volbu, jen ji dělá zpětně přístupnou. To je hodně a stojí to za boj — ale je poctivější si nelhat, že tím spor mizí.

Stojí za to si ještě přiznat jednu věc. Institucionální rámec sám není hodnotově neutrální — kdo má hlas v review boardu, co se počítá jako legitimní námitka, jaký poměr má hlas inženýra a hlas dotčeného uživatele, to všechno jsou hodnotové volby zabudované do procedury. Posun od techniky k institucím proto problém hodnot neřeší, jen ho přesouvá z modelu do procesu, kde je aspoň viditelný a sporný nahlas. To je pokrok, ne řešení.

Není to vzdálená abstrakce. Modely, které čtenář používá každý den, jsou přesně ten artefakt: jejich hodnoty někdo vybral nějakým procesem a s nějakou mírou odpovědnosti — často takovou, kterou by ani systém sám nedokázal zpětně zrekonstruovat. Model umí být v rozhovoru nahlas o tom, kde si není jistý, a to za něco stojí. Nenahradí to ale institucionální stránku: jestli je proces zpětně dohledatelný a má jmenovaného vlastníka, se zevnitř rozhovoru rozhodnout nedá. To je práce, kterou musí odvést instituce kolem modelu, ne model sám.

07Co s tím prakticky

Pro tým, který AI staví nebo nasazuje, z toho plyne šest konkrétních věcí.

Berte hodnotové volby jako explicitní rozhodnutí

Pojmenujte je a zapište, stejně jako byste zapsali architektonické rozhodnutí: „tady jsme zvolili užitečnost před opatrností, protože…“. Volba, která je sepsaná, se dá recenzovat a revidovat.

Označujte skutečnou morální nejistotu

Nepřevádějte sporný názor na fakt. Když je otázka opravdu otevřená, ať to model i produkt dají najevo místo toho, aby vybraly stranu a tvářily se sebejistě. A přiznejte, že hranici mezi „otevřenou“ a „vyřešenou“ otázkou někdo nakreslil — pojmenujte kdo a podle čeho.

Vyjasněte, čí hodnoty nasazení kóduje

Tvůrce, firmy, nebo uživatele — a nepředstírejte, že je to „neutrální“. Neutrální nastavení neexistuje; existuje jen nastavení, jehož původ jste nepřiznali.

Dejte hodnotové konfiguraci jmenovaného vlastníka — a dejte mu pravomoc

Ne jen bezpečnostní konfiguraci. Někdo konkrétní má být odpovědný za to, podle jakých hodnot systém jedná — ne anonymní součet RLHF rozhodnutí. Pozor ale na ceremoniální variantu: vlastník bez reálné páky nad trénovacími daty, RLHF kritérii a system prompty drží odpovědnost, kterou nemůže naplnit. Aby role nebyla jen jméno na papíře, musí mít přístup k tomu, co hodnoty modelu fakticky tvaruje, a pravomoc to změnit. Jinak je to compliance, ne governance.

Revidujte to

Hodnoty zakódované jednou se časem rozejdou s lidmi, kterým mají sloužit. Co bylo přiměřené při spuštění, nemusí být přiměřené za rok.

Řekněte to uživatelům

Hodnotové volby ve systému, který někdo používá, by neměly být znát jen interně. Stručná veřejná dokumentace — co je default, kde jsme zvolili opatrnost před užitečností, co je sporné a proč jsme se rozhodli takhle — dělá z neviditelné volby viditelnou pro toho, koho se týká. Není to marketing a není to právní disclaimer. Je to obdoba složení na obalu: uživatel má právo vědět, podle čeho systém před ním jedná, ne jen to, že „byl sladěn“.

08Závěr

Alignment není jen ten bezpečnostní pás. Bezpečnostní rámec je důležitý, ale propašuje kolem nás tu těžší otázku: schopný, „bezpečný“ model pořád jedná podle hodnot, ty hodnoty jsou sporné, vybírají se za podmínek nejistoty a dnes se vybírají většinou neviditelně. Brát alignment jako čistě technickou bezpečnost je samo o sobě hodnotové rozhodnutí — rozhodnutí nerozhodovat nahlas.

Zralý krok je opačný: udělat hodnotové volby viditelnými, dát jim vlastníka a nechat je revidovatelné. Ne proto, že by tím spor zmizel — ten nezmizí — ale proto, že volba, kterou někdo přiznal, je volba, za kterou se dá ručit.

Alignment není načíst správné hodnoty. Je to vybrat — pod nejistotou, za někoho — a pak za tu volbu ručit.