AI architektura pro firmy: kdy stačí prompt, kdy RAG a kdy agent

Firma se rozhodne „dělat AI“. O šest týdnů později má vektorovou databázi, agentový framework a orchestrační vrstvu — a skutečný use case bylo odpovídat na pět variant jedné otázky z FAQ, kterou by dobře napsaný prompt trefil hned první den. Architektura se zvolila dřív, než kdokoli pochopil problém.

01Tři úrovně, ne tři módy

Prompt, RAG a agent se obvykle prezentují jako tři volby, ze kterých si firma vybírá tu „nejlepší“. Tak to ale není. Nejsou to tři konkurenční produkty — jsou to tři příčky jednoho žebříku, který stoupá ve složitosti. A s ní stoupá i cena a plocha, na které se věci můžou rozbít.

Každá příčka přidává schopnost. A každá příčka zároveň přidává něco, co se může pokazit: další závislost, další zdroj nedeterminismu, další věc, kterou někdo musí provozovat. Vyšší příčka tedy není „lepší“ — je jen mocnější a dražší.

Skutečná architektonická otázka proto nezní „která z těch tří je nejlepší“. Zní: jaká je nejnižší příčka, která řeší ten konkrétní problém? Zbytek tohoto textu je postup, jak na ni dojít.

Jedna poctivá výhrada, než půjdeme dál: ty tři příčky nejsou ostré schody. Mezi nimi je plynulý přechod. Prompt s jedním voláním nástroje — kalkulačka, vyhledávání, strukturovaný výstup — už není čistá úroveň 1, ale ještě není agent. Prompt chaining bez agency je další mezistupeň. A agentický RAG, kde si systém sám rozhoduje, co načíst, míchá úroveň 2 a 3 dohromady. Produkční systémy se mezi příčkami pohybují plynule a běžně je kombinují. Žebřík proto není popis hotového systému — je to nástroj na rozhodování. Otázka „nejnižší příčka, která funguje“ platí dál; jen její odpověď může být půlkrok, ne celý schod.

02Úroveň 1: prompt

Nejnižší příčka je dobře postavený prompt: instrukce, pár příkladů a znalost, kterou model získal už při tréninku. Žádná vaše data, žádná infrastruktura navíc — jen model a text zadání.

Prompt stačí tehdy, když úloha leží uvnitř toho, co model už umí, vstup je samonosný (všechno potřebné je přímo v zadání) a nepotřebujete žádná neveřejná ani čerstvá data. Klasifikace textu, přepis tónu, extrakce strukturovaných polí z e-mailu, odpověď na typovou otázku z FAQ — tohle všechno je úroveň 1.

Tahle úroveň je podceňovaná. Velká část toho, co se ve firmách prodává jako „AI projekt“, je přesně tohle a nic víc. A je to dobře: prompt je nejlevnější, nejspolehlivější a nejsnáz odladitelná varianta. Když se chová špatně, vidíte přesně proč — celý vstup máte před sebou. Začněte tady a dokažte, že to nestačí, dřív než polezete výš.

03Úroveň 2: RAG

RAG — retrieval-augmented generation — znamená: před odpovědí najít relevantní dokumenty a vložit je do promptu. Model pak neodpovídá jen z tréninkové znalosti, ale i z textu, který jste mu právě podstrčili.

RAG řeší přesně jeden problém: model potřebuje znalost, kterou nemá — vaše interní dokumenty, vaše data, čerstvá fakta. Pokud je to váš případ, RAG je správná příčka.

Co RAG neřeší: uvažování, pravdivost ani vícekrokové úlohy. Vkládá do kontextu jiný text — nedělá z modelu lepšího myslitele. Dvě nejčastější chyby. První: sáhnout po RAG tam, kde by stačil prompt — přidat vektorovou databázi k úloze, která žádnou externí znalost nepotřebuje. Druhá: čekat, že RAG vyřeší halucinace. Nevyřeší. RAG mění to, co je v kontextu; nenutí model cokoli ověřovat. Model si pořád může vymyslet odpověď, která s dodanými dokumenty nesouhlasí.

04Úroveň 3: agent

Agent není definován počtem kroků ani tím, že volá nástroje — jedno tool-call volání má i prompt na úrovni 1. Rozhodující je, kdo určuje další krok: u workflow ho určuje dopředu napsaný kód, u agenta sám model na základě průběžných výsledků. Agent běží ve smyčce, sám si volí akce a sám rozhoduje, kdy skončit.

Agent je potřeba tehdy, když úloha skutečně vyžaduje sekvenci rozhodnutí a akcí, kterou nelze udělat jedním zásahem — typicky když mezikrok závisí na výsledku předchozího a dopředu nevíte, kolik kroků bude.

Cena ale prudce stoupá. Agent je nedeterministický — stejný vstup nemusí dát stejný průběh — špatně se testuje a těžko se předvídá. A přidává otázku odpovědnosti: když agent sám koná, kdo nese důsledky jeho akcí? To není technický detail, ale věc, kterou je nutné vyřešit dřív, než agenta nasadíte — rozebírá ji článek Agency a odpovědnost u AI agentů.

Slovo „agent“ je navíc v marketingu nadužívané — označuje se jím cokoli od chatbota s pamětí po systém autonomně operující v produkci. Když ho někdo použije, vyplatí se zeptat: kdo rozhoduje o dalším kroku — kód, nebo model? Pokud kód, není to agent, je to workflow, a platí pro něj úroveň 1 nebo 2. Ze zkušenosti: většina vět „my potřebujeme agenta“ ve skutečnosti znamená „my potřebujeme RAG plus dva prompty za sebou“.

05Rozhodovací postup

Postup je krátký a jde jím projít u každého firemního use casu. Začněte na úrovni 1.

Vyřeší to prompt? Leží úloha uvnitř toho, co model umí, a je vstup samonosný? Pak nasaďte prompt a skončete. Nelezte výš.

Pokud ne — chybí modelu znalost? Je to, co chybí, fakticky znalost, kterou model nemá: vaše dokumenty, vaše data, čerstvé informace? Pak jste na úrovni 2 a potřebujete RAG.

Pokud ani to ne — vyžaduje úloha opravdu sekvenci rozhodnutí? Potřebuje skutečně víc rozhodnutí, akcí a nástrojů, kde každý krok závisí na předchozím? Teprve pak jste na úrovni 3 a potřebujete agenta.

Pravidlo je jediné: vždy vyberte nejnižší úroveň, která funguje, a výš stoupejte jen na základě důkazu, ne ambice. „Mohlo by se to hodit“ není důkaz.

To pravidlo má ovšem skrytý předpoklad: že víte, co nižší úroveň neumí. Často to nevíte — dokud něco neprototypujete výš. Striktní lezení zdola nahoru pak může znamenat, že týden ladíte prompt na problému, který by RAG vyřešil za odpoledne. Ten ústupek je proto silnější, než se zdá: u nového, špatně pochopeného problému je často nejrychlejší cesta k důkazu postavit záměrně „příliš složitou“ verzi jako jednorázový prototyp. Ne abyste ji nasadili, ale abyste konkrétně viděli, co nižší úroveň neumí — místo abyste to hádali. Lezení zdola zůstává default pro produkci; prototyp nahoře je legitimní zkratka k poznání. Co se ale nasazuje, je pořád nejnižší příčka, kterou prototyp označil za dostatečnou.

06Model je ortogonální rozhodnutí

Která úroveň je jedna osa. Který model — frontier nebo lokální, velký nebo malý — je osa úplně jiná. Ty dvě věci spolu nesouvisí tak, jak se často mlčky předpokládá.

Úroveň 1 můžete provozovat na lokálním modelu, úroveň 3 na frontier modelu — a naopak. Volba architektury (prompt / RAG / agent) a volba modelu (jaký a kde běží) jsou dvě nezávislá rozhodnutí. Slévat je dohromady — „chceme agenta, takže to musí být ten nejdražší model“ — je častý zdroj zbytečných nákladů.

Rozhodněte je odděleně. Nejdřív zvolte nejnižší úroveň, která řeší problém; teprve pak řešte, na jakém modelu poběží. Kritéria pro druhé rozhodnutí — soukromí dat, latence, cena, suverenita — rozebírá článek Lokální modely vs frontier modely.

07Fine-tuning: čtvrtá páka, ne vyšší příčka

Žebřík má ještě jednu osu, která na něm vůbec neleží: fine-tuning. Pro některé úlohy není řešením vylézt výš, ale dotrénovat model na vlastních datech. Konzistentní styl, doménová terminologie, stabilní formát výstupu, klasifikace do pevných kategorií — tam bývá dotrénování levnější a spolehlivější než stavět okolo modelu RAG nebo agenta. Schopnost vepíšete rovnou do modelu, místo abyste její absenci obcházeli architekturou.

Fine-tuning proto patří do rozvahy jako čtvrtá samostatná páka — vedle volby úrovně a volby modelu. Není to vyšší příčka žebříku; je to ortogonální rozhodnutí, stejně jako to, na jakém modelu věc poběží. A platí pro něj stejná disciplína: zvažte ho dřív, než začnete šplhat — někdy je dotrénovaná úroveň 1 přesně to, co byste jinak hledali na úrovni 2. Kdy se fine-tuning vyplatí, kdy je naopak iluze a proč to není „doučování“ modelu, rozebírá článek Fine-tuning není doučování.

08Co rozhoduje, ne hype

O tom, kterou úroveň zvolit, by neměl rozhodovat dojem z demka ani to, co je zrovna vzrušující. Rozhodovat by mělo pět střízlivých faktorů: cena špatné odpovědi, latenční rozpočet, soukromí dat, jak často se mění podkladová znalost a kdo tu věc bude provozovat.

Každou úroveň lze na tyhle faktory namapovat. Úroveň 1 je levná, rychlá a udržovatelná — chybí jí jen schopnost sáhnout pro znalost a jednat. Úroveň 2 přidává čerstvou znalost za cenu jedné další komponenty, kterou je nutné plnit a udržovat. Úroveň 3 je mocná, ale drahá na vlastnictví: nedeterminismus, těžké testování, někdo ji musí trvale provozovat a hlídat.

Řádově, ať to není jen „dražší“: RAG oproti čistému promptu typicky znamená 2–5× vyšší náklad na dotaz (embedding, retrieval, větší kontext) plus provoz vektorové databáze. Agent na srovnatelné úloze běžně spotřebuje 10–50× více tokenů než jednorázová odpověď, protože každý další krok znovu vidí celou předchozí stopu. Při sto tisících dotazech měsíčně je to rozdíl mezi nákladem v tisících a v desítkách tisíc korun — ne abstraktní násobek, ale položka v rozpočtu, kterou někdo schvaluje.

Stavte pro problém, který opravdu máte, ne pro ten, který si představujete. Pokud se cena špatné odpovědi blíží nule a znalost se nemění, je úroveň 3 plýtvání. Pokud naopak chybná akce stojí peníze nebo důvěru, žádná příčka navíc vás nezbaví nutnosti to pohlídat člověkem.

09Měření je druhá půlka

Volba úrovně je jen půlka problému. Druhá půlka je změřit, že zvolená úroveň skutečně funguje — a ta se v praxi podceňuje ještě víc. U promptu je vyhodnocení triviální: vstup vidíte celý, pár desítek případů projdete okem. U RAG už musíte měřit zvlášť, jestli retrieval vrací správné dokumenty, a zvlášť, jestli z nich model dobře odpovídá. U agenta je vyhodnocení samostatná disciplína — nedeterministické průběhy, vícekrokové stopy, sada scénářů, kterou je nutné udržovat.

A právě tady je kořen problému z praxe. Architektura úrovně 3, která řeší problém úrovně 1, přežívá hlavně proto, že k ní nikdo nepostavil vyhodnocení. Nikdo neumí změřit, že nefunguje — a tím pádem ani dokázat, že by nižší příčka stačila. Eval sada je nástroj, který „stoupej jen na základě důkazu“ mění z hesla na něco proveditelného: bez ní žádný důkaz neexistuje. Postavte způsob, jak úroveň měřit, dřív než samotnou úroveň — nebo aspoň souběžně s ní, ne až když se něco rozbije. Vyhodnocování má přitom svou vlastní past, na kterou tenhle text nemá prostor: eval sady často měří hlavně to, co se snadno měří, místo toho, na čem skutečně záleží. To je téma samo o sobě a zaslouží si vlastní článek.

10Závěr

AI architektura pro firmu není „který framework“. Je to disciplína vůči složitosti. Prompt, RAG a agent jsou žebřík — a správná příčka je ta nejnižší, která řeší skutečný problém.

Vylézt příliš brzy neznamená být napřed. Znamená to koupit si cenu, křehkost a problém s odpovědností, který jste nepotřebovali. Praktický závěr je jednoduchý: začněte nízko a stoupejte jen na základě důkazu — když nižší úroveň prokazatelně nestačí, ne když vyšší zní zajímavěji. A důkaz se nezjeví sám: vzniká měřením a někdy i prototypem, který schválně vylezl výš.

Nejlepší AI architektura je nejnižší úroveň, která váš problém skutečně řeší.