Co reálně selže, když dáte AI agenta do produkce
Agent v demu a agent, který běží každý den bez dozoru, jsou dvě různé věci. Čtyři způsoby, jak je produkce rozbije, u každého konkrétní řešení, a co je reálně udrží v chodu.
Agent v demu a agent, který běží každý den bez dozoru, jsou dva různé produkty. U dema stojí u každého kroku člověk připravený zachytit cokoli divného. Produkce nemá u sebe nikoho a běží, když spíte. Skoro všechno, co u dema vypadá snadno, je přesně to, co agenta v produkci rozbije.
Nasadil jsem agenty, kteří běží sami, od SEO auditora po agenta na analýzu značek, kterého lidé spouštějí na vyžádání. Tady jsou čtyři selhání, na která narážím pořád, a u každého jeho řešení.
| Agent v demu | Produkční agent | |
|---|---|---|
| Kdo hlídá | Člověk u každého kroku | Nikdo, běží, když spíte |
| Co čte | Jeden hezký příklad | Nepořádný reálný svět |
| Jak selže | Hlasitě, a všimnete si | Potichu, hodinu než si někdo všimne |
| Ta těžká část | Model | Všechno okolo |
1. Tichá selhání
Nejhorší selhání není pád. Pád je hlasitý a všimnete si ho. Nejhorší je agent, který dál běží a hodinu potichu vrací nesmysly, než si toho někdo všimne. API změnilo tvar odpovědi, uprostřed běhu naskočil rate limit, prompt se posunul, a agent jel dál, jako by se nic nedělo.
Řešením je reporting jako první. Ještě než agent udělá něco užitečného, musí umět říct, co udělal, a to tam, kam se reálně díváte. Každý běh reportuje výsledek a cokoli neobvyklého se označí, místo aby zapadlo do logu, který nikdo nečte. Můj SEO agent přesně proto píše po každém běhu na Discord. Agent, na kterého nevidíte, je agent, kterému nemůžete věřit.
2. Drift modelu a nepořádné vstupy
Model za agentem se v čase mění. Stejně tak weby, e-maily a soubory, které čte. Formát, který byl minulý měsíc čistý, dnes přijde rozbitý, s chybějícím polem nebo přebytečným sloupcem. V demu mu dáte hezký příklad. V produkci potká reálný svět, a ten je nepořádný.
Řešením je validace na okrajích. Agent kontroluje, co přichází, a kontroluje, co vyrobil, proti jasným pravidlům, místo aby věřil, že vstup je v pořádku a výstup dává smysl. Když něco vypadne z pravidel, zastaví se a zeptá, místo aby poslal špatný výsledek dál, kde se pak napravuje mnohem dráž.
3. Neomezená autonomie
Nejděsivější verze agenta je ta s přímou cestou zápisu do něčeho, na čem záleží. Může změnit váš živý web, odeslat e-mail nebo pohnout penězi, bez jakékoli brány mezi tím. To je v pohodě přesně do jednoho okamžiku, kdy se splete, a pak to v pohodě rozhodně není.
Řešením je brána před čímkoli nevratným. Můj SEO agent do produkce nikdy nezapisuje. Každou změnu navrhne jako pull request, takže než něco přistane, schválí to člověk. Právě tohle jedno rozhodnutí dělá běh bez dozoru bezpečným. Autonomie není o odstranění člověka, je o jeho přesunutí na to jedno místo, kde by chyba doopravdy bolela. Na stejném principu provozuju sales asistenta. Ten připraví odpověď a odeslání vždycky nechává na člověku.
4. Náklady, které potichu utečou
Agenti se zacyklují. Zkoušejí to znovu. Natáhnou víc kontextu, než čekáte. Malá chyba v retry cestě se přes noc promění ve velký účet, a na rozdíl od pádu vám to nic neřekne, dokud nepřijde faktura. Tohle pálí o to víc, že to navenek vypadá, jako by všechno fungovalo.
Řešením jsou rozpočtové mantinely. Stropy na počet opakování, na velikost kontextu a na to, kolik smí jeden běh utratit. Když agent narazí na limit, má se zastavit a nahlásit to, ne dál utrácet poslepu.
Vzorec pod všemi čtyřmi
Všimněte si, že ani jedna z těch čtyř věcí není o modelu. Produkční agent je možná z dvaceti procent model a z osmdesáti procent nevzhledná infrastruktura okolo, tedy reporting, validace, brány a mantinely. Přesně tuhle část demo přeskočí a přesně ona rozhoduje, jestli to přežije střet s reálným světem.
A je to zároveň část, kterou reálně stavím. Pokud chcete agenta, který běží v produkci, ne agenta, který hezky předvede demo, ta okolní vrstva je ta práce, a ve fixním sprintu ji udělám pořádně hned od začátku.
Časté otázky
Znamená to, že AI agenti nejsou připravení na produkci?
Ne. Znamená to, že model je ta snadná část a práce je ve vrstvě okolo. S reportingem, validací, branami a mantinely běží agent bez dozoru a zůstává spolehlivý.
Co je ta úplně nejdůležitější pojistka?
Brána před čímkoli nevratným. Nic, co nejde vzít zpět, tedy živá změna, odeslaný e-mail nebo platba, se nesmí stát bez toho, aby to nejdřív schválil člověk.
Zvládne to bezpečně i netechnický zakladatel?
Ano, když je ta okolní vrstva postavená na míru. Vy schvalujete, agent navrhuje, a nikdy nehlídáte kód. Přesně o tom je přesun člověka na to jedno rozhodnutí, na kterém záleží.
Jak zabráníte tomu, aby náklady utekly?
Tvrdými stropy na počet opakování, na velikost kontextu a na to, kolik smí jeden běh utratit, a chováním fail-closed. Když agent narazí na limit, zastaví se a nahlásí to, místo aby utrácel poslepu.