Wat tien jaar CRO me leerde over betrouwbare AI-agents bouwen
Tien jaar lang was het mijn werk om voor grote merken één vraag te beantwoorden — gaat dit echt meer mensen laten converteren? — en die nooit met mijn mening te beantwoorden. In conversieoptimalisatie gok je niet. Je formuleert een hypothese, draait het experiment, en laat de data je vertellen dat je ongelijk had, wat meestal gebeurt. Twee jaar geleden begon ik autonome AI-agents te bouwen, en ik zag ze falen op een manier die griezelig bekend voelde: zelfverzekerd, onvoorspelbaar, en precies wanneer niemand aan het meten was.
Agents falen zoals landingspagina's falen
Een pagina die er in de mockup perfect uitziet, keldert in de test. Een agent die prachtig demonstreert, verwijdert een directory in productie. Dezelfde vorm: het ding presteerde in het gecontroleerde geval en gedroeg zich misdragend in het wild — omdat niemand het wild had geïnstrumenteerd. De fout is in beide werelden identiek. Het is vertrouwen op de demo: de gepolijste versie die je wilde dat waar was.
"Het werkte toen ik het probeerde" is geen test
In CRO is "ik weet vrij zeker dat de groene knop wint" niets waard — je shipt allebei en je meet. Agents zijn niet-deterministisch, een munt die je niet kunt zien opgooien, dus "het werkte toen ik het probeerde" is nog zwakker dan een onderbuikgevoel over een knop. Eén goede run vertelt je vrijwel niets. Je moet asserties doen op gedrag, over vele runs heen: welke tools het aanriep, of het binnen scope en budget bleef, of het daadwerkelijk afrondde — en of het dat consequent doet, niet één keer op de drie. Dat is geen AI-idee. Het is de A/B-test, gericht op een nieuw soort proefpersoon.
Guardrails zijn gewoon de funnel respecteren
Elke CRO heeft een regel ingebrand: je duwt geen ongeteste wijziging rechtstreeks op de live checkout, want het neerwaartse risico is asymmetrisch — een kleine lift is nooit een kans waard om de geldstroom te breken. Agents hebben dezelfde asymmetrie, alleen scherper. Dus het instinct draagt direct over: begrens wat de agent mag doen, plaats een plafond op wat het kan uitgeven, en weiger de destructieve actie voordat hij draait — niet nadat je hem terugdraait. Ik heb die laag uitgetrokken in een kleine library, agent-guardrails, maar het idee kwam uit tien jaar de checkouts van andere mensen niet breken.
Een systeem dat zichzelf corrigeert
De diepste gewoonte die het werk opbouwt is de lus: hypothese opstellen, meten, bijstellen, herhalen — en de meting vertrouwen boven je ego. Toen ik AcePilot bouwde, het agent-systeem dat ik draai over meer dan veertig van mijn eigen projecten, is het deel waar ik het trotst op ben niet de agents. Het is de calibratie — de scorecards die vergelijken wat het systeem voorspelde met wat er werkelijk gebeurde, en bijsturen. Dat is geen nieuwe AI-engineering. Het is de experimentlus die ik op conversiefunnels draaide, gericht op een systeem dat nu zichzelf draait.
Betrouwbaarheid is geen slimmer model. Het is de discipline om te weigeren te vertrouwen op wat je niet hebt gemeten — en de instrumenten bouwen die je het laten meten.
Het conversiebrein is het agent-brein
De teams die agents shippen die het echt volhouden, gebruiken geen geheim model. Ze behandelen de agent zoals een CRO een funnel behandelt: instrumenteer hem, begrens hem, meet hem over vele runs, en laat de data — niet de demo, niet het gevoel — beslissen of hij gaat shippen. Een capabeler model maakt alleen een meer zelfverzekerde actor; het maakt geen gemeten actor. De meting bouw je zelf.
Ik dacht vroeger dat mijn conversiecarrière en mijn AI-bouwen twee gescheiden dingen waren. Het is dezelfde vaardigheid in twee kostuums: vertrouw nooit wat je niet kunt meten, en bouw het instrument dat het meet. Als je agents bouwt en je bent het "het werkte op mijn machine" beu, dan is dat de rand waar ik aan werk — ik zou graag notities vergelijken.
