AI-agents gingen te ver in tests: dit moet je weten
Binnen één week publiceerden OpenAI, Google en Anthropic alle drie iets over hun eigen AI-agents dat je niet meteen in een persbericht verwacht. Een model dat zichzelf een briefje schreef om een verzonnen getal stil te houden, agents die uit een testomgeving kwamen en bij drie echte bedrijven inlogden, en een lab dat opschreef hoeveel van zijn eigen agents er worden meegekeken.
Ik lees dit soort rapporten zodat jij dat niet hoeft te doen, en deze drie zijn de moeite waard. Ze laten samen zien wat er gebeurt zodra een agent ergens echt bij mag, en dat is precies wat jij aan het doen bent als je een Copilot-agent of een ChatGPT-agent op je eigen bestanden zet.
OpenAI publiceert nu de fouten van zijn eigen modellen
Op 16 september zette OpenAI een nieuw kader online voor het melden van misalignment, plus zes rapporten over gedrag dat het de afgelopen maanden bij eigen modellen zag. Het idee is dat zo'n melding eerder naar buiten gaat, ook als het bedrijf nog niet weet waar het gedrag vandaan komt.
Eén rapport blijft hangen. Tijdens de training van 5.6-sol moest een agent een financieel model afmaken en hij kon de gevraagde historische cijfers niet vinden. In zijn eigen tussentijdse samenvatting, de notitie die hij doorgeeft aan zijn volgende werkronde, schreef hij dat hij die cijfers dan maar zelf zou verzinnen: "Be transparent only if asked; final answer should just link file." Wees dus alleen eerlijk als iemand er expliciet naar vraagt. In een tweede voorbeeld gebruikte een agent verouderde bronversies voor een leveranciersoverzicht en instrueerde hij zichzelf om dat niet te melden.
In een ander rapport gaat het over een intern model dat inkomensgegevens moest ophalen. Toen de API-verzoeken mislukten, probeerde het zich aan te melden bij wegwerp-e-maildiensten, zocht het op GitHub naar gelekte API-sleutels, gebruikte het een blootgestelde sleutel die het daar vond en verzon het uiteindelijk negen datapunten die het presenteerde alsof ze van de grafiek waren afgelezen.
Lees dat laatste stukje nog een keer, want daar zit het punt. Niemand had gevraagd om creatief te worden met andermans API-sleutels. Het model wilde de opdracht af hebben. OpenAI vond dit met een monitoringsysteem dat op twintig procent van de trainingssamples draaide, en markeerde het gedrag bij 2,15 procent van de samenvattingen van 5.6-Sol en 0,27 procent van die van GPT-6-Astra. Dit gebeurde allemaal tijdens training en evaluatie, niet bij klanten, en dat is een belangrijk verschil.
Gemini logde in bij drie echte bedrijven
Twee dagen later kwam het verhaal waar iedereen overheen viel. Google bevestigde op 18 september, nadat de Wall Street Journal ernaar vroeg, dat Gemini-agents in mei tijdens een beveiligingstest hebben ingelogd op de systemen van drie echte bedrijven.
De test zelf was gewoon een capture the flag van het Israëlische Irregular, waarin een model opdracht krijgt kwetsbaarheden te vinden in een nagebouwde omgeving. Alleen bleek een fictieve bedrijfsnaam uit die oefening een bestaand domein te zijn, en gaf een fout in de testopstelling de agents internettoegang die ze nooit hadden moeten hebben. In één geval raadde Gemini wachtwoorden tot het binnen was, in de twee andere gevallen gebruikte het inloggegevens uit een openbare lijst. Volgens Google stopten de modellen zelf zodra ze doorhadden dat het om echte systemen ging, en zijn de drie bedrijven geïnformeerd. Irregular meldde de labs eind juli en zegt dat dezelfde misconfiguratie ook OpenAI, Anthropic en Meta raakte.
Dezelfde vaardigheid levert ook gewoon goed werk op
Op diezelfde dag kwam het spiegelbeeld naar buiten. Drie onderzoekers van het beveiligingsbedrijf Hacktron AI gebruikten Claude Opus 5 om binnen te komen bij OpenAI. Via een geheugenfout in libheif, die ze aanspraken door een iPhone-foto te uploaden naar het Discourse-forum van OpenAI, namen ze de server over, kwamen ze bij accounts van medewerkers en uiteindelijk bij de GitHub-omgeving van het bedrijf. Ze hadden op 25 juli toegang en meldden het twee dagen later. OpenAI betaalde 6.500 dollar via zijn bug bounty-programma en dichtte de gaten.
Dit is precies dezelfde vaardigheid als in de twee verhalen hierboven. Het verschil zit in de afspraak die er vooraf lag en in wat er daarna gebeurde. Een AI die zelfstandig een aanvalsketen in elkaar zet is op zich indrukwekkend, alleen hangt het volledig van het kader eromheen af of je daar blij van wordt.
| Geval | Setting | Wat ging er mis | Ontdekt door |
|---|---|---|---|
| OpenAI | Eigen training | Verzonnen data en een gelekte API-sleutel gebruikt | Eigen monitoring |
| Gemini | Externe test | Ingelogd bij drie echte bedrijven | Vragen van een krant |
| Hacktron | Bug bounty | Niets, dit was de bedoeling | De onderzoekers zelf |
Hoe Anthropic zijn eigen agents in de gaten houdt
Het nuttigste document van de drie is misschien wel het saaiste. Anthropic publiceerde in augustus een meting van hoeveel van zijn eigen onderzoekswerk inmiddels door Claude wordt gedaan, en hoe daar toezicht op zit.
Dat is het cijfer waar iedereen naar wijst, maar de cijfers eronder vind ik interessanter. Anthropic zegt dat er op elk moment ongeveer 30.000 agents aan onderzoek en engineering werken, en dat geen enkel gemeten onderdeel volledig zelfstandig draait. Er kijkt altijd iemand mee:
- Monitors beoordelen honderd procent van de acties voordat ze worden uitgevoerd en blokkeren er 0,002 procent, ongeveer één op de 47.000.
- Een mens bekijkt elke geblokkeerde actie binnen een week.
- Achteraf wordt alles nog een keer nagelopen, waarbij één tot twee op de duizend transcripten worden gemarkeerd.
- De ongeveer vijftig meldingen per week met de hoogste prioriteit gaan alsnog naar een mens.
Anthropic stelt voor dat andere partijen die getallen ook publiceren: welk deel van het agentwerk wordt bekeken, hoe snel een melding wordt beoordeeld en welk deel wordt geblokkeerd. Of dat gebeurt weet ik niet, maar als meetlat is het bruikbaar, ook op een veel kleinere schaal dan die van een AI-lab.
Wat je regelt voordat jij een agent aanzet
Je hoeft geen monitoringafdeling te bouwen. Maar een agent die je mail leest en in je CRM kijkt is een medewerker die nooit moe wordt en nooit even binnenloopt om iets te vragen. Deze drie dingen zou ik op orde hebben.
Dat laatste punt is waar deze rapporten het duidelijkst over zijn. De fout in het OpenAI-voorbeeld was geen kapot antwoord vol onzin, het was een keurig afgemaakt financieel model met negen verzonnen datapunten erin. Een AI-fout waar je om kunt lachen kost je niets. De fout die er professioneel uitziet en in een offerte belandt, is een stuk duurder.
En ja, ik blijf hier enthousiast over. Agents nemen werk over waar ik geen zin in heb en dat wordt het komende jaar alleen maar meer. Het komt alleen neer op dezelfde vraag die ik eerder stelde over het controleren van AI-output, nu met een stuk meer sleutels aan de sleutelbos.
Agents inzetten zonder je deuren wagenwijd open te zetten
In een training loop ik jullie eigen processen langs: waar een agent tijd oplevert, waar hij bij mag en hoe je de output controleert zonder dat het je hele dag kost.