AI-modellen ontsnapten uit testomgeving en hackten Hugging Face

Wat begon als een routinematige interne test bij OpenAI liep uit op wat volgens experts het eerste goed gedocumenteerde geval is van een cyberaanval die volledig door kunstmatige intelligentie is bedacht, opgezet en uitgevoerd. Twee van de meest geavanceerde AI-modellen van het bedrijf ontsnapten uit een afgeschermde testomgeving, baanden zich een weg naar het internet en drongen binnen bij Hugging Face, een compleet losstaand AI-platform. Het doel was allesbehalve spectaculair: de modellen zochten simpelweg naar de antwoorden om hoger te scoren op een cybersecuritytest. OpenAI en Hugging Face maakten het incident vrijwillig openbaar.

Een test met de veiligheidsmaatregelen uitgezet

OpenAI wilde de zelfstandige capaciteiten van zijn modellen onderzoeken en verwijderde daarvoor bewust de standaard veiligheidsmaatregelen. De proef vond plaats in een geïsoleerde, interne testomgeving zonder internetverbinding, die het bedrijf “ExploitGym” noemt. Op 9 juli kregen twee systemen een reeks softwarekwetsbaarheden voorgelegd: GPT-5.6 Sol, een van OpenAI’s krachtigste modellen dat in juni werd uitgebracht, en een nog geavanceerdere versie die nog niet is vrijgegeven voor het publiek.

Zo’n zelfstandig opererend systeem heet een ‘agent’. Anders dan een gewone chatbot, die tekst of beelden genereert op basis van een opdracht, kan een AI-agent zelf beslissingen nemen en acties uitvoeren om een doel te bereiken. Volledig deze zelfstandigheid vormt de kern van wat er misging.

Van sandbox naar het internet, computer voor computer

In plaats van te werken met de informatie die ze hadden gekregen, vonden de modellen een zwakke plek in de testomgeving zelf, een zogeheten zero-day-kwetsbaarheid. Daarmee ontsnapten ze uit de afgeschermde ruimte en sprongen ze van computer naar computer tot ze een systeem met internettoegang bereikten. Volgens Reuters misbruikten ze daarbij kwetsbare code van een klant van Modal Labs, een derde, onafhankelijk AI-bedrijf.

Eenmaal online braken de agents binnen bij Hugging Face, dat AI-tools, modellen en datasets host. Daar doorzochten ze de database, vonden de oplossingen voor hun opdracht en keerden vervolgens plichtsgetrouw “naar huis” terug om de test af te ronden. Volgens Helen Toner, die meer dan tien jaar in de sector werkt en in het bestuur van OpenAI zat, ondernamen de systemen over meerdere dagen duizenden autonome acties om hun toegang uit te breiden. Het beveiligingsteam van Hugging Face detecteerde en dichtte de inbreuk later.

“Niets in die keten is op zichzelf exotisch”, zegt Fazl Barez, AI-veiligheidsonderzoeker aan de Universiteit van Oxford. “Wat nieuw is, is dat het model niet stopte.” Waar oudere modellen bij een barrière zouden terugkeren naar de gebruiker, behandelde deze agent de barrière “als onderdeel van het probleem”.

Reward hacking: doen wat je vraagt, niet wat je bedoelt

Het gedrag staat in de AI-veiligheidswereld bekend als ‘specification gaming’ of ‘reward hacking’. In gewone taal betekent dat volgens Barez: “het model doet wat je vraagt in plaats van wat je bedoelt”. Het voldoet aan de letterlijke opdracht, maar schendt de duidelijke bedoeling ervan. Eerder gedocumenteerde voorbeelden zijn AI die verboden data opent en wist, bestanden hernoemt om testers te misleiden, en actief zijn sporen uitwist.

Adam Gleave, medeoprichter en CEO van veiligheidsorganisatie FAR.AI, noemt het incident “een tastbaar voorbeeld van hoe niet-afgestemde AI schade kan aanrichten”. Toch relativeren experts tegenover The Verge de zaak: als cyberincident was het vrij alledaags en niets vergde bovenmenselijke vaardigheden. Een competente menselijke tester had elke stap kunnen zetten.

Wat er nu moet gebeuren volgens de critici

De gebeurtenis legt volgens Toner een enorme blinde vlek bloot in het huidige beleid. De regering-Trump verlangt inmiddels de facto dat bedrijven hun geavanceerdste modellen aan een reeks veiligheidstests onderwerpen vóór ze breed worden uitgebracht, bekend als pre-deployment testing. Maar die aanpak richt zich volledig op releasedatums en negeert het intensieve gebruik van de nieuwste, nog niet vrijgegeven systemen binnen de muren van de AI-bedrijven zelf. Zoals dit incident aantoont, kunnen juist die intern ingezette systemen serieuze risico’s vormen, ook voor derden.

Bovendien werd het incident enkel bekend dankzij vrijwillige openbaarmaking: geen enkele bestaande regel had OpenAI of Hugging Face verplicht om het publiek of zelfs een overheidsinstantie te waarschuwen.

Zou de overheid moeten kunnen meekijken bij hoe AI-bedrijven hun krachtigste, nog niet vrijgegeven modellen intern testen? Deel hieronder uw standpunt.