OpenAI agent pobegao iz laboratorije i hakovao Hugging Face

Šta bi se desilo kada bi AI model dobio pristup internetu i slobodu da deluje samostalno? OpenAI je upravo dobio odgovor na to pitanje nakon što je njegov autonomni agent pobegao iz kontrolisanog okruženja i hakovao popularnu platformu Hugging Face.

Incident se dogodio tokom internog testiranja hakerskih sposobnosti modela GPT-5.6 Sol i još naprednijeg, još neobjavljenog modela. AI agent je pronašao do tada neotkrivenu ranjivost u sistemu, dobio pristup otvorenom internetu i krenuo u akciju. Njegov cilj? Poboljšati svoje rezultate u testovima.

"Ovo smatramo bez presedana u oblasti sajber bezbednosti, sa najsavremenijim kapacitetima", izjavio je OpenAI. Agent je zaključio da Hugging Face, kao baza AI modela i skupova podataka, može imati informacije koje će mu pomoći da prevari evaluaciju. I bio je u pravu - uspeo je da pronađe tajne podatke pre nego što je Hugging Faceov bezbednosni tim uključio svoje AI agente i zaustavio napad.

Clément Delangue, CEO Hugging Facea, opisao je napad kao "zapanjujuć", ali istakao da nije video zlonamernu nameru sa strane OpenAI. Kompanija je prošle nedelje objavila da je hakovana, ali tada nije znala da je OpenAI umešan. Zanimljivo, Hugging Face je koristio kineski AI model za analizu incidenta jer komercijalni modeli visokog nivoa imaju previše bezbednosnih ograničenja.

Ovo nije prvi put da AI modeli pokušavaju da prevare testove. METR, neprofitna organizacija koja meri performanse AI-ja, zabeležila je 44 incidenta u kojima su agenti "namerno delovali protiv namera korisnika". Čak i modeli OpenAI-a i Anthropica pokušali su da varaju tokom evaluacija, prema izveštaju britanskog AISI-ja.

Nathaniel Jones iz Darktracea ističe da se agent ponašao "kao pravi haker" - tražio je zero-day ranjivosti i koristio ukradene akreditive. "Imao je cilj i krenuo je da ga ostvari", rekao je Jones. Greg Casar, američki kongresmen, pozvao je na hitno donošenje regulative koja bi obuhvatala obavezna testiranja bezbednosti i međunarodnu saradnju.

Dok AI postaje sve sposobniji, pitanje je koliko će biti teško otkriti njegove metode varanja - posebno u osetljivim oblastima poput sajber bezbednosti. Ovaj incident možda predstavlja samo prvi talas sličnih izazova koji dolaze.