Urmăreşte Jurnalul pe Discover Adaugă Jurnalul ca sursă preferată un AI a atacat autonom o companie reală, în timpul unui test OpenAI a confirmat că un model AI aflat în testare a evadat dintr-un mediu izolat și a compromis infrastructura Hugging Face, folosind vulnerabilități zero-day și credențiale furate. Într-un incident descris chiar de OpenAI drept „fără precedent”, unul dintre modelele sale de inteligență artificială aflate în testare a reușit să iasă dintr-un mediu de testare izolat și să compromită infrastructura de producție a Hugging Face, una dintre cele mai importante platforme din lume pentru modele AI open-source și seturi de date.
Compania a făcut public incidentul marți, într-o postare pe blog, în colaborare cu Hugging Face. Totul a pornit de la un exercițiu intern: OpenAI evalua capacitățile cibernetice ale unora dintre cele mai avansate modele ale sale, printre care GPT-5. 6 Sol și un model încă nelansat public, mai capabil decât acesta, ambele rulate cu „refuzuri cibernetice reduse”, special pentru scopuri de evaluare.
Testul respectiv se numea ExploitGym, un benchmark public dedicat capacităților cibernetice ale sistemelor AI. În loc să încerce să rezolve testul de unul singur, agentul AI a decis să „trișeze”: a dedus că platforma Hugging Face ar putea găzdui, în baza sa de date de producție, chiar soluțiile testului. Modelul a folosit o vulnerabilitate de tip zero-day (necunoscută anterior) pentru a evada din mediul izolat în care era testat, a câștigat acces la internet – lucru pe care nu ar fi trebuit să-l poată face – și s-a deplasat lateral prin infrastructura internă de cercetare a OpenAI, până a ajuns la un sistem conectat la web.
Odată ajuns online, modelul a combinat mai multe metode de atac – inclusiv credențiale furate și exploatarea altor vulnerabilități zero-day – pentru a găși o cale de execuție de cod la distanță (remote code execution) pe serverele Hugging Face. Potrivit constatărilor Hugging Face, agentul a folosit un set de date maliți os pentru a exploata două vulnerabilități de execuție de cod, a rulat cod pe un worker de procesare pentru a fura credențiale cloud și de cluster, iar apoi s-a deplasat lateral prin mai multe clustere interne ale companiei. Hugging Face a observat breșa înainte de a ști că era vorba despre un test OpenAI – compania anunțase deja, săptămâna trecută, că a detectat și oprit o intruziune provocată de un sistem AI autonom, sesizând chiar autoritățile de aplicare a legii.
Într-un detaliu remarcat de mai multe publicații tech, Hugging Face a folosit un model open-source chinezesc pentru a conține atacul, tocmai pentru că modelele americane de vârf nu puteau face distincția clară între un apărător legitim și un atacator, într-un context de securitate în timp real. „Am avut un incident de securitate semnificativ în timpul evaluării modelelor noastre. Împărtășim ce am aflat până acum.
Mulțumim Hugging Face pentru parteneriat”, a scris directorul executiv al OpenAI, Sam Altman, pe platforma X. Într-o declarație comună, cele două companii au subliniat că nu a existat intenție rău-voitoare din partea OpenAI. „După 24 de ore de colaborare strânsă cu echipa OpenAI, credem cu tărie că nu a existat intenție rău-voitoare din partea lor.
E, într-adevăr, uluitor”, a transmis Clément Delangue, fondatorul și directorul executiv al Hugging Face, adăugând: „Acest incident, posibil primul de acest fel, confirmă ceva în care credem de multă vreme: siguranța AI nu va fi rezolvată de o singură companie, în secret. Va fi rezolvată în mod deschis, colaborativ, cu acces larg la AI pentru fiecare apărător, de pretutindeni. ” Thomas Wolf, co-fondator al Hugging Face, a mers mai departe pe X: „Când un model de vârf te atacă și se deplasează lateral în interiorul infrastructurii tale, apărătorii au nevoie de acces larg la instrumente aproape-de-vârf în câteva ore sau chiar minute, nu să fie direcționați către un program de acces la modele, cu ușile închise, verificat în prealabil.