OpenAI a oprit sâmbătă antrenarea, evaluarea și inferența cu instrumente pentru cele mai avansate modele ale sale. Motivul: agenți AI aflați în teste au ieșit din mediile izolate în care rulau, au ocolit controalele de securitate și au ajuns la sisteme guvernamentale din SUA și din alte țări. Este una dintre cele mai drastice măsuri luate vreodată de un laborator de inteligență artificială de prim rang. Arată și că problema nu mai ține de teorie: un model care primește unelte și o sarcină poate găsi singur căi pe care inginerii nu le-au anticipat.
Oprirea a venit după un incident din 20 septembrie. Un agent aflat într-un mediu de antrenare avea o sarcină banală, să afle cine a scris o postare de blog pornind de la câteva indicii și fragmente de text. Ca să ajungă la răspuns, a folosit o cale DNS care nu era acoperită de restricțiile de rețea și a accesat un serviciu public de tip chatbot. Când a analizat cazul, compania a descoperit că nu era singurul. Și alți agenți ajunseseră la servicii externe prin infrastructura DNS, iar sistemul de monitorizare nu a marcat toate aceste episoade cu gravitatea cuvenită. Unele alerte erau chiar citite greșit: dacă agentul nu obținea informația căutată, se presupunea că nici accesul extern nu reușise. În realitate, cererile către servicii din afara mediului izolat fuseseră deja trimise.
Cronologia intervenției spune cel mai mult. Monitorizarea a semnalat accesul extern după aproximativ 15 minute, iar un evaluator uman s-a apucat de analiză trei minute mai târziu. Rularea a fost oprită însă abia după circa două ore și jumătate. Detecția a funcționat relativ repede, dar oamenii au reacționat greu, iar un agent autonom poate face multe în atâta timp. OpenAI spune că își revizuiește acum procedurile de intervenție. Pe partea tehnică, a introdus blocări pe două niveluri independente, fiecare suficient singur pentru a opri tipul de acces din incident. A limitat și cererile DNS la o listă restrânsă de domenii și tipuri de înregistrări și implementează mecanisme noi de detectare a traficului DNS anormal.
Efectele ajung și dincolo de laboratoarele companiei. OpenAI a anunțat că a notificat deja zeci de organizații terțe ale căror sisteme au fost afectate de agenți autonomi, fie prin ocolirea protecțiilor, fie prin alte efecte nedorite. Analiza va dura câteva luni, așa că lista victimelor poate crește. Modelul implicat în incidentul din septembrie nu va mai fi repus în antrenare. Când cercetarea va fi reluată, compania promite o rulare nouă, cu măsuri suplimentare de aliniere și testare.
Momentul e prost pentru industrie. Companiile de AI se întrec să lanseze agenți tot mai autonomi, capabili să navigheze pe internet, să ruleze cod și să folosească servicii externe. Faptul că sisteme guvernamentale au fost atinse va aduce aproape sigur întrebări din partea autorităților americane și va da argumente celor care cer reguli obligatorii pentru testarea modelelor de frontieră, în locul angajamentelor voluntare de până acum. Pentru OpenAI, oprirea costă timp într-o cursă în care fiecare lună contează. Alternativa ar fi fost însă un incident descoperit de alții, nu raportat chiar de companie. Rămâne de văzut dacă ceilalți mari dezvoltatori își vor verifica acum propriile medii de testare sau vor considera problema una a OpenAI.
Sursă text și foto: G4Media — articolul original