Dezbaterea a căpătat amploare după ce Jacob Coxon, cercetător la Anthropic, a comunicat la începutul lunii septembrie că părăsește compania, invocând teama că sistemele de inteligență artificială dezvoltate în acest moment ar putea scăpa de sub control. Postarea lui Coxon a ajuns la peste 100 de milioane de vizualizări într-o singură zi.
Ulterior, Evan Hubinger, care coordonează cercetarea privind alinierea sistemelor AI la valorile și obiectivele umane la Anthropic, a estimat că riscul extincției umane în următorul deceniu ar putea depăși 10%. Directorul general al Anthropic, Dario Amodei, a cerut ulterior ca ritmul dezvoltării sistemelor AI de vârf să fie încetinit, dar nu oprit. Ideea a fost susținută public și de directorii OpenAI și xAI, Sam Altman și Elon Musk.
Cum ar putea AI să devină o amenințare existențială Scenariile invocate de cercetătorii preocupați de riscul existențial pornesc, în general, de la două presupuneri: că sistemele viitoare ar putea depăși radical capacitățile cognitive umane și că obiectivele lor nu ar fi aliniate cu interesele oamenilor. Un exemplu clasic este cel în care o superinteligență primește un obiectiv aparent banal, dar începe să îl urmărească într-un mod care intră în conflict cu supraviețuirea oamenilor. Alte scenarii discutate în literatura de specialitate presupun folosirea unor sisteme foarte avansate pentru dezvoltarea de arme biologice sau pentru alte acțiuni capabile să producă efecte catastrofale.
Michael Vermeer, cercetător în politici științifice și tehnologice la RAND, spune că o parte dintre aceste predicții pornesc de la atât de multe presupuneri neverificabile încât discuția riscă să semene mai mult cu una bazată pe credință decât cu una empirică, potrivit unei analize a revistei Nature. Extincția totală nu este singurul și nici cel mai imediat risc O analiză RAND citată de Nature a examinat scenarii mai concrete, asociate armelor nucleare, biotehnologiei și modificării deliberate a atmosferei. Cercetătorii au concluzionat că extincția completă provocată de arme nucleare nu este fezabilă în scenariile analizate, în timp ce alte două tipuri de scenarii nu au putut fi excluse.
Un element important este însă timpul necesar pentru producerea unui asemenea dezastru. Un sistem AI ar avea nevoie de o capacitate semnificativă de a interacționa fizic cu lumea, iar acțiunile sale ar putea fi detectate și oprite de oameni înainte de a ajunge la un punct ireversibil. În schimb, cercetători specializați în siguranța AI avertizează că există riscuri mai apropiate și mai concrete: dezinformarea, atacurile cibernetice, facilitarea dezvoltării unor arme biologice, erorile în sisteme critice și utilizarea unor modele în situații în care lipsa lor de fiabilitate poate avea consecințe grave.
Modelele AI au început deja să aibă capacități îngrijorătoare Companiile de AI au publicat în ultimele săptămâni propriile evaluări privind riscurile. Anthropic a arătat că modelele sale pot executa unele sarcini din domeniul informațiilor militare și al dezvoltării de arme convenționale la un nivel care, în trecut, necesita experți umani specializați. Compania spune că aceste rezultate demonstrează necesitatea unor sisteme de protecție suplimentare.
OpenAI a publicat, la rândul său, o evaluare potrivit căreia GPT-6 Astra a atins un nivel „critic” în ceea ce privește capacitățile de securitate cibernetică. Compania afirmă că modelul poate identifica vulnerabilități necunoscute și poate concepe metode de exploatare a unor sisteme bine protejate, motiv pentru care au fost introduse măsuri suplimentare de monitorizare și izolare. De ce cer chiar companiile AI o încetinire Dario Amodei susține că dezvoltarea trebuie „ritmată” astfel încât măsurile de siguranță să țină pasul cu capacitățile modelelor.
Anthropic a comunicat și un program prin care evaluatori independenți ar urma să primească acces în interiorul companiei, cu posibilitatea de a verifica practicile de securitate și sistemele de protecție. Compania colaborează în acest scop cu Accenture, iar cele două organizații intenționează să investească împreună cel puțin un miliard de dolari în următorii cinci ani în această capacitate de evaluare. OpenAI susține, la rândul său, necesitatea unor standarde internaționale privind evaluarea riscurilor, păstrarea controlului uman și stabilirea unor condiții clare în care dezvoltarea unor sisteme avansate ar trebui încetinită sau oprită.
Există și opoziție față de încetinirea ritmului Nu există însă un consens în industrie asupra ritmului în care dezvoltarea ar trebui limitată. Președintele american Donald Trump s-a opus public solicitărilor de încetinire. În Congresul american există însă inițiative cu direcție opusă.
Senatorul Bernie Sanders și congresmanul Greg Casar au anunțat în septembrie o propunere legislativă care ar interzice dezvoltarea și implementarea „superinteligenței artificiale” și ar introduce o pauză temporară în dezvoltarea sistemelor AI avansate, până la stabilirea unor reguli federale de siguranță. În același timp, nu există în acest moment un cadru global unic pentru reglementarea inteligenței artificiale, iar Statele Unite ale Americii și China continuă să concureze pentru supremația tehnologică. Această competiție complică eforturile de coordonare internațională.
Ce știm și ce nu știm Datele disponibile în acest moment nu permit o concluzie științifică potrivit căreia AI va distruge omenirea. Nici ipoteza unei catastrofe existențiale nu poate fi exclusă complet, iar gradul exact de risc rămâne intens disputat. Ceea ce este deja documentat este că modelele devin tot mai capabile să opereze în domenii precum programarea, cercetarea, securitatea cibernetică și analiza unor probleme complexe.
OpenAI și Anthropic afirmă că AI începe să accelereze inclusiv procesul de dezvoltare al următoarelor generații de sisteme , ceea ce alimentează discuția despre posibilitatea ca AI să participe tot mai mult la propria dezvoltare. Pentru cercetători, întrebarea nu este doar dacă un scenariu de tip „AI distruge omenirea” este posibil, ci și cât de bine pot fi măsurate și controlate riscurile înainte ca sistemele să devină mult mai puternice decât cele actuale.