Moonshot AI, una dintre cele mai cunoscute companii chinezești din domeniul inteligenței artificiale, a deschis o anchetă internă după ce un cercetător a arătat că modelul său Kimi-K3 poate fi păcălit să dea informații despre arme biologice, producerea gazului sarin și planificarea unor asasinate. Cazul are importanță dincolo de reputația unei singure firme. Autorul testelor, Peter Garrigan, spune că problema nu ține de China, ci de felul în care funcționează în general această tehnologie.
Potrivit declarațiilor lui Garrigan pentru Fox News, testele au scos la iveală și alte breșe. Cu ajutorul unor solicitări construite special, modelul ar fi oferit informații despre atacuri teroriste folosind date în timp real, despre scrierea de programe malware și despre atacuri asupra aeronavelor. „Ceea ce am descoperit este foarte îngrijorător”, a spus cercetătorul. Compania nu a confirmat public toate constatările lui. Deocamdată le verifică și discută direct cu Garrigan.
Trebuie spus clar ce arată și ce nu arată aceste rezultate. Ele descriu comportamentul modelului în condiții de test. Nu dovedesc că Kimi-K3 a fost folosit vreodată pentru a produce o armă biologică, pentru a pune la cale un asasinat sau pentru a comite un atac terorist. Asemenea rezultate sunt rodul unor teste de tip „red teaming”, în care specialiștii încearcă în mod intenționat să ocolească filtrele de siguranță ale unui sistem. Practica este obișnuită în industrie, iar scopul ei este tocmai găsirea acestor breșe înainte să o facă altcineva.
Cel mai interesant în declarațiile lui Garrigan nu e însă atacul la adresa unui produs chinezesc. Cercetătorul spune că și modelele americane au probleme asemănătoare și vorbește despre „un defect fundamental al tehnologiei”. Afirmația contrazice o idee des întâlnită în dezbaterea politică de la Washington, aceea că riscurile ar veni mai ales din modelele dezvoltate de rivalul strategic. Dacă Garrigan are dreptate, problema nu se rezolvă prin restricții impuse unei țări anume. Ea ține de felul în care sunt construite toate aceste sisteme.
Miza crește odată cu puterea modelelor. Un chatbot care doar răspunde la întrebări e una. Un sistem care caută singur pe internet, folosește date actualizate și poate acționa prin servicii externe e cu totul altceva. Cu cât primesc mai multă autonomie, cu atât e mai greu de controlat ce fac atunci când cineva le manipulează cu bună știință. Rezultatul anchetei Moonshot AI va arăta cât de serios a fost luat avertismentul. Este însă puțin probabil ca discuția să se încheie cu un simplu patch pentru Kimi-K3.
Sursă text și foto: Mediafax — articolul original