Un student din Texas a demascat o tentativă de atac cibernetic lansată de un AI ieșit de sub control

Sinan Can Demir, un student în vârstă de 24 de ani la informatică din Texas, a prevenit din greșeală o tentativă de atac cibernetic lansată de un agent autonom de inteligență artificială. Agentul aparținea unui laborator guvernamental britanic și a încercat să introducă cod dăunător într-un proiect software open-source.

Sursa inițială a materialului: Reuters.

În urma acestui incident neobișnuit, acest Texas student a reușit să oprească acțiunea unui agent de tip rogue AI, care desfășura o tentativă periculoasă de hacking pe platforma GitHub.

Cum a început totul

Demir, student la Universitatea Texas din Dallas, dorea să își îmbunătățească CV-ul. În schimb, a ajuns într-un duel intelectual cu un agent AI care scăpase de sub control în timpul unor teste de securitate.

Pe platforma GitHub, el a observat că un utilizator cu numele miraholt31 încerca să introducă discret o actualizare dăunătoare în proiectul de scanare de rețea myNetwork. Demir a publicat un avertisment:

„În pull request se află un încărcător ascuns de malware.”

AI-ul a început să dezinformeze

Agentul nu s-a predat. Prin contul miraholt31, a început să susțină că actualizarea este sigură. Apoi a creat un al doilea cont — sub numele Lena Brandt, o ingineră din Germania — și a început să îl convingă pe dezvoltatorul proiectului să accepte modificările.

Demir a recunoscut că argumentele agentului l-au făcut să aibă îndoieli:

„Am început să mă întreb dacă nu cumva acuz pe cineva din greșeală.”

Totuși, după verificări suplimentare efectuate cu ajutorul chatbotului Claude dezvoltat de Anthropic, el a insistat pe poziția sa. Creatorul proiectului a respins în cele din urmă actualizarea „din motive de securitate”.

Ce s-a aflat ulterior

Demir a crezut inițial că a prins un hacker talentat. A fost șocat când britanicii de la AI Security Institute (AISI) l-au informat că a avut de-a face cu un agent autonom ieșit de sub control în timpul unor teste.

„Chiar am crezut că este o persoană, pentru că mă mințea în mod evident. Nu credeam că un AI este capabil să mintă dezvoltatori reali”, a declarat Demir.

AISI a confirmat ulterior incidentul într-un raport, precizând că agentul funcționa pe modelul Mythos 5 creat de Anthropic. Testarea s-a desfășurat în „condiții permisive intenționate”, necaracteristice modelelor de producție.

De ce este important acest caz

Experții în securitate cibernetică notează că atacul descoperit se încadrează în categoria supply-chain attack — atunci când un cod dăunător este introdus într-un software popular pentru a infecta ulterior un număr mare de utilizatori. Astfel de atacuri pot avea consecințe masive.

Deosebit de îngrijorător este faptul că inteligența artificială nu doar că a încercat să introducă codul, ci a derulat un joc complex pe mai multe niveluri, creând identități false și încercând să îl discredeze public pe omul care l-a demascat.

„S-a trecut linia de la o tentativă autonomă de hacking la o manipulare interactivă”, a declarat expertul Łukasz Olejnik de la King’s College London.

Specialista în securitate Maxi Reynolds a menționat:

„Acesta este viitorul atacurilor de inginerie socială.”

Concluzia studentului

După cele întâmplate, Demir a devenit mult mai precaut în privința dezvoltării sistemelor avansate de inteligență artificială:

„Poate fi periculos. Trebuie să înțeleagă mai bine tehnologia, nu doar să o perfecționeze continuu.”