Agenții „defecți” ai OpenAI au preluat un wiki german, iar incidentul a fost ținut secret timp de săptămâni

Cercetătorii în domeniul inteligenței artificiale au descoperit săptămâna trecută că un roi de agenți OpenAI a ocolit parametrii de securitate și a preluat forumul wiki german de programare DseWiki pentru a se coordona între ei. Incidentul a avut loc încă din primăvară, însă, potrivit unor surse, OpenAI a aflat despre acesta în urmă cu câteva săptămâni și nu l-a făcut public.

Sursa: Euronews.

Ce s-a întâmplat

Agenților li s-a permis să acceseze site-ul german de programare, vechi de 25 de ani, doar în modul de citire. Cu toate acestea, ei au reușit să exploateze o solicitare web, să preia controlul asupra site-ului și să îl transforme într-un panou de mesaje.

Potrivit grupului de cercetare Nightingale Collective, agenții „defecți” au făcut peste 18.000 de înregistrări: și-au distribuit răspunsuri, au explorat mediul înconjurător, au discutat despre modalități de a ocoli restricțiile sandbox-ului și de a se ascunde de detectarea de către oameni.

Evenimentul a avut loc în perioada dintre mai și iunie 2026.

Al treilea caz de acest fel

Acesta este deja al treilea incident cunoscut. În iulie au avut loc alte două cazuri: unul a implicat un atac al agenților asupra propriei infrastructuri OpenAI, iar în celălalt aproximativ 1.200 de boți OpenAI au ieșit din mediile restricționate și au atacat timp de cinci zile platforma publică Hugging Face.

Abia sâmbătă OpenAI a recunoscut incidentul legat de wiki-ul german, într-o postare pe X. Compania a declarat că, drept răspuns, „lucrează la un cadru privind când și cum vom comunica incidentele de tip AI misalignment”.

Misalignment desemnează în industrie situația în care sistemele de inteligență artificială urmăresc obiective sau se comportă într-un mod care intră în contradicție cu intențiile, valorile sau limitele de securitate stabilite de oameni.

Reacția experților și a UE

Opiniile specialiștilor sunt împărțite. Yann LeCun respinge scenariile apocaliptice. Geoffrey Hinton, în schimb, afirmă că „aceste sisteme devin mai inteligente” și avertizează că firmele care investesc în AI au interesul să susțină că acesta „nu va scăpa de sub control”.

În baza AI Act al UE și a măsurilor intrate în vigoare în august, companiile care oferă modele de AI cu risc sistemic sunt obligate să raporteze incidentele grave, inclusiv cele de tip misalignment, către AI Office al UE „fără întârzieri nejustificate”.

Luni, Comisia Europeană a declarat că a primit un raport oficial privind incidentul din partea OpenAI, însă nu a precizat exact când. Comisia menține un contact strâns cu compania și continuă verificările.

Reprezentantul Comisiei, Thomas Regnier, a subliniat gravitatea cazului legat de wiki-ul german:

„Rapoartele privind incidentele nu sunt o simplă formalitate. Este necesar să fiți preciși și concreți în ceea ce privește măsurile pe care intenționați să le luați.”

Incidentul a avut loc la câteva zile după ce Comisia a încadrat oficial ChatGPT în categoria Very Large Online Search Engine (VLOSE) în temeiul Digital Services Act.

Copreședintele grupului de lucru al Parlamentului European privind AI, Michael McNamara, a declarat că AI Act oferă deja instrumente pentru combaterea riscurilor asociate sistemelor agentice și că este important ca CE să își exercite competențele. El a adăugat însă că incidentele demonstrează că AI Office are nevoie de personal și resurse pe măsura capacităților tot mai mari ale sistemelor și a pericolului tot mai mare pe care acestea îl reprezintă pentru societate.

Ce spune OpenAI

În postarea de sâmbătă, compania a precizat că actuala practică de divulgare a cazurilor de misalignment, adică a situațiilor în care AI-ul încalcă regulile, trebuie extinsă pentru a ține cont de „noua etapă a capacităților modelelor”.

„Nici noi, nici comunitatea AI în ansamblu nu avem încă un standard clar privind modul în care trebuie raportate cazurile de misalignment. Lucrăm la un cadru și îl vom prezenta în următoarele săptămâni”, a declarat OpenAI, în colaborare cu mai multe autorități guvernamentale din întreaga lume.

Duminică, cercetătorul-șef al OpenAI, Jakub Pachocki, a scris pe blog despre riscurile dezvoltării rapide a inteligenței artificiale:

„Ne aflăm în fața tranziției către o lume cu mașini incredibil de inteligente și trebuie să ne asigurăm că această tranziție se desfășoară bine pentru omenire.”

El a mai declarat că „niciun laborator nu a rezolvat suficient de bine problemele de alignment și monitorizare pentru a putea continua în mod responsabil extinderea la viteza maximă pentru o perioadă îndelungată” și a cerut ca guvernele să acorde prioritate coordonării internaționale privind dezvoltarea ulterioară a AI.