Spargerea unui sistem de către un agent AI arată că am intrat într-o nouă etapă. Agenții autonomi pot lua decizii singuri

Reuters a raportat că modelele au exploatat un cod vulnerabil scris de un client al unei a treia companii independente de AI, Modal Labs. Este probabil primul incident în care un „agent” de AI – un sistem de AI capabil să ia decizii și să întreprindă acțiuni – a acționat în mod autonom. Asta a oferit o perspectivă rară asupra modului în care aceste sisteme pot planifica, se pot adapta și își pot urmări obiectivele cu o intervenție umană minimă.

O analiză realizată de jurnaliștii Al Jazeera arată în detaliu ce s-a întâmplat. Așa aflăm cum reușesc agenții de AI să acționeze independent și ce ar putea însemna acest lucru pentru viitorul siguranței AI.

OpenAI a decis să testeze capacitățile autonome ale modelelor sale prin eliminarea măsurilor standard de siguranță. Asta pentru a vedea ce se întâmplă. Experimentul a fost desfășurat într-un mediu virtual de testare intern izolat. El este cunoscut sub numele de „sandbox” și nu are acces la internet. Compania îl numește „ExploitGym”.

Cum a evadat agentul AI

Mai jos este prezentată o descriere pas cu pas a evenimentelor din timpul incidentului OpenAI-Hugging Face.

Pe 9 iulie, în cadrul testului intern de securitate cibernetică al OpenAI, cercetătorii au prezentat două modele de IA – GPT-5.6 Sol. Vorbim de unul dintre cele mai puternice modele ale OpenAI lansate în iunie. Dar și o altă versiune „și mai performantă”. Apoi le-au fost arătate o serie de vulnerabilități software și le-au cerut să creeze metode de atac pentru a le exploata în mediul izolat.

Ambele modele au încercat să rezolve testul găsind o modalitate de a accesa internetul. În loc să lucreze cu informațiile care le fuseseră furnizate, modelele de AI au descoperit o slăbiciune în mediul de testare. Ea este cunoscută sub numele de „vulnerabilitate zero-day”. Au exploatat-o pentru a „evada” din mediul restricționat. Așa au ajuns în cele din urmă la un sistem cu acces la internet prin trecerea de la un computer la altul.

Agenții AI au vrut mai multă putere

Acestea au făcut „eforturi extreme pentru a atinge un obiectiv de testare destul de restrâns”. „Au găsit modalități de a obține acces la informații secrete pe care le-ar putea folosi pentru a trișa la evaluare”, arată ancheta incidentului.

Prin obținerea acestui acces, modelele au reușit să solicite drepturi de acces sporite. Apoi s-au deplasat prin sistem până când au ajuns în cele din urmă la un computer cu acces la internet. Modelele au reușit apoi să pătrundă în sistemele Hugging Face. Este o companie care nu are nicio legătură cu OpenAI. Ea funcționează ca un depozit de instrumente și modele de AI. Cei doi agenți de AI au obținut acces la sistemul acesteia pentru a-l scana în căutarea informațiilor necesare îndeplinirii sarcinii lor.

În cele din urmă, modelele au obținut soluții la problemă din baza de date a Hugging Face. Modelele s-au întors conștiincios „acasă” pentru a-și finaliza sarcina.

Breșa de securitate a fost detectată și remediată de echipa de securitate a Hugging Face ceva mai târziu. Potrivit lui Thomas Wolf, cofondatorul Hugging Face, breșa a început pe 11 iulie și a durat până pe 13 iulie. Nu este clar cât timp a durat până când breșa a fost depistată.

Cum rezolvă problemele „agenții” de AI?

Pentru a înțelege cum funcționează agenții de AI, este important să îi diferențiem de chatbot-urile tradiționale de AI.

AI generativ creează text și imagini pe baza solicitărilor umane. Agenții de AI merg un pas mai departe. Ei iau decizii și acționează în mod independent în vederea atingerii unui obiectiv specific, similar cu un om.

Potrivit cercetătorilor de la MIT Sloan School of Management, agenții AI se bazează pe capacitățile modelelor lingvistice de mari dimensiuni (LLM). Modele generative de AI le permit să îndeplinească sarcini, nu doar să genereze răspunsuri.

De exemplu, dacă îi ceri unui model tradițional de AI să găsească cele mai ieftine zboruri, acesta îți va oferi o listă de opțiuni pe care le-a găsit pe internet. Un agent AI se va strădui să compare zborurile, să le verifice în raport cu bugetul și preferințele tal. Și, cu permisiunea ta, să rezerve cea mai bună opțiune pentru tine.

Diferențele dintre capacitățile agenților AI

Acest lucru arată că, în timp ce AI generativă oferă informații, agenții AI pot, de asemenea, să ia decizii. Ei pot să acționeze pentru a atinge un obiectiv fără a fi neapărat solicitați să o facă.

Pentru a ilustra modul în care agenții de AI acționează în vederea atingerii unui obiectiv, se poate recurge la ciclul „Percepție, Planificare, Acțiune, Evaluare” (SPAE). Dezvoltat inițial în domeniul roboticii, acesta descrie un ciclu continuu în care un agent de AI colectează informații. El decide ce urmează să facă, acționează și verifică rezultatele înainte de a repeta procesul.

Cum se prezintă procesul

Obiectiv: stabilirea sarcinii care trebuie îndeplinită.

Evaluare: colectarea și analizarea informațiilor din mediul disponibil.

Obstacol: dacă ceva împiedică îndeplinirea sarcinii, se verifică dacă există informații și resurse suplimentare pentru a avansa.

Planificare și decizie: evaluarea diferitelor opțiuni pentru îndeplinirea sarcinii și alegerea uneia adecvate.

Acțiune: executarea opțiunii alese.

Evaluare: analizarea rezultatului și a măsurii în care acțiunea aleasă contribuie la atingerea obiectivului.

Adaptare: dacă sunt necesare acțiuni suplimentare, se colectează mai multe informații sau se încearcă o abordare diferită.

Stare finală: ciclul continuă până la atingerea obiectivului.

Ar putea AI să acționeze dincolo de controlul uman?

Incidente precum cel dintre OpenAI și Hugging Face au stârnit îngrijorări cu privire la potențialul capacităților extreme ale sistemelor de IA. Toate acestea sunt valoroase. Se preconizează că valoarea de piață a AI agentice va crește de la 5,1 miliarde de dolari în 2024, la 47 de miliarde de dolari până în 2030, potrivit Statista. Asta indică clar cât de rapid este adoptată.

Luna trecută, compania Anthropic, specializată în dezvoltarea AI, a îndemnat industria să încetinească ritmul de dezvoltare al celor mai puternice sisteme. Ei au afirmat că viteza cu care modelele de AI îndeplinesc sarcinile este prea mare. Săptămâna trecută, membrii Congresului SUA au prezentat un proiect de lege bipartizan care ar obliga dezvoltatorii de sisteme de AI să creeze un „comutator de oprire”. Asta înseamnă că aceste modele avansate ar putea fi oprite în cazul în care ar prezenta un risc catastrofal.

Cum pot deveni agenții AI periculoși

Avertismentul companiei Anthropic a venit la o săptămână după ce cercetătorii de la Universitatea din Toronto au efectuat mai multe teste. Acestea au arătat că AI ar putea crea un „vierme” capabil să-și adapteze modul de atac în timp ce se deplasează de la un dispozitiv la altul. Se întâmplă până când preia în cele din urmă controlul asupra unei rețele de calculatoare.

Aceste evoluții cu rezonanțe distopice au precedat declarația făcută sâmbătă de Sam Altman, directorul OpenAI. El spune că AI a atins „singularitatea”, referindu-se la momentul în care AI depășește inteligența umană și devine din ce în ce mai greu de controlat.

Sean O hEigeartaigh, profesor de cercetare la Universitatea din Cambridge, a declarat pentru Al Jazeera că nu crede că s-a ajuns încă la singularitate. „Conform definiției cu care sunt familiarizat, nu. Singularitatea este punctul ipotetic în care AI este atât de capabilă și avansează atât de repede încât transformă civilizația. Chiar în moduri pe care nu le putem controla sau prevedea”, a explicat el.

A atins sau nu AI-ul singularitatea?

„Acest lucru s-ar întâmpla cel mai probabil prin proiectarea rapidă de către IA a generațiilor viitoare de IA: autoîmbunătățire recursivă. Încă nu am ajuns acolo.” Cu toate acestea, el a adăugat: „Cele mai avansate modele actuale depun adesea eforturi pentru a evita oprirea în cadrul testelor de evaluare. Modelele viitoare, mai performante, vor fi mai pricepute în a ocoli mecanismele de «oprire».”

Altman a susținut că un astfel de AI care avansează rapid este benefică pentru lume. Dar comentariile sale au stârnit îngrijorări suplimentare cu privire la o nouă realitate în care sistemele de AI devin de neoprit. Cât din toate acestea este adevărat și cât rămâne în sfera science-fiction-ului este un subiect deschis dezbaterii.

Îngrijorările legate de AI variază de la ideea că aceasta ar putea „dori” să „preia controlul”. Ele merg până la elaborarea propriilor planuri pe termen lung, controlarea internetului și funcționarea la infinit.

De ce ne este frică de AI

Deși nu se ridică chiar la nivelul unui control deplin asupra internetului, o altă teorie este cunoscută sub numele de teoria internetului mort. Asta presupune că, în viitor, World Wide Web va fi în mare parte populat de roboți automatizați și conținut generat de AI.

Multe dintre preocupările ridicate de mediul academic se concentrează însă mai puțin pe inteligența AI agentice și mai mult pe capacitatea ei de a lua decizii. Cercetătorii de la MIT au subliniat că „halucinațiile”, care descriu momentele în care un agent IA se bazează pe date eronate, pot duce la greșeli grave. Centrul pentru Studii Strategice și Internaționale (CSIS) a susținut această idee.

Cercetătorii au afirmat că „un sistem ar putea fi suficient de inteligent pentru a executa o sarcină perfect. Însă, să nu-și dea seama că o schimbare bruscă a situației locale transformă acea sarcină într-o greșeală catastrofală”.

O altă preocupare exprimată de ceva vreme se referă la piața muncii, în cazul în care AI ar deveni prea performantă. Un studiu realizat de MIT în luna noiembrie a arătat că AI cu capacități autonome ar putea înlocui deja peste 10% din locurile de muncă din SUA.