Cine controlează roboții ucigași? Bătălia pentru controlul uman într-o nouă eră a războiului

Când Țara Y recuperează în cele din urmă rămășițele dronei pentru a obține informații, descoperă ceva tulburător. În loc ca un om să fi decis ce trebuie lovit, decizia a fost luată de inteligența artificială.

Adevărul este că nici măcar nu trebuie să-ți imaginezi acest scenariu : tocmai s-a întâmplat. Pentru prima dată în războiul dintre Rusia și Ucraina, după cum a relatat recent The New York Times, trei civili ucraineni au fost uciși de o dronă rusească, dezvoltată, proiectată și lansată de oameni. Aceasta, în cele din urmă, și-a selectat singură ținta. Această nouă realitate se conturează drept viitorul războiului.

Când mașina decide ce țintă să lovească

Motivul este că o serie de țări, inclusiv unele dintre cele mai importante puteri militare ale lumii, resping ideea că ființele umane trebuie să dețină întotdeauna controlul asupra armelor folosite în război.

În schimb, pe măsură ce noile tehnologii de armament autonom devin tot mai capabile. Cadrele juridice internaționale existente se străduiesc să țină pasul. Unele țări adoptă o viziune mai largă asupra responsabilității umane. Oamenii pot exercita suficient control nu prin aprobarea fiecărui atac, ci prin proiectarea, testarea și stabilirea regulilor în baza cărora funcționează o anumită armă. Această schimbare a generat una dintre cele mai importante dezbateri de politică publică ale momentului.

În cele din urmă, dominația umană asupra „roboților ucigași”, așa cum sunt numite în mod colocvial armele autonome, s-ar putea reduce la o confruntare între două expresii formate din câte trei cuvinte: „controlul uman semnificativ”.

Cum arăta înainte „controlul uman semnificativ”?

La începutul anilor 2010, „controlul uman semnificativ” a apărut ca un prim cadru de referință în primele discuții internaționale privind reglementarea unui nivel acceptabil de implicare umană în utilizarea armelor autonome. Termenul a devenit rapid un principiu de organizare inițial în rândul multor state implicate în aceste dezbateri. Chiar și așa, el a întâmpinat imediat opoziția mai multor altora, precum SUA și Rusia.

„Problema este: ce înseamnă?”, a spus Lena Trabucco, expertă în inteligență artificială și control uman și cercetătoare asociată fără rezidență la Stockton Center for International Law din cadrul Naval War College. „Și ce face ca ceva să reprezinte un control uman semnificativ, spre deosebire de unul care nu este semnificativ?” A existat atât o lipsă de consens cu privire la ceea ce înseamnă „semnificativ”, cât și cu privire la ceea ce înseamnă „control”, a spus ea. Problemele depășeau simpla ambiguitate semantică. „Să faci ca un număr atât de mare de țări să cadă de acord asupra unui standard pentru ceea ce înseamnă «control semnificativ»”, a spus Trabucco, a devenit „o sarcină aproape imposibilă”.

Un termen suficient de clar pentru a menține dialogul internațional

O definiție exactă a „controlului uman semnificativ” nu s-a conturat niciodată pe deplin. Termenul a devenit suficient de inteligibil pentru a facilita continuarea dialogului internațional privind modul în care ar trebui reglementate armele autonome.

După cum a explicat Trabucco: „Cu toții am înțeles, într-un fel, ce încercam să surprindem prin ideea de control uman semnificativ, chiar dacă nu eram de acord asupra unui standard privind ceea ce este «semnificativ» sau asupra a ceea ce înseamnă exact «control».”

Brad Boyd este colonel în rezervă și cercetător militar principal la Center for International Security and Cooperation din cadrul Stanford. El a spus că, în acest context internațional, „controlul semnificativ” a ajuns să fie înțeles drept implicarea unui om chiar în momentul în care este declanșată o anumită armă.

Însă, din perspectiva SUA, această definiție consensuală lăsa în continuare nerezolvate o serie de probleme.

Problema timpului

Una dintre cele mai importante lacune ale definiției era problema momentului în care intervine controlul uman. „Lansarea unei arme ar putea avea loc, teoretic, cu minute, ore, zile sau săptămâni înainte ca arma să lovească efectiv ținta”, a explicat Boyd.

De exemplu, o dronă poate fi lansată pentru a survola o zonă desemnată. Ea poate rămâne în aer ore întregi, căutând orice element care corespunde criteriilor de țintă care i-au fost stabilite. Între momentul în care o persoană lansează drona și momentul în care aparatul identifică și atacă o țintă pot trece secunde, minute sau ore.

„Această extindere a intervalului de timp a făcut foarte dificil pentru conceptul de „control uman semnificativ” să pară, în practică, că face ceea ce oamenii doreau să facă”, a spus Boyd.

Tensiunea dintre anumite probleme tehnice sau inginerești și limbajul de politică publică preferat de forumurile internaționale a creat, din perspectiva SUA, obstacole insurmontabile în calea transformării „controlului uman semnificativ” într-un cadru cu adevărat practic și aplicabil.

Alternativa americană: „judecată umană adecvată”

Prin urmare, SUA și-au adoptat propria alternativă: „judecată umană adecvată” . „Sistemele de arme autonome și semi-autonome vor fi proiectate astfel încât să le permită comandanților și operatorilor să exercite niveluri adecvate de judecată umană asupra utilizării forței”, se arată într-o directivă-cheie a Departamentului Apărării al SUA.

Noul limbaj schimbă momentul în care este necesară intervenția umană. Aceasta nu mai trebuie să aibă loc în clipa în care arma este lansată. Controlul se mută asupra întregului ciclu de viață al sistemului: de la proiectare și dezvoltare până la utilizare.

În anumite situații, un guvern poate să nu aibă nevoie de un nivel la fel de ridicat de control uman pentru a respecta dreptul internațional. Aici apare diferența dintre cele două concepte. „Adecvat” oferă mai multă flexibilitate decât „semnificativ”.

„Dacă ne aflăm în largul mării, poate că nu este la fel de necesar să atingem un prag extrem de ridicat de control uman, pentru că în acele contexte nu există un risc prea mare pentru civili sau pentru bunurile civile”, a spus Trabucco.

„Acum, într-un oraș, într-un mediu urban”, unde riscul de vătămare a civililor și de producere a altor pagube colaterale este mult mai mare, a explicat Trabucco, „atunci acel prag ridicat devine important”.

SUA au urmărit să păstreze flexibilitatea de a stabili câtă implicare umană consideră necesară în funcție de contextul de pe câmpul de luptă, în loc să adopte un standard fix și universal privind ceea ce înseamnă „semnificativ”.

De ce „judecată” în loc de „control”?

Boyd a explicat că „ori de câte ori automatizăm ceva, fie că este vorba despre automatizarea unei mașini sau a unor utilaje, încercăm să facem ca acel lucru să se miște mai repede, să fie mai precis și așa mai departe”.

Prin urmare, în loc să insiste ca oamenii să fie implicați în fiecare etapă a procesului, SUA au urmărit pur și simplu să se asigure că sistemele autonome se comportă în conformitate cu standardele juridice și etice. Aici nu ar conta situația în care sunt utilizate.

„Nu controlul este neapărat ceea ce ne dorim. Ceea ce ne dorim cu adevărat este ca mașina să reflecte valorile, legile și reglementările noastre”, a spus Boyd. „Atunci când oamenii aplică valorile, legile și reglementările noastre, numim acest lucru judecată.”

Un cadru care impune totuși limite

A fost conceput pentru a evita stabilirea unui standard universal privind implicarea umană. Situația este asemănătoare precum cea cerută de conceptul de „control uman semnificativ”. „Judecata umană adecvată” nu este o expresie complet lipsită de conținut.

Potrivit directivei Departamentului Apărării, sistemele trebuie testate riguros. Trebuie stabilite clar și limitele lor operaționale. Este necesară și evaluarea riscului pentru civili. Operatorii trebuie instruiți corespunzător. De asemenea, trebuie stabilite reguli clare de angajare. Sistemul trebuie să rămână permanent în limitele misiunii pentru care a fost autorizat.

În anumite contexte, aceste cerințe ar putea introduce în arme măsuri de protecție mai riguroase decât o condiție simplistă potrivit căreia un om trebuie să fie cel care apasă, în cele din urmă, pe trăgaci. Dar cadrul are propria dilemă fundamentală: cine decide câtă judecată umană este adecvată?

Ce se întâmplă atunci când sectorul privat adoptă acest limbaj înainte ca noi să avem un răspuns?

Sectorul privat este forțat să aleagă o tabără

În iulie, OpenAI a făcut un lucru important, pe care puțini l-au observat. Compania și-a modificat din nou poziția față de utilizarea tehnologiilor sale în scopuri militare.

Cu doar trei ani în urmă, OpenAI menținea o interdicție totală privind utilizările „militare și de război” ale tehnologiei sale. Acum, după câteva revizuiri discrete făcute începând din 2023, un nou document de politici, de cinci pagini, a prezentat prevederile companiei pentru astfel de utilizări.

Cel mai important este că, atunci când își explică principala condiție pentru utilizarea tehnologiei sale în contexte militare, în special în cele care implică decizii privind folosirea forței letale, OpenAI preia o expresie deja familiară: „judecată umană adecvată”. Momentul nu a fost unul lipsit de semnificație, conform Vox.com.

Documentul a apărut la doar câteva luni după disputa publică dintre Anthropic și Pentagon. Conflictul a pornit de la rezervele companiei privind utilizarea militară a tehnologiei sale. Conflictul s-a încheiat după ce președintele Donald Trump a cerut încetarea imediată a tuturor utilizărilor Anthropic în cadrul guvernului.

La doar câteva ore după ce Anthropic a fost îndepărtată, directorul general al OpenAI, Sam Altman, a anunțat că firma sa a încheiat propriul acord cu guvernul. OpenAI nu a obținut doar un contract în urma confruntării dintre Anthropic și Pentagon. Compania a tras și o concluzie: alinierea politicii proprii la cea a guvernului îți aduce avantaje. Sau, mai rău, că opoziția față de guvern are un preț foarte mare.

„Judecata umană adecvată” nu înseamnă o decizie umană pentru fiecare acțiune

„Judecata umană adecvată nu presupune ca un om să ia o decizie cu privire la fiecare acțiune distinctă a sistemului”. În schimb, cadrul impune ca „oamenii să ia decizii informate cu privire la condițiile de utilizare”.

Trabucco și Boyd spun că nivelul „adecvat” de implicare umană poate varia. Acesta depinde de mediul operațional, de tipul țintei și de capacitățile sistemului. Contează și riscul pentru civili, dar și alți factori politici, economici și strategici.

Desigur, această flexibilitate este atractivă din punct de vedere operațional pentru armată. Dar are și un cost. Aici este vorba despre garanțiile menite să împiedice transferarea controlului total asupra forței letale către mașini devin greu de identificat, și mai greu de măsurat și cel mai greu de impus.

Când devine controlul mașinilor „inadecvat”?

Când vom ști că echilibrul de putere dintre oameni și mașini în război a devenit „inadecvat”? Adevărul este că nu există un răspuns clar.

Prin asumarea cadrului flexibil al Pentagonului, OpenAI acceptă faptul că acest standard nu are un înțeles stabilit definitiv. Aplicarea lui va fi decisă de la caz la caz, în spatele ușilor închise ale birocrației militare. De asemenea, guvernul ar putea avea nevoie de libertatea de a-și schimba poziția.

Este o alegere care sugerează că firma este mai puțin interesată să stabilească limite clare și este mai deschisă față de flexibilitatea armatei în privința modului în care inteligența artificială și autonomia ar putea fi utilizate în operațiuni letale.

Ambiguitatea ca preț al parteneriatului

„Judecata umană asupra deciziilor critice trebuie să fie semnificativă în practică, nu doar formală”, se arată în documentul de principii al companiei.cOpenAI a acceptat ambiguitatea drept preț al parteneriatului.

Fără îndoială, acest lucru face din companie un aliat mai util pentru Pentagon. În același timp, face mai dificil pentru public să știe unde se termină judecata umană și unde începe violența controlată de mașini.

Pe măsură ce dezvoltarea și utilizarea armelor autonome se accelerează rapid, în lipsa unor garanții suficiente, există o întrebare care merită pusă chiar acum: ce înseamnă cu adevărat „judecata umană adecvată”?