Modelele AI open pot schimba industria. Ce înseamnă pentru giganții din cloud

Un ministru din Singapore își rulează AI-ul pe Raspberry Pi

Un exemplu neobișnuit vine chiar de la Vivian Balakrishnan, ministrul de Externe al Singaporelui.

Acesta a povestit că folosește agenți AI pentru a-și organiza activitatea: îi pregătesc informări înaintea călătoriilor, îl ajută la redactarea discursurilor și chiar la formularea unor răspunsuri pentru întrebările parlamentare.

Balakrishnan nu folosește însă pur și simplu ChatGPT sau un alt serviciu AI comercial. În calitate de „geek și pasionat de experimente”, a apelat la GitHub, a descărcat cod și și-a construit propriul sistem.

Iar partea cea mai surprinzătoare este echipamentul. „Toate aceste lucruri – agentul meu cel mai folosit zilnic – rulează pe un Raspberry Pi, care are cel puțin doi sau trei ani. Tot ce are sunt opt gigabytes de RAM.”

Configurația sa nu este complet izolată de cloud: după cum s-a precizat ulterior, sistemul folosește Ollama pentru rularea locală a modelelor. Dar poate trimite solicitările către un model Anthropic găzduit în cloud atunci când este nevoie.

Este, practic, o combinație între AI local și AI din cloud.

Modelele mici pot prelua o parte dintre sarcini

Una dintre amenințările identificate de S&P Global Ratings pentru marile companiidin industria AI este posibilitatea ca modelele open-weight să reducă diferența de performanță față de modelele de frontieră.

O componentă importantă a acestei schimbări este reprezentată de SLM-uri, adică modele lingvistice mici.

O echipă de cercetători de la Universitatea Stanford, condusă de Jon Saad-Falcon și Avanika Narayan, compară performanța acestor modele cu cea a modelelor de frontieră pentru sarcini cotidiene.

Pentru solicitările relativ simple, cercetătorii au constatat că SLM-urile pot oferi rezultate comparabile sau chiar mai bune în multe situații și recuperează rapid diferența în cazul sarcinilor de raționament.

Avantajul nu este doar tehnologic, ci și financiar.

Potrivit cercetării citate, procesarea locală a anumitor solicitări poate reduce costurile de calcul și energie cu 60%-80% față de trimiterea acestora către modele LLM bazate în cloud. Pentru o companie care procesează milioane de solicitări, diferența poate deveni semnificativă.

OpenRouter indică o schimbare de direcție

Un alt indiciu vine de la OpenRouter, un serviciu care direcționează solicitările către diferite modele AI în funcție de sarcina de rezolvat.

Ideea este simplă: o întrebare obișnuită poate fi trimisă către un model mai ieftin. O problemă complexă ajunge la un model avansat.

Potrivit datelor citate în analiza FT Alphaville, la începutul anului aproximativ 60% dintre solicitările OpenRouter erau direcționate către modele proprietare closed-weight. Cea mai recentă proporție menționată a coborât la 25%.

Tendința este vizibilă și în cazul unor companii mari.

AT&T, de exemplu, folosea modele open pentru aproximativ 20% din activitatea sa AI în luna mai. Ulterior, procentul a crescut la 40% și ar putea ajunge la 60%. „Credem că ar putea crește mult, mult mai mult”, a declarat Markus, directorul de date și AI al companiei, care a precizat că AT&T economisea până la 80% din costurile AI comparativ cu începutul anului.

Nu este vorba doar despre bani

Modelele open au un avantaj important și în ceea ce privește controlul asupra datelor.

Pentru firmele de avocatură, companiile farmaceutice, fondurile de investiții, firmele de apărare sau cele care dezvoltă tehnologii proprietare, datele și proprietatea intelectuală sunt extrem de importante.

Trimiterea acestor informații către un furnizor extern de AI poate ridica probleme de securitate și confidențialitate.

Firma americană de avocatură Latham & Watkins, de exemplu, intenționează să utilizeze hardware Nvidia pentru a găzdui modele open-weight Nvidia Nemotron 3 și pentru a le adapta propriilor nevoi. Rene Mendoza, directorul de informații al firmei, explică motivul: „Uneori putem avea informații atât de sensibile, informații despre clienți pe care chiar vrem să le protejăm, încât nu dorim să le punem la dispoziția niciunui furnizor de cloud.”

Această tendință este asociată tot mai des cu ideea de „AI suveran”, prin care organizațiile păstrează un control mai mare asupra infrastructurii și datelor.

Ce se întâmplă dacă modelele open devin suficient de bune?

Aici apare problema pentru marile companii care construiesc infrastructura AI.

Dacă modelele mici pot rezolva local o mare parte dintre sarcinile simple, iar modelele open-weight mari oferă performanțe apropiate de cele proprietare la costuri mai mici, companiile ar putea avea motive să reducă utilizarea serviciilor AI comerciale. Acest lucru nu înseamnă automat că centrele de date vor deveni inutile.

Modelele open de mari dimensiuni, atunci când sunt găzduite în cloud, continuă să consume cantități importante de putere de calcul. În plus, modelele avansate vor rămâne probabil importante pentru sarcinile complexe.

Problema este mai degrabă cât de multă infrastructură va fi necesară pentru fiecare tip de utilizare.

Hyperscalerii au însă un avantaj important

Marile companii de cloud au afaceri tradiționale extrem de profitabile și dețin sau controlează o cantitate uriașă de infrastructură.

Centrele lor de date pot rămâne valoroase indiferent de modelul AI care rulează pe ele.

Situația este mai complicată pentru laboratoarele AI care consumă cantități foarte mari de capital și depind de investițiile hyperscalerilor.

Aceste companii trebuie să demonstreze că pot transforma performanța tehnologică în venituri suficient de mari pentru a acoperi costurile de dezvoltare, infrastructură, energie și finanțare.

De aici și miza uriașă a competiției dintre modelele proprietare și cele open.

AI-ul viitorului ar putea fi împărțit între cloud și dispozitiv

Exemplul lui Vivian Balakrishnan arată o posibilă direcție: nu trebuie neapărat aleasă o singură variantă.

Sarcinile simple pot fi rezolvate local, cu modele mai mici și mai ieftine.  Solicitările complexe pot fi trimise către modele  din cloud.În același timp, companiile care au nevoie de un control strict asupra datelor pot prefera modele open găzduite pe propria infrastructură.

Prin urmare, adevărata întrebare pentru industria AI nu este dacă modelele open vor înlocui complet modelele proprietare. Mai important este cât din volumul de lucru AI va mai necesita, în viitor, infrastructura extrem de costisitoare pe care giganții tehnologici o construiesc acum.

Răspunsul ar putea determina nu doar viitorul laboratoarelor AI, ci și ritmul investițiilor în centre de date, cipuri și energie.