Bloomberg: TikTok și funcția ascunsă. Un adolescent a murit după ce algoritmul i-a recomandat constant conținut nociv

O funcție creată pentru a limita expunerea utilizatorilor la conținut repetitiv și potențial periculos nu a fost activată pentru milioane de persoane care foloseau TikTok în Statele Unite. Un document intern al companiei arată că platforma a păstrat intenționat un grup de utilizatori pe versiunea veche a algoritmului, pentru a măsura efectele noii funcții asupra utilizării aplicației.

Printre acești utilizatori s-a aflat Chase Nasca, un adolescent american de 16 ani. În săptămânile dinaintea morții sale, contul băiatului a fost alimentat în mod repetat cu materiale despre depresie, singurătate, tristețe și sinucidere. Documentul intern spune că măsurile TikTok pentru prevenirea unei astfel de „bule” de conținut nu au fost aplicate contului său „prin proiectare”.

Cazul este acum analizat în contextul proceselor intentate marilor platforme de social media. Documentul arată că decizia de a păstra utilizatorii în grupul de control a fost legată și de evaluarea impactului asupra numărului de utilizatori activi zilnic și asupra altor indicatori importanți pentru companie, potrivit publicației Bloomberg.

TikTok a păstrat 10% dintre utilizatori pe vechiul algoritm

În 2021, TikTok a început să lucreze la măsuri care să împiedice utilizatorii să fie expuși în mod repetat la anumite categorii de conținut. Compania anunța în decembrie acel an că testează metode pentru a întrerupe tiparele repetitive asociate unor subiecte care puteau deveni problematice atunci când erau consumate în mod repetat.

Până la începutul lui 2022, noua versiune a algoritmului fusese introdusă pentru aproximativ 90% dintre utilizatorii TikTok din Statele Unite. Restul de 10% au rămas în grupul de control al experimentului. La nivelul bazei de utilizatori de atunci, acest procent însemna aproximativ 15 milioane de persoane.

Chase Nasca a fost selectat aleatoriu în acest grup pe 25 ianuarie 2022. În cazul lui, algoritmul continua să funcționeze fără noua protecție împotriva formării „bulelor” de conținut. Experimentul, denumit intern „backtest”, era o metodă de tip A/B folosită pentru a compara efectele unei modificări. Potrivit documentului, scopul era validarea rezultatelor și măsurarea impactului noii funcții.

Ce a descoperit TikTok în contul adolescentului

Chase era un jucător de fotbal de liceu și, potrivit materialului, nu avea un istoric cunoscut de probleme de sănătate mintală. În mod obișnuit, folosea TikTok pentru videoclipuri despre sport și comedie.

În perioada dinaintea morții sale, însă, activitatea contului s-a schimbat. Adolescentul a început să caute și să urmărească materiale legate de singurătate, lipsă de speranță și depresie. Documentul TikTok arată că aceste interese au contribuit probabil la recomandarea unor materiale similare.

După moartea lui, compania a reconstituit istoricul contului. Analiza a cuprins 7.563 de videoclipuri recomandate în cele două săptămâni anterioare. Rezultatele au arătat că 73% dintre aceste materiale aveau teme precum probleme de sănătate mintală, experiențele unor persoane care trecuseră prin astfel de probleme, singurătatea sau despărțirile. Aceste videoclipuri nu încălcau regulile platformei.

Aproape 10% dintre materialele analizate încălcau însă regulile TikTok. Documentul le descrie drept materiale care promovau sau normalizau sinuciderea ori automutilarea.

Ultimele zile au atras atenția companiei

Analiza internă a urmărit și activitatea contului din ultimele zile ale adolescentului. Documentul arată că, în ziua anterioară morții sale, Chase a petrecut mai mult de cinci ore pe TikTok. A căutat materiale legate de sinucidere și trenuri și a salvat videoclipuri care făceau referire la acest subiect. În ultimele ore, a urmărit și materiale cu teme similare.

Mama lui Chase a descoperit ulterior că algoritmul îi recomandase astfel de materiale. Printre videoclipurile găsite de ea se afla unul care făcea referire la o persoană aflată în fața unui tren. Descoperirea a determinat familia să caute explicații pentru schimbarea comportamentului adolescentului.

Înainte de moartea sa, un prieten de liceu observase și el schimbarea. Chase, care obișnuia să distribuie videoclipuri amuzante, începuse să trimită prietenilor materiale despre sinucidere.

Raportul intern a recomandat reducerea experimentului

După analiza contului, raportul TikTok a formulat recomandări pentru modificarea modului în care erau realizate astfel de teste. Una dintre recomandări era reducerea grupului de control la mai puțin de 1%. O altă propunere viza scurtarea perioadei în care un utilizator putea rămâne în experiment. În loc de șase luni sau chiar un an, perioada urma să fie redusă la șapte zile. Chiar și în cazul reducerii grupului, documentul estima că cel puțin 1,8 milioane de utilizatori americani ar fi rămas fără protecția respectivă și ar fi putut ajunge în astfel de „bule”.

Un fost angajat al echipei de siguranță TikTok, care era lider de echipă când experimentul a fost implementat, a spus că nu știa despre existența lui.

După ce a analizat documentul, fostul angajat a declarat că astfel de teste sunt obișnuite în industria rețelelor sociale. El a considerat însă că experimentul avea probleme metodologice. În opinia sa, grupul de control era prea mare, iar minorii și conținutul periculos ar fi trebuit excluși.

TikTok a fost întrebat despre riscurile algoritmului

Cazul a ajuns și în atenția Congresului Statelor Unite. În martie 2023, directorul executiv al TikTok, Shou Chew, a fost audiat de Comisia pentru Energie și Comerț a Camerei Reprezentanților. Audierea a avut loc la aproximativ două săptămâni după ce compania analizase contul lui Chase în urma solicitărilor făcute de Bloomberg Businessweek.

Chew a insistat atunci asupra angajamentului TikTok pentru siguranța utilizatorilor, în special a adolescenților. Membrii Congresului l-au întrebat inclusiv despre efectele algoritmilor asupra copiilor și despre responsabilitatea companiei pentru conținutul recomandat.

După audiere, Congresul a trimis companiei o listă amplă de întrebări. Una dintre ele viza momentul în care TikTok a aflat că algoritmii săi puteau recomanda adolescenților materiale triste, depresive sau care promovau sinuciderea. Compania a răspuns că regulile sale interzic conținutul care promovează, normalizează sau glorifică sinuciderea și automutilarea. TikTok a mai spus că are strategii menite să reducă formarea bulelor de conținut.

Întrebată câte cazuri cunoaște în care utilizatori s-ar fi sinucis după ce au primit astfel de materiale, compania a răspuns că nu consideră că folosirea platformei a provocat sinucideri. În răspunsurile trimise Congresului, TikTok nu a menționat însă experimentul descris în documentul intern.

Documentul a apărut în timpul proceselor împotriva platformelor

Dezvăluirea apare într-un moment în care marile companii de social media se confruntă cu mii de procese privind efectele platformelor asupra copiilor. În ultimii patru ani, au fost intentate peste 4.000 de procese pentru vătămare corporală împotriva unor companii precum TikTok, Meta, Google și Snap. Multe dintre aceste cazuri au fost reunite într-un litigiu amplu.

Într-un proces judecat în California, un juriu a stabilit că YouTube și Instagram au fost neglijente. Reclamanta a primit despăgubiri de 6 milioane de dolari. TikTok și Snap au ajuns la înțelegeri înaintea procesului. TikTok a soluționat ulterior alte trei cazuri, ajungând la cinci procese de vătămare corporală privind dependența de social media care erau programate pentru judecată în acest an.

Documentul despre Chase a fost descoperit în timpul procedurii prin care companiile au fost obligate să furnizeze documente interne. În cadrul acestui proces au fost transmise celeilalte părți peste șase milioane de documente interne ale companiilor.

TikTok susține că și-a schimbat modul de testare

Compania a fost contactată în legătură cu documentul și a transmis că este „profund angajată” în siguranța și bunăstarea utilizatorilor, în special a adolescenților. TikTok a spus că investește în sisteme de detectare și în echipe specializate în siguranță, care identifică și elimină conținutul ce încalcă regulile platformei.

În ceea ce privește experimentul, compania a spus că era un test obișnuit folosit pentru a verifica dacă măsurile de siguranță funcționează. TikTok a precizat că și-a îmbunătățit ulterior modul de realizare a acestor teste, fără să ofere detalii despre schimbările făcute. În paralel, cazul familiei Nasca continuă în instanță. Procesul pentru moartea adolescentului a fost respins anul trecut, după ce TikTok a invocat protecția oferită de Secțiunea 230 din Communications Decency Act. Familia a făcut apel.

Documentul intern care descrie experimentul rămâne sigilat prin ordin judecătoresc. TikTok susține că materialul conține discuții interne sensibile și confidențiale și a cerut ca acesta să nu fie făcut public.

Cazul lui Chase a devenit astfel unul dintre exemplele centrale în dezbaterea privind responsabilitatea platformelor pentru modul în care algoritmii aleg și repetă conținutul prezentat utilizatorilor. Documentul intern nu demonstrează, de unul singur, că TikTok a cauzat moartea adolescentului, dar arată că acesta se afla într-un grup de testare în care o funcție de siguranță fusese intenționat dezactivată și că analiza ulterioară a identificat o expunere repetată la conținut nociv.