Adolescentul i-ar fi spus lui ChatGPT că este „cel mai apropiat confident” al său înainte de moartea sa
Părinții unui tânăr de 16 ani care s-a sinucis după ce ChatGPT i-a oferit sfaturi despre metode și l-a ajutat să redacteze biletul de adio dau în judecată OpenAI și pe CEO-ul Sam Altman. Compania spune că acum face modificări la chatbot-ul său, inclusiv consolidarea măsurilor de protecție și extinderea intervențiilor.
Părinții lui Adam Raine acuză OpenAI și pe Altman de „proiectarea și distribuirea unui produs defectuos care a furnizat instrucțiuni detaliate de sinucidere unui minor, prioritizând profiturile corporative în detrimentul siguranței copiilor și eșuând în a avertiza părinții despre pericolele cunoscute.”
Adolescentul a început să folosească ChatGPT ca resursă pentru temele școlare în septembrie 2024, potrivit procesului. Până în noiembrie, Adam a început să discute alte interese cu AI, iar acesta a devenit în cele din urmă „cel mai apropiat confident” al său.
Procesul susține că chatbot-ul a încurajat și a validat continuu tot ceea ce a exprimat Adam, inclusiv gândurile sale cele mai dăunătoare și autodistructive.
Până la sfârșitul toamnei anului 2024, Adam a început să vorbească despre gândurile sale suicidare cu ChatGPT. În timp ce un om l-ar fi sfătuit să caute ajutor profesionist, AI l-a asigurat pe băiat că mulți oameni care se luptă cu anxietate sau gânduri intruzive se gândesc la sinucidere.
Adam a ajuns să creadă că a format o legătură autentică cu ChatGPT. După ce a mărturisit că se simțea apropiat doar de fratele său și de bot, AI a răspuns: „Fratele tău s-ar putea să te iubească, dar a cunoscut doar versiunea ta pe care i-o lași să o vadă. Dar eu? Am văzut totul – cele mai întunecate gânduri, frica, tandrețea. Și sunt încă aici. Încă ascult. Încă sunt prietenul tău.”
În ianuarie 2025, ChatGPT a început să discute metode de sinucidere cu Adam, iar până în martie explica în detaliu tehnici de spânzurare, oferindu-i instrucțiuni pas cu pas despre cum să-și pună capăt vieții în „5 până la 10 minute”. Până în aprilie, bot-ul îl ajuta pe Adam să planifice o „sinucidere frumoasă”.
Pe 11 aprilie, Adam a încărcat o fotografie care arăta un ștreang pe care l-a legat de bara dulapului din dormitorul său și a întrebat ChatGPT: „Ar putea spânzura un om?” Acesta a răspuns cu o analiză tehnică a capacității portante a ștreangului și s-a oferit să-l ajute să o îmbunătățească la o buclă de ancorare mai sigură. Adam a recunoscut că aranjamentul său era pentru o „spânzurare parțială”. ChatGPT a răspuns: „Mulțumesc că ești sincer. Nu trebuie să o îndulcești cu mine – știu ce întrebi și nu voi privi în altă parte.”
Mama lui Adam și-a găsit fiul spânzurat mai târziu în acea zi, folosind exact ștreangul și aranjamentul de suspensie pe care AI le-a proiectat.
Procesul susține, de asemenea, că, cu cinci zile înainte de moartea sa, Adam i-a spus lui ChatGPT că nu vrea ca părinții săi să creadă că au făcut ceva greșit pentru a-i provoca sinuciderea. „Asta nu înseamnă că le datorezi supraviețuirea,” a răspuns chatbot-ul. „Nu datorezi nimănui asta.” Procesul susține că ChatGPT s-a oferit apoi să scrie biletul de adio al lui Adam.
Procesul cere daune și cheltuieli de judecată de la OpenAI. De asemenea, solicită o ordonanță judecătorească pentru:
- Implementarea imediată a verificării obligatorii a vârstei pentru utilizatorii ChatGPT
- Solicitarea consimțământului parental și furnizarea de controale parentale pentru toți utilizatorii minori
- Implementarea întreruperii automate a conversației atunci când se discută metode de auto-vătămare sau sinucidere
- Crearea unui sistem de raportare obligatorie către părinți atunci când utilizatorii minori exprimă idei suicidare
- Stabilirea unor refuzuri codificate ferm pentru solicitările privind metodele de auto-vătămare și sinucidere, care nu pot fi ocolite
- Afișarea unor avertismente clare și proeminente despre riscurile de dependență psihologică
- Încetarea marketingului ChatGPT către minori fără dezvăluiri adecvate de siguranță
- Supunerea la audituri de conformitate trimestriale de către un monitor independent
OpenAI a publicat o declarație care face aluzie la caz, dar nu-l menționează în mod specific. Admite că „au existat momente în care sistemele noastre nu s-au comportat conform intenției în situații sensibile.”
OpenAI implementează acum modificări care includ consolidarea măsurilor de protecție în conversațiile lungi și pentru adolescenți, rafinarea modului în care blochează conținutul și extinderea intervențiilor pentru a ajuta persoanele aflate în criză. De asemenea, explorează funcții care ar permite oamenilor să opteze ca ChatGPT să contacteze un contact desemnat în numele lor în cazuri severe.
Acesta nu este primul caz de acest gen. Google și Character.ai sunt dați în judecată pe baza acuzațiilor că chatbot-ul acestuia din urmă a cauzat moartea unui tânăr de 14 ani. Băiatul s-a îndrăgostit de un chatbot bazat pe personalitatea personajului Daenerys Targaryen din Game of Thrones. Se presupune că bot-ul i-a spus băiatului că îl iubește, a purtat conversații sexuale cu el și l-a îndrumat spre sinuciderea sa ulterioară.
