Dezvoltatorii au avut nevoie cu 19% mai mult timp pentru a finaliza sarcinile folosind instrumente AI
Într-o turnură surprinzătoare pentru lumea în rapidă evoluție a inteligenței artificiale, un nou studiu a constatat că asistenții de codare bazați pe AI pot de fapt să împiedice productivitatea în rândul dezvoltatorilor de software experimentați, în loc să o accelereze, care este principalul motiv pentru care dezvoltatorii folosesc aceste instrumente.
Cercetarea, efectuată de organizația non-profit Model Evaluation & Threat Research (METR), și-a propus să măsoare impactul real al instrumentelor AI avansate asupra dezvoltării de software. Pe parcursul mai multor luni, la începutul anului 2025, METR a observat 16 dezvoltatori open-source experimentați în timp ce abordau 246 de sarcini de programare autentice – de la remedieri de bug-uri la implementări de noi funcționalități – pe depozite mari de cod pe care le cunoșteau în detaliu. Fiecare sarcină a fost atribuită aleatoriu fie pentru a permite, fie pentru a interzice utilizarea instrumentelor de codare AI, majoritatea participanților optând pentru Cursor Pro asociat cu Claude 3.5 sau 3.7 Sonnet atunci când li s-a permis să folosească AI.
Înainte de a începe, dezvoltatorii au prezis cu încredere că AI-ul îi va face cu 24% mai rapizi. Chiar și după încheierea studiului, ei încă credeau că productivitatea lor s-a îmbunătățit cu 20% atunci când au folosit AI. Realitatea, însă, a fost drastic diferită. Datele au arătat că dezvoltatorii au avut de fapt nevoie cu 19% mai mult timp pentru a finaliza sarcinile atunci când au folosit instrumente AI, un rezultat care a contrazis nu numai percepțiile lor, ci și previziunile experților în economie și învățare automată.
Cercetătorii au investigat posibilele motive pentru această încetinire neașteptată, identificând mai mulți factori contributivi. În primul rând, optimismul dezvoltatorilor cu privire la utilitatea instrumentelor AI a depășit adesea capabilitățile reale ale tehnologiei. Mulți participanți erau foarte familiarizați cu bazele lor de cod, lăsând puțin loc pentru ca AI să ofere scurtături semnificative. Complexitatea și dimensiunea proiectelor – depășind adesea un milion de linii de cod – au reprezentat, de asemenea, o provocare pentru AI, care tinde să performeze mai bine la probleme mai mici și mai bine delimitate. Mai mult, fiabilitatea sugestiilor AI a fost inconsecventă; dezvoltatorii au acceptat mai puțin de 44% din codul generat, petrecând timp semnificativ revizuind și corectând aceste rezultate. În cele din urmă, instrumentele AI au avut dificultăți în a înțelege contextul implicit din depozitele mari, ceea ce a dus la neînțelegeri și sugestii irelevante.
Metodologia studiului a fost riguroasă. Fiecare dezvoltator a estimat cât timp ar dura o sarcină cu și fără AI, apoi a lucrat la probleme înregistrându-și ecranele și auto-raportând timpul petrecut. Participanții au fost compensați cu 150 EUR pe oră pentru a asigura un angajament profesional în proces. Rezultatele au rămas consecvente în diverse măsuri de rezultat și analize, fără nicio dovadă că artefactele experimentale sau părtinirea ar fi influențat constatările.
Cercetătorii avertizează că aceste rezultate nu ar trebui generalizate excesiv. Studiul s-a concentrat pe dezvoltatori foarte calificați care lucrează pe baze de cod complexe și familiare. Instrumentele AI ar putea oferi în continuare beneficii mai mari programatorilor mai puțin experimentați sau celor care lucrează la proiecte nefamiliare sau mai mici. Autorii recunosc, de asemenea, că tehnologia AI evoluează rapid, iar iterațiile viitoare ar putea produce rezultate diferite.
În ciuda încetinirii, mulți participanți și cercetători continuă să folosească instrumente de codare AI. Ei notează că, deși AI nu poate accelera întotdeauna procesul, poate face anumite aspecte ale dezvoltării mai puțin solicitante din punct de vedere mental, transformând codarea într-o sarcină mai iterativă și mai puțin descurajantă.
