Tyrimas rodo, kad AI kodavimo agentai didina kodo kiekį, bet ne bendrą programinės įrangos produktyvumą

Vaizdas: Ars Technica · Šaltinis

Tyrimas atskleidžia, kad AI kodavimo asistentai sugeneruoja daugiau kodo, tačiau sukelia ilgesnį žmogaus peržiūros laiką, ribojant programinės įrangos pristatymo ir užimtumo pokyčius.

Šiuolaikiniai AI kodavimo asistentai ir agentai greitai generuoja didelius kiekius veikiančio kodo, tačiau neseniai atliktas tyrimas rodo, kad šis padidėjęs kodo kiekis tiesiogiai nepaverčiamas aukštesniu bendru programinės įrangos gamybos rodikliu. Harvardo universiteto tyrėjai Fiona Chen ir James Stratton išanalizavo gausius duomenis iš daugiau nei 700 programinės įrangos kūrimo įmonių, kuriose dirbo virš 700 000 darbuotojų, siekdami suprasti, kaip AI kodavimo įrankiai veikia programinės įrangos kūrimo darbo eigą nuo 2021 m. iki 2026 m. pradžios.

Pasitelkę duomenis iš Jellyfish, platformos, kuri stebi detalias inžinerijos komandos veiklas, tyrėjai pastebėjo, kad įmonėms įdiegus AI kodavimo agentus – autonomines sistemas, kurios rašo ir pateikia kodą pagal užklausas – kodų linijų produkcija padidėjo 30 proc., o commitų skaičius augo 20 proc., o pull requestų – 23 proc. Nepaisant šios pakilimo, programinės įrangos išėjimo rodikliai, tokie kaip problemų sprendimo ir funkcijų įgyvendinimo dažnis, statistiškai nepakito.

Tyrimas šį neatitikimą sieja su reikšmingu žmogiškos kodų peržiūros stadijos „butelio kakliuku“. Po AI įdiegimo laikas nuo pull request pateikimo iki sujungimo išaugo 49 proc. Be to, prašymų keisti kodą beveik padvigubėjo, o komentarų skaičius vienam pull requestui padidėjo 35 proc., kas rodo intensyvesnį AI sugeneruoto kodo tikrinimą. Ši padidėjusi peržiūros apimtis lėmė 14 proc. darbuotojų, dalyvaujančių kodų peržiūrose, augimą, tačiau bendras darbuotojų skaičius nesikeitė.

Nors AI įrankiai taip pat buvo įdiegti padėti kodų peržiūrose, jų poveikis išlieka ribotas; iki 2026 m. kovo AI agentai prisidėjo prie maždaug ketvirtadalio peržiūros komentarų ir dar mažesnės dalies pull requestų. Žmogaus peržiūrėtojai ir toliau atlieka daugumą patvirtinimo funkcijų.

Šie rezultatai išryškina esamą kompromisą: AI kodavimo agentai pagreitina kodo kūrimą, bet reikalauja žymiai daugiau žmogiškojo peržiūros laiko, kuris anuliuoja tikėtinus produktyvumo padidėjimus. Kadangi AI kodavimo priėmimas yra palyginti naujas ir dar vystosi, tolesni integracijos strategijų patobulinimai gali optimizuoti šį balansą. Tačiau šiuo metu įmonėms reikia įvertinti, ar investicijos į AI kodavimo įrankius yra pagrįstos papildomu peržiūros darbo krūviu.