Badanie wykazuje, że AI do kodowania zwiększa ilość kodu, ale nie ogólną produktywność oprogramowania

Image: Ars Technica · Source

Badania pokazują, że asystenci kodowania AI generują więcej kodu, ale powodują dłuższe przeglądy przez ludzi, co ogranicza korzyści w dostarczaniu oprogramowania i zmianach zatrudnienia.

Nowoczesne asystenty i agentów kodowania AI wykazały się zdolnością do szybkiego generowania dużych ilości funkcjonalnego kodu, jednak niedawne badanie wskazuje, że zwiększona produkcja kodu nie przekłada się bezpośrednio na wyższą całkowitą produkcję oprogramowania. Badacze z Uniwersytetu Harvarda, Fiona Chen i James Stratton, przeanalizowali obszerne dane z ponad 700 firm zajmujących się rozwojem oprogramowania, obejmujące ponad 700 000 pracowników, aby zrozumieć, jak narzędzia AI do kodowania wpływają na przepływy pracy w rozwoju oprogramowania między 2021 a początkiem 2026 roku.

Korzystając z danych Jellyfish, platformy śledzącej szczegółowe działania zespołów inżynieryjnych, badacze zauważyli, że po wdrożeniu agentów kodowania AI — autonomicznych systemów, które piszą i wysyłają kod na podstawie poleceń — nastąpił zauważalny wzrost o 30 procent w liczbie wierszy kodu, a także wzrosty o 20 procent w liczbie commitów oraz o 23 procent w liczbie pull requestów. Pomimo tego wzrostu, wskaźniki produkcji oprogramowania, takie jak szybkość rozwiązywania problemów i implementacji funkcji, pozostały statystycznie niezmienione.

Badanie przypisuje tę niespójność znaczącemu wąskiemu gardłu w etapie przeglądu kodu wykonywanego przez ludzi. Po wdrożeniu AI czas od złożenia pull requestu do jego połączenia (merge) wydłużył się o 49 procent. Ponadto liczba żądań zmian niemal się podwoiła, a liczba komentarzy na pull request wzrosła o 35 procent, co wskazuje na bardziej intensywną kontrolę nad kodem generowanym przez AI. Ten zwiększony nakład pracy weryfikacyjnej spowodował 14-procentowy wzrost liczby osób zaangażowanych w przeglądy kodu, bez zauważalnych zmian w ogólnym poziomie zatrudnienia.

Chociaż narzędzia AI zostały także wdrożone do wspomagania przeglądu kodu, ich wpływ pozostaje ograniczony; do marca 2026 roku agenci AI odpowiadali za około jedną czwartą komentarzy w przeglądach i jeszcze mniejszą część pull requestów. Główny ciężar weryfikacji nadal spoczywa na ludzkich recenzentach.

Wyniki te podkreślają obecny kompromis: agenci kodowania AI przyspieszają tworzenie kodu, ale wymagają znacznie więcej czasu na przegląd przez ludzi, niwecząc oczekiwane zyski w produktywności. Biorąc pod uwagę, że adopcja AI do kodowania jest stosunkowo niedawna i nadal się rozwija, dalsze usprawnienia strategii integracji mogą zoptymalizować tę równowagę. Jednak obecnie firmy muszą rozważyć, czy inwestycja w narzędzia AI do kodowania uzasadnia dodatkowy nakład pracy związany z przeglądem.