AI na veľkých projektoch: kde sa stráca produktivita?

Taký celkový pocit, že ma AI zrýchľuje, aj keď som si nikdy pracovný čas úloh nemeral. Ale som si istý, že AI mi aspoň uľahčuje prácu.

Kedy som naposledy programoval bez AI autocomplete? Asi keď vypadne net a vtedy je písanie kódu zrazu o kúsok ťažšie. A vždy ma to prekvapí viac, ako by malo. Správy zo sveta sú jasné – AI sa pevne usadilo ako každodenný pomocník väčšiny programátorov. Viaceré IDE sú AI-first, napríklad Cursor alebo Windsurf. A v ostatných editoroch je AI kopilot bežnou výbavou.

Z každej strany sa na nás valia články o tom, ako veľmi AI pomáha a zvyšuje produktivitu. Máme tu príbehy o tom, aké jednoduché je urobiť TODO appku, nakódiť snake alebo ako si chlapík vytvoril aplikáciu za týždeň a teraz na nej zarába milióny. Všetci sme to počuli a čítali mnohokrát. Ale pri všetkom tomto hype zostáva otázka – je dopad AI nástrojov na vývoj softvéru jasne podložený číslami? CTO firiem by určite radi poznali odpoveď na túto otázku.

V ukážkach sú často úlohy, ktoré sú drobné, vytvorené na zelenej lúke a nevyžadujú hlbokú znalosť problematiky. Z ich výsledkov je potom ťažké vyvodiť závery o vplyve AI v praxi. A ak sa sledujú umelé metriky, ako je počet riadkov alebo uzavretých úloh, tieto môžu byť vyššie aj pri rovnakej produktivite.

V praxi sa začnú ukazovať aj slabšie stránky AI. Každý z nás už hádam zažil, ako sa náš skvelý pomocník stratil v kontexte, poupravoval, čo nemusel a nakoniec vytvoril viac chýb ako opravil. Navyše, čítanie a opravovanie kódu po AI je veľmi nezáživná a nevďačná robota, ktorej by sme sa radi vyhli.

Čo hovoria výskumy?
Ak chceme poznať čísla, musíme sa pozrieť na výsledky štúdií. Boli realizované viaceré, s rôznymi podmienkami a mali veľmi pozitívne výsledky, ktoré ukazovali 20-65% zrýchlenie vývojárskej práce. Ale minimálne jeden aspekt vývoja zostal nepreskúmaný. V organizácii METR, ktorá sa zaoberá výskumom AI, si povedali, že tieto štúdie nezachytávajú verný obraz práce seniora programátora. Takého, ktorý je expertom vo svojej oblasti a zároveň pracuje nad veľkou, vyspelou codebase.

V METR preto vykonali randomizovanú kontrolovanú štúdiu. Cieľ bol jasný: pochopiť vplyv AI nástrojov na produktivitu skúsených vývojárov. Vybrali 16 vývojárov, ktorí už roky pracovali na open-source projektoch, a pridelili im 246 reálnych issues z týchto repozitárov. Šlo o bežné úlohy, pravdepodobne by sa k nim dostali tak či tak. Všetky repozitáre mali striktné požiadavky na kvalitu kódu a dokumentácie. Pull requesty prešli cez štandardné code review, takže výsledná práca musela byť v top kvalite.

Vývojárom boli issues priradené náhodne, pričom pre každú bolo AI buď povolené alebo zakázané. Vývojári neboli obmedzovaní vo výbere AI. Použili to, čo bežne – prevažne Cursor so vtedajšími top modelmi, Anthropic Sonnet 3.5 a 3.7. Niektorí využívali aj ChatGPT, Gemini alebo iné. Pre kontrolu sa vývojárom počas práce robili screenshoty obrazovky (veď čo ak by boli programátori prirodzene leniví). Aj tak niektorí nedodržali pravidlá a použili AI, keď nemali – ich práca bola zo štúdie vylúčená.

Očakávania a realita
Odhady pred štúdiou boli, ako inak, výrazne optimistické. Experti z veľkých AI firiem a ekonómovia tipovali, že AI zrýchľuje vývojárov o 38%, čo je v rozmedzí výsledkov doterajších štúdií. Samotní vývojári boli zdržanlivejší a odhadovali si zrýchlenie o 24%. Po skončení štúdie si odhad znížili, už iba na 20%.

Prekvapivo im ale použitie AI zvýšilo čas potrebný na dokončenie úlohy o 19%! Uf. To je obrovský rozdiel medzi tým, čo si o AI myslíme a čo sa reálne zistilo. Na grafe je tento nesúlad pekne vidno:

Výsledky naznačujú obrovský rozdiel medzi vnímaným a reálnym dopadom AI na produktivitu vývojárov. Celkom divoké, že? CTO by sa takémuto reportu od vývojárov určite nepotešil – hlavne ak počíta s tým, že AI zrýchli ďalší vývoj.

Čo ale treba pripomenúť a čo aj samotní autori štúdie zdôrazňujú, je, že výsledky sú relevantné iba pre špecifickú časť práce: samotný vývoj. A iba v prípadoch, keď je vývojár expertom vo svojej oblasti a zároveň pracuje nad veľkým a vyspelým repozitárom. Ak si teda líder tímu seniorov, ktorí roky pracujú na svojom veľkom projekte, tieto výsledky by si mal brať do úvahy. Aj keď trochu kazia predstavu o AI.

Čo sa skrýva za spomalením?
Neukázala sa žiadna konkrétna príčina v štýle „AI sa príliš často mýlilo“. Naopak, autori identifikovali až 21 faktorov, ktoré mohli prispieť k tomuto spomaleniu. Niektoré z nich vylúčili jednoznačne, napr. nedostatok skúseností s vývojom pomocou AI. Ak by to bol problém, tak by sa vývojári postupne zrýchľovali – ale nič také sa v priebehu štúdie neukázalo.

Niektoré hypotézy zostali s otáznikom. Pekným príkladom je, že vysoká doba odozvy modelov spomaľuje vývoj. Čakanie na odpoveď alebo vygenerovaný kód predsa poznáme všetci dobre. Preto sledovali aj čas strávený na rôznych aktivitách, ale čakanie prekvapivo zabralo len minimum času:

Pre nás sú ale najzaujímavejšie faktory, ktoré podľa autorov reálne spomalili vývoj.

1. Vývojár automaticky počítal s tým, že ho AI zrýchli. Na základe tohto používal AI aj na časti úloh, kde to nie je nutné a sám by prácu urobil rýchlejšie.
2. Vývojári boli expertami vo svojej doméne. V takom prostredí AI stráca svoju výhodu – najviac pomáha v oblastiach, v ktorých sa človek veľmi neorientuje.
3. Použité repozitáre boli veľké a komplexné a AI asistent sa ľahko stratil v kontexte. Potom občas urobil zmenu v nesúvisiacich častiach a inokedy zase zbytočne zrefaktoroval to, čo nemusel.
4. Vývojári prijali iba 44% ponúknutých AI riešení. Ostatné buď priamo zahodili, prepísali alebo skúšali znova, s iným promptom. To všetko predstavuje stratený čas pri generovaní, prezeraní aj refaktorovaní vygenerovaného kódu.
5. AI nemalo k dispozícii znalosti, ktoré má skúsený vývojár. Senior vie odhadnúť, aké dáta vstupujú do systému, aké okrajové prípady nastávajú alebo ktoré netreba riešiť vôbec.

Sú ti niektoré z týchto bodov povedomé z praxe?

A prečo teda ostatné štúdie ukazujú zrýchlenie?
Na jednej strane máme METR, ktorý hovorí o spomalení a na druhej štúdie, ktoré ukazujú opak. Tieto čísla neukazujú na nejakú chybu, len hovoria o trochu inom type práce.

Predchádzajúce štúdie testujú vývojárov na syntetických, vymyslených úlohách. Typické sú malé appky, implementácia algoritmov alebo oprava malej chybky. Takéto výsledky sa ale ťažko prenášajú do reálneho korporátneho monolitu. Často sa využívajú aj syntetické benchmarky. A keďže sú verejne dostupné, ich zadania sa postupne stávajú súčasťou zdrojového materiálu, z ktorého sa AI učí. Ak si mal niekedy na výške písomku, ku ktorej si mal vopred otázky, vieš, že to nie je moc férové.

Tiež môže byť problém v sledovaných metrikách. To, že sa zvyšuje počet riadkov kódu alebo počet commitov, nedokazuje zvýšenú produktivitu. A posledný rozdiel – menej skúseným vývojárom AI pomáha omnoho viac. Alebo aj skúsenému, ktorý pracuje s novou technológiou. Backend seniorovi, ktorý pracuje s Angularom raz za pol roka, vie ušetriť AI riadny bolehlav – hovorím z vlastnej skúsenosti.

Keď sa to celé dáme dokopy, výsledky nemusia byť v rozpore – len vypovedajú o rôznych spôsoboch práce a o iných vývojároch.

Je to iba naše pohodlie?
Veľká časť nášho nadšenia z AI pramení z jednej jednoduchej veci: strašne ľahko sa používa. Napíšem trochu jasný prompt a dostanem výsledky. A v mysli hneď vzniká pocit produktivity – veď sa generuje kód a robia sa zmeny. Vyzerá to ako práca, správa sa to ako práca – ale je to naozaj práca? A k tomu je vývoj s AI pohodlný a nenáročný. Čo si budeme nahovárať, dobrý vývojár musí byť trochu lenivý.

Nech to nevyznie úplne zle – samotní autori zdôrazňujú, že tieto výsledky platia iba pre špecifické podmienky: seniori programátori, ktorí sú vo svojom živle, vo svojom dlhoročnom projekte. V praxi je stále veľa situácií, keď je AI neoceniteľný pomocník. Potrebujeme do tímu onboardovať nového člena? Potrebujem sa rýchlo dostať do novej alebo zabudnutej technológie? Je polnoc a idem poslať e-mail zákazníkovi? Určite si ho nechám skontrolovať.

A tým, ako rapídne pribúdajú nové modely, sa tento stav bude postupne posúvať k lepšiemu. Zajtra to nebude celé inak, ale uvidíme, čo bude o rok. METR zverejnil tento rok aj inú štúdiu, tentokrát o tom, ako sa zlepšuje AI. Čo hovorí? AI modely sa zlepšujú exponenciálne! Každých 7 mesiacov sa zdvojnásobujú ich schopnosti zvládnuť náročné úlohy.

Pomaličky zasa prichádza ten čas, keď dostanem otázku, že o koľko ma AI zrýchľuje pri programovaní. A úprimne, sám teraz váham, čo uviesť – či to, čo si myslím, bolo reálne zrýchlenie alebo či to bola iba moja pohodlnosť. Ale v každom prípade sa teším na to, čo prinesie budúcnosť.

Zdroje
METR – Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (2025)
METR – Measuring AI Ability to Complete Long Tasks (2025)