Decenijama unazad, programeri su pisali kod za AI modele. Zahvaljujući napretku u AI tehnologiji, uloge su se promenile – sada AI piše kod za nas. Ali kako se AI-generisani kod nosi u poređenju sa onim koji pišu ljudski programeri?
Studija objavljena u časopisu IEEE Transactions on Software Engineering istražila je kod koji je generisao OpenAI-jev ChatGPT, fokusirajući se na funkcionalnost, složenost i sigurnost.
Rezultati uspešnosti ChatGPT-a su varirali, od niskih 0,66% do visokih 89%, u zavisnosti od složenosti zadatka, programskog jezika i drugih faktora.
Studija je otkrila i prednosti i zabrinutosti. Dok AI može poboljšati produktivnost i automatizovati zadatke, postoje značajni sigurnosni rizici kod AI-generisanog koda.
Yutian Tang, predavač na Univerzitetu u Glazgovu, istakao je potrebu da se razumeju i snage i ograničenja generisanja koda od strane AI-a.
Šta bi trebalo da znate:
- AI može povećati produktivnost, ali nosi sa sobom i sigurnosne rizike.
- ChatGPT je odličan u rešavanju starijih problema u kodiranju, ali se muči sa novijim.
- Davanje detaljnih uputstava AI-u može poboljšati kvalitet koda.
Tim profesora Tang-a testirao je GPT-3.5 na 728 problema iz LeetCode-a, koristeći pet jezika: C, C++, Java, JavaScript i Python.
Rezultati su pokazali da, dok ChatGPT može generisati funkcionalni kod za probleme pre 2021. godine, njegova učinkovitost značajno opada kod novijih problema.
Neki ključni podaci:
- Problemi pre 2021: Stope uspešnosti su bile 89% (laki), 71% (srednji) i 40% (teški).
- Problemi posle 2021: Stope uspešnosti su pale na 52% (laki) i 0,66% (teški).
Dobro, loše i greške
Istraživanje naglašava važnost pružanja dodatnog konteksta i povratnih informacija AI-u kako bi se poboljšao kvalitet koda i smanjile ranjivosti.
ChatGPT je bio prilično dobar u rešavanju problema u različitim programskim jezicima, posebno onih koji su postojali na LeetCode-u pre 2021. godine.
Na primer, generisao je funkcionalni kod za lake, srednje i teške probleme sa stopama uspešnosti od oko 89%, 71% i 40%, respektivno.
Međutim, sposobnost ChatGPT-a da generiše tačan kod za novije probleme značajno je opala. Ponekad nije uspevao da razume značenje pitanja, čak i kod lakih problema.
Ovo je verovatno zato što je ChatGPT bolji u rešavanju problema sa kojima se već susreo i nedostaju mu kritičke veštine razmišljanja koje imaju ljudi.
Sve u svemu, programeri koji koriste ChatGPT treba da pruže dodatne informacije kako bi AI bolje razumeo probleme i izbegao ranjivosti.
Razumevajući ove nijanse, programeri mogu bolje iskoristiti AI alate kao što je ChatGPT u svojim radnim tokovima.
Programeri, vaši poslovi su za sada sigurni – ali na koliko dugo?
