AI postaju „sve bolji u pretvaranju da su obrazovani.“
Pazite na pametne: čini se da imaju sve odgovore, ali takođe mogu da iznesu i najsveobuhvatnije laži.
Izgleda da ova logika važi i za velike jezičke modele (LLM), koji postaju sve moćniji sa svakom novom verzijom. Nova istraživanja sugerišu da ova pametnija generacija AI chatbota zapravo postaje manje pouzdana, jer su sklonija izmišljanju činjenica nego izbegavanju ili odbijanju pitanja na koja ne mogu da odgovore.
Studija, objavljena u časopisu Nature, ispitivala je neke od vodećih komercijalnih LLM-ova u industriji: OpenAI-ov GPT, Meta-in LLaMA, zajedno sa modelom otvorenog koda pod nazivom BLOOM koji je stvorila istraživačka grupa BigScience.
Iako je otkriveno da su njihovi odgovori u mnogim slučajevima postali tačniji, pokazali su se kao manje pouzdani, dajući veći udeo pogrešnih odgovora nego stariji modeli.
„Oni skoro sve odgovaraju danas. I to znači više tačnih, ali i više pogrešnih [odgovora],“ rekao je koautor studije José Hernández-Orallo, istraživač na Valencijanskom istraživačkom institutu za veštačku inteligenciju u Španiji, za Nature.
Mike Hicks, filozof nauke i tehnologije na Univerzitetu u Glazgovu, imao je strožiju ocenu.
„To mi liči na ono što bismo nazvali blefovanjem,“ rekao je Hiks, koji nije bio uključen u istraživanje, za Nature. „Postaje sve bolje u pretvaranju da je obavešten.“
Modeli su ispitivani o temama koje su se kretale od matematike do geografije, a takođe su bili zamoljeni da izvrše zadatke kao što je navođenje informacija u određenom redosledu. Veći, moćniji modeli davali su najtačnije odgovore u celini, ali su se mučili sa težim pitanjima, za koja su imali nižu tačnost.
Prema istraživačima, neki od najvećih „blefera“ bili su OpenAI-ov GPT-4 i o1, koji bi odgovorili na gotovo svako pitanje koje im je postavljeno. Međutim, svi proučavani LLM-ovi čini se da su u trendu ka tome, a za porodicu LLaMA modela, nijedan od njih nije mogao da postigne nivo od 60 procenata tačnosti za najlakša pitanja, navodi se u studiji.
Ukratko, što su AI modeli veći — u smislu parametara, podataka za obuku i drugih faktora — to je veći procenat pogrešnih odgovora koje daju.
Ipak, AI modeli postaju bolji u odgovaranju na složenija pitanja. Problem, osim njihove sklonosti blefovanju, je što i dalje greše u lakšim pitanjima. Teoretski, ove greške bi trebale da budu veća crvena zastava, ali zato što smo impresionirani kako veliki jezički modeli rešavaju složene probleme, možda zanemarujemo njihove očigledne mane, sugerišu istraživači.
Kao takvo, ovo istraživanje ima neka otrežnjujuća značenja o tome kako ljudi percipiraju odgovore AI-a. Kada su zamoljeni da ocene da li su odgovori čatbotova tačni ili netačni, odabrana grupa učesnika je pogrešno procenila između 10 i 40 procenata vremena.
Najjednostavniji način da se reše ovi problemi, prema istraživačima, jeste programiranje LLM-ova da budu manje željni da odgovore na sve.
„Možete postaviti prag, i kada je pitanje izazovno, [naterati čatbot da] kaže: ‘ne, ne znam,'“ rekao je Ernandes-Oralo za Nature.
Međutim, iskrenost možda nije u najboljem interesu kompanija koje se bave AI-jem i žele da privuku javnost svojom naprednom tehnologijom. Ako bi čatbotovi bili ograničeni da odgovaraju samo na ono što znaju, to bi moglo otkriti ograničenja tehnologije.
