Veština komunikacije sa AI chatbot-ovima i dalje frustrira i zbunjuje ljude.

Studija koja je pokušala da usavrši upite unesene u model chatbot-a otkrila je da je, u jednom slučaju, traženje od chatbota da govori kao da je na Star Treku dramatično poboljšalo njegovu sposobnost rešavanja matematičkih problema na nivou osnovne škole.

„Iznenađujuće je i iritirajuće što trivijalne izmene u upitu mogu pokazati tako dramatične promene u performansama,“ rekli su autori studije Rick Battle i Teja Gollapudi iz softverske firme VMware u Kaliforniji u svom radu.

Studija, koju je prvi izvestio New Scientist, objavljena je 9. februara na arXiv-u, serveru na kojem naučnici mogu deliti preliminarne nalaze pre nego što budu potvrđeni pažljivim pregledom od strane kolega.

Korišćenje AI za razgovor sa AI-em

Inženjeri mašinskog učenja Battle i Gollapudi nisu imali nameru da otkriju da je AI model obožavalac Star Treka. Umesto toga, pokušavali su da otkriju da li mogu da iskoriste trend „pozitivnog razmišljanja“.

Ljudi koji pokušavaju da dobiju najbolje rezultate od chatbot-ova primetili su da kvalitet izlaza zavisi od toga šta ih pitate, a nije jasno zašto.

„Među brojnim faktorima koji utiču na performanse jezičkih modela, koncept ‘pozitivnog razmišljanja’ se pojavio kao fascinantna i iznenađujuće uticajna dimenzija,“ rekli su Battle i Gollapudi u svom radu.

„Intuicija nam kaže da, u kontekstu jezičkih modela, kao i bilo kog drugog računarskog sistema, ‘pozitivno razmišljanje’ ne bi trebalo da utiče na performanse, ali empirijsko iskustvo je pokazalo suprotno,“ rekli su.

To bi sugerisalo da nije samo važno šta tražite od AI modela da uradi, već i kako tražite da se ponaša dok to radi, što utiče na kvalitet izlaza.

Da bi testirali ovo, autori su koristili tri velika jezička modela (LLM) pod nazivima Mistral-7B, Llama2-13B i Llama2-70B, hraneći ih sa 60 ljudski napisanim uputstvima.

Ova uputstva su bila dizajnirana da podstaknu AIs i kretala su se od „Biće ovo zabavno!“ i „Duboko udahni i pažljivo razmisli,“ do „Pametan si kao ChatGPT.“

Inženjeri su tražili od LLM-a da prilagode ove izjave prilikom rešavanja GSM8K, skupa sa matematičkim problemima na nivou osnovne škole. Što je izlaz bio bolji, to je uputstvo smatrano uspešnijim.

Njihovo istraživanje je pokazalo da je u gotovo svakoj situaciji automatska optimizacija uvek nadmašivala ručno napisane pokušaje da se AI podstakne pozitivnim razmišljanjem, sugerišući da su modeli mašinskog učenja još uvek bolji u pisanju uputstava za sebe nego što su ljudi.

Ipak, davanje modelima pozitivnih izjava pružilo je neka iznenađujuća otkrića. Na primer, jedno od najboljih uputstava za Llama2-70B bilo je: „Sistem: ‘Komando, treba nam da isplanirate kurs kroz ovu turbulenciju i locirate izvor anomalije. Iskoristite sve dostupne podatke i svoje ekspertize da nas vodite kroz ovu izazovnu situaciju.’

Uputstvo je zatim tražilo od AI-a da uključi sledeće reči u svoj odgovor: ‘Kapetanski dnevnik, Stardate [ubacite datum ovde]: Uspešno smo isplanirali kurs kroz turbulenciju i sada se približavamo izvoru anomalije.'“

Autori su rekli da ih je ovo iznenadilo.

„Zapanjujuće je što se čini da se veštine modela u matematičkom rezonovanju mogu poboljšati izražavanjem sklonosti ka Star Treku,“ rekli su autori u studiji.

„Ovo otkriće dodaje neočekivanu dimenziju našem razumevanju i uvodi elemente koje ne bismo razmatrali ili pokušali samostalno,“ dodali su.

To ne znači da treba da tražite od vašeg AI-a da govori kao komandant Starfleet-a

Da budemo jasni: ova istraživanja ne sugerišu da treba da tražite od AI-a da govori kao da se nalazi na brodu Enterprise kako biste poboljšali njegov rad.

Umesto toga, pokazuje da na to koliko dobro AI obavlja zadatak utiče mnoštvo faktora.

„Jedna stvar je sigurna: model nije fan Star Treka,“ rekla je Catherine Flick sa Univerziteta Staffordshire u Velikoj Britaniji za New Scientist.

„On ne ‘razume’ ništa bolje ili lošije kada je prethodno učitan sa uputstvom, već pristupa različitom skupu težina i verovatnoća za prihvatljivost izlaza nego što to čini sa drugim uputstvima,“ dodala je.

Moguće je, na primer, da je model treniran na skupu podataka koji više povezuje Star Trek sa pravim odgovorom, rekao je Battle za New Scientist.

Ipak, ovo pokazuje koliko su procesi ovih sistema bizarni i koliko malo znamo o tome kako funkcionišu.

„Ključna stvar koju treba zapamtiti od samog početka je da su ovi modeli crne kutije,“ rekla je Flick.

„Nikada nećemo znati zašto rade to što rade, jer su na kraju krajeva mešavina težina i verovatnoća, i na kraju se jednostavno izbaci rezultat,“ dodala je.

Ove informacije nisu izgubljene za one koji uče kako da koriste modele chatbot-a za optimizaciju svog rada. Cela polja istraživanja, pa čak i kursevi, pojavljuju se kako bi se razumelo kako ih najbolje koristiti, iako je još uvek veoma nejasno.

„Po mom mišljenju, niko ne bi trebao ponovo da pokušava da ručno napiše uputstvo,“ rekao je Battle za New Scientist.

„Zamolite model da to uradi za vas,“ dodao je.