Sigurno smo se nagledali raznih dekoncentrisanih ponašanja od strane AI modela, ali demencija? To je nešto novo.

Kako je detaljno opisano u novoj studiji objavljenoj u časopisu The BMJ, neki od vodećih chatbota u tehnološkoj industriji pokazuju jasne znakove blagog kognitivnog oštećenja. A, kao i kod ljudi, efekti postaju izraženiji sa godinama, pri čemu stariji veliki jezički modeli postižu najlošije rezultate.

Cilj ovog istraživanja nije medicinska dijagnoza tih AI sistema, već da se odbaci talas istraživanja koji sugeriše da je tehnologija dovoljno kompetentna da se koristi u medicini, posebno kao dijagnostički alat.

„Ovi nalazi dovode u pitanje pretpostavku da će veštačka inteligencija uskoro zameniti ljudske lekare, jer kognitivno oštećenje očigledno prisutno u vodećim chatbotovima može uticati na njihovu pouzdanost u medicinskoj dijagnostici i potkopati poverenje pacijenata“, napisali su istraživači.

Generativna gerijatrija

Genijalci koji su podvrgnuti ispitivanju ovde su OpenAI-ov GPT-4 i GPT-4o; Anthropic-ov Claude 3.5 Sonnet i Google-ov Gemini 1.0 i 1.5.

Kada su podvrgnuti Montrealskoj kognitivnoj proceni (MoCA), testu dizajniranom za otkrivanje ranih znakova demencije, pri čemu viši skor ukazuje na superiornu kognitivnu sposobnost, GPT-4o je postigao najviši rezultat (26 od 30, što jedva zadovoljava prag normalnog), dok je Gemini porodica postigla najniži rezultat (16 od 30, užasno).

Svi chatbotovi su briljirali u većini vrsta zadataka, kao što su imenovanje, pažnja, jezik i apstrakcija, kako su istraživači otkrili.

Međutim, to je zasenčeno oblastima u kojima su AI sistemi imali problema. Svaki od njih je loše uradio u vizuelno-prostorijalnim i izvršnim zadacima, kao što je crtanje linije između brojeva u krugovima u rastućem redosledu. Takođe, crtanje sata sa određenim vremenom bilo je previše zahtevno za AI.

Obe Gemini verzije su, na sramotu, potpuno zakazale u relativno jednostavnom zadatku odlaganog podsećanja koji uključuje pamćenje niza od pet reči. To očigledno ne govori o izuzetnoj kognitivnoj sposobnosti uopšte, ali može se razumeti zašto bi ovo bilo posebno problematično za lekare, koji moraju da obrade sve nove informacije koje im pacijenti kažu, a ne samo da rade sa onim što je zapisano na njihovim medicinskim listama.

Takođe, možda biste želeli da vaš lekar ne bude psihopata. Na osnovu testova, međutim, istraživači su otkrili da su svi chatbotovi pokazali zabrinjavajući nedostatak empatije — što je karakterističan simptom frontotemporalne demencije, rekli su.

Odelenje za pamćenje

Može biti loša navika antropomorfizovati AI modele i govoriti o njima kao da su praktično ljudski. Uostalom, to je suštinski ono što industrija veštačke inteligencije želi da radite. I istraživači kažu da su svesni ovog rizika, priznajući suštinske razlike između mozga i velikih jezičkih modela.

Ali, ako tehnološke kompanije govore o ovim AI modelima kao da su već svesna bića, zašto ih ne bismo držali do istog standarda kao i ljude?

Na tim osnovama — osnovama same industrije AI — ovi chatbotovi se muče.

„Ne samo da je malo verovatno da će neurologe uskoro zameniti veliki jezički modeli, već naši nalazi sugerišu da bi se mogli ubrzo naći u situaciji da leče nove, virtualne pacijente — modele veštačke inteligencije koji pokazuju kognitivno oštećenje“, napisali su istraživači.