Tim zdravstvenih stručnjaka ocenjivao je i botove i ljudske odgovore na skali od pet tačaka, procenjujući „kvalitet informacija“ i „empatiju“. U studiji, kliničari su preferirali više odgovor doktora nego chatbota u 78,6 posto od 585 scenarija. Odgovori doktora ocenjeni su 3,6 puta više u kvalitetu i 9,8 puta više u empatiji od odgovora chatbota.
Veliki razlog zašto su doktori bili bolji u studiji je taj što su njihovi odgovori bili kratki i štede vreme, dok je ChatGPT davao opširne odgovore. Na primer, doktor je kratko posavetovao pacijenta koji se žalio na tvrdu kvržicu ispod kože penisa da zakaže termin kod svog doktora ili urologa, dok je ChatGPT detaljno opisao mogućnost raka penisa.
ChatGPT može biti jednako dobar kao i doktori, ako ne i bolji, u odgovaranju na medicinska pitanja pacijenata, prema novoj studiji sprovedenoj na Univerzitetu Kalifornije San Diego, John Hopkins i drugim univerzitetima. Istraživači su postavili ChatGPT 195 pitanja postavljena na Redditov AskDocs forum i uporedili kvalitet i empatiju odgovora čet bota s odgovorima proverenih lekara na Redditu. Slični odgovori su generisani za lečenje dugotrajnog kašlja.
