OpenAI je nedavno predstavio svoj o3 model, koji se smatra najmoćnijim AI-jem do sada, ali s jednim velikim nedostatkom: za njegovo pokretanje potrebno je ogroman novac.
Predstavljen pre nešto više od nedelju dana, o3 koristi tehniku poznatu kao test-time compute — što znači da o3 uzima više vremena da „razmišlja“ i istražuje različite mogućnosti pre nego što iznese odgovor. Inženjeri OpenAI-a se nadaju da će ovaj AI model pružiti bolje odgovore na složene upite, umesto da brzo dođe do pogrešnih zaključaka.
Izgleda da je to bar delimično uspelo. U svom najmoćnijem „high-compute“ režimu, o3 je postigao 87,5 procenata na ARC-AGI testu dizajniranom za testiranje jezičkih modela, prema rečima tvorca testa Fransoa Šolea. To je skoro tri puta više od najboljeg rezultata prethodnog o1 modela, koji je imao samo 32 procenta.
Međutim, sve to temeljno razmišljanje dolazi sa enormnim troškovima. Da bi postigao ovaj izuzetan rezultat, o3 je koristio računarstvo vredno više od 1.000 dolara po zadatku — više od 170 puta više od verzije o3 sa manjim napajanjem, i daleko više od svog prethodnika, koji je koštao manje od 4 dolara po zadatku.
Ovi troškovi komplikuju tvrdnje industrije da je o3-ova performansa ubedljivo dokazala da su strahovi da poboljšanje AI modela putem „skaliranja,“ ili obezbeđivanja više računske moći i podataka za obuku, dostigli svoj limit.
S jedne strane, činjenica da je o3 postigao skoro tri puta bolji rezultat od o1, koji je objavljen pre samo tri meseca, deluje kao jasan dokaz da poboljšanja u AI-u ne usporavaju.
Međutim, kritika skaliranja je da ono donosi opadajuće koristi. Iako su dobitci u velikoj meri postignuti promenom načina na koji AI model „razmišlja,“ umesto samo skaliranjem, dodati troškovi su teško ignorišući.
Čak i verzija o3 sa manjom računskom snagom, koja je postigla još uvek značajan rezultat od 76 procenata na tom testu, koštala je oko 20 dolara po zadatku. To je relativna povoljnost, ali ipak mnogo skuplje od njegovih prethodnika — i s obzirom na to da ChatGPT Plus košta samo 25 dolara mesečno, nije jasno koliko će ovaj proizvod za korisnike moći da postane pametniji, a da OpenAI ne bude duboko u gubicima.
U blog postu u kojem objašnjava rezultate na benchmarku, Chollet tvrdi da, iako o3 približava performansama ljudskog nivoa, „to dolazi po visokoj ceni i još uvek nije ekonomično.“
„Možete platiti ljudima da rešavaju ARC-AGI zadatke za otprilike 5 dolara po zadatku (znamo, mi smo to radili)“, napisao je, „dok trošite samo delove centa na energiju.“
Međutim, on je uverljiv u tvrdnji da će „odnos cene i performansi verovatno dramatično poboljšati u narednim mesecima i godinama.“
I na to ćemo morati da čekamo i vidimo. Trenutno, o3 nije dostupan javnosti, a „mini“ verzija bi trebalo da bude lansirana u januaru.
