OpenAI, tvorac ChatGPT-a, radi na novom pristupu svojim modelima veštačke inteligencije u projektu pod kodnim imenom „Strawberry“, prema izvoru upoznatom sa situacijom i internim dokumentima koje je pregledao Reuters.
Ovaj projekat, čiji detalji ranije nisu bili objavljeni, dolazi u trenutku kada startup podržan od strane Microsofta želi da pokaže da su modeli koje nudi sposobni za napredno zaključivanje.
Timovi unutar OpenAI-a rade na „Strawberry“ projektu, prema nedavnom internom dokumentu kompanije koji je Reuters pregledao u maju. Reuters nije mogao da utvrdi tačan datum dokumenta, koji sadrži plan kako OpenAI namerava da koristi „Strawberry“ za istraživanje. Izvor je opisao plan kao rad u toku. Nije poznato koliko je „Strawberry“ blizu javnog objavljivanja.
Kako tačno funkcioniše „Strawberry“ je strogo čuvana tajna čak i unutar OpenAI-a, rekao je izvor.
Dokument opisuje projekat koji koristi „Strawberry“ modele sa ciljem da omogući AI ne samo da generiše odgovore na pitanja, već i da planira unapred dovoljno da samostalno i pouzdano pretražuje internet kako bi obavio ono što OpenAI naziva „duboko istraživanje“, prema izvoru.
Ovo je nešto što AI modeli do sada nisu uspeli da postignu, prema intervjuima sa više od desetak istraživača veštačke inteligencije.
Upitan o „Strawberry“ projektu i detaljima iz ovog članka, portparol OpenAI-a je u izjavi rekao: „Želimo da naši AI modeli vide i razumeju svet više kao mi. Kontinuirano istraživanje novih AI mogućnosti je uobičajena praksa u industriji, sa zajedničkim verovanjem da će se ove sisteme vremenom poboljšati u zaključivanju.”
Portparol nije direktno odgovorio na pitanja o „Strawberry“ projektu.
Projekat „Strawberry“ je ranije bio poznat kao Q*, za koji je Reuters prošle godine izvestio da je unutar kompanije već viđen kao proboj.
Dva izvora su opisala da su početkom ove godine videla demo verzije Q* koje su bile sposobne da odgovaraju na složena naučna i matematička pitanja koja su izvan domašaja današnjih komercijalno dostupnih modela.
Drugi izvor je rekao da je OpenAI interno testirao AI koja je postigla preko 90% na MATH datasetu, što je merilo za matematičke probleme na nivou šampionata. Reuters nije mogao da utvrdi da li je ovo bio „Strawberry“ projekat.
Na internom sastanku u utorak, OpenAI je prikazao demo istraživačkog projekta za koji je tvrdio da poseduje nove sposobnosti zaključivanja slične ljudskim, prema Bloomberg-u. Portparol OpenAI-a je potvrdio sastanak, ali je odbio da pruži detalje o sadržaju. Reuters nije mogao da utvrdi da li je demonstrirani projekat bio „Strawberry“.
OpenAI se nada da će inovacija značajno poboljšati sposobnosti zaključivanja svojih AI modela, rekao je izvor upoznat sa situacijom, dodajući da „Strawberry“ uključuje specijalizovan način obrade AI modela nakon što su prethodno obučeni na velikim datasetovima.
Istraživači sa kojima je Reuters razgovarao kažu da je zaključivanje ključno za postizanje ljudskog ili nadljudskog nivoa inteligencije u AI.
Iako veliki jezički modeli već mogu da sažimaju guste tekstove i sastavljaju elegantnu prozu mnogo brže od bilo kojeg čoveka, tehnologija često podbacuje kod problema sa zdravim razumom čija rešenja izgledaju intuitivno ljudima, kao što su prepoznavanje logičkih grešaka i igranje iks-oks.
Poboljšanje zaključivanja u AI modelima se smatra ključem za otključavanje sposobnosti modela da rade sve, od velikih naučnih otkrića do planiranja i izrade novih softverskih aplikacija.
Generalni direktor OpenAI-a, Sam Altman, rekao je ranije ove godine da će „najvažnija područja napretka u AI biti oko sposobnosti zaključivanja.“
Druge kompanije poput Google-a, Meta-e i Microsoft-a takođe eksperimentišu sa različitim tehnikama za poboljšanje zaključivanja u AI modelima, kao i većina akademskih laboratorija koje se bave istraživanjem AI. Istraživači se, međutim, razlikuju u mišljenju da li veliki jezički modeli (LLM) mogu da inkorporišu ideje i dugoročno planiranje u svoje predikcije. Na primer, jedan od pionira moderne veštačke inteligencije, Yann LeCun, koji radi u Meta-i, često je govorio da LLM-ovi nisu sposobni za ljudsko zaključivanje.
Izazovi u AI
„Strawberry“ je ključna komponenta plana OpenAI-a za prevazilaženje tih izazova, rekao je izvor upoznat sa situacijom. Dokument koji je pregledao Reuters opisuje šta „Strawberry“ ima za cilj da omogući, ali ne i kako.
Kompanija je u poslednjih nekoliko meseci privatno signalizirala developerima i drugim spoljnim stranama da je na ivici objavljivanja tehnologije sa značajno naprednijim sposobnostima zaključivanja, prema četiri osobe koje su čule prezentacije kompanije. Oni su odbili da budu imenovani jer nisu ovlašćeni da govore o privatnim stvarima.
„Strawberry“ uključuje specijalizovan način post-obuke generativnih AI modela OpenAI-a, ili prilagođavanje osnovnih modela za poboljšanje njihove performanse na specifične načine nakon što su već obučeni na velikim količinama generalizovanih podataka, rekao je jedan od izvora.
Faza post-obuke u razvoju modela uključuje metode kao što je fino podešavanje, proces koji se koristi na gotovo svim jezičkim modelima danas i koji ima mnogo varijacija, poput davanja povratnih informacija modelu na osnovu njegovih odgovora i unošenja primera dobrih i loših odgovora.
„Strawberry“ ima sličnosti sa metodom razvijenom na Stanfordu 2022. godine nazvanom „Self-Taught Reasoner“ ili „STaR“, rekao je jedan od izvora upoznatih sa situacijom. STaR omogućava AI modelima da se samostalno unapređuju na više nivoe inteligencije putem iterativnog stvaranja sopstvenih podataka za obuku, i u teoriji bi mogao da se koristi da jezički modeli prevaziđu ljudski nivo inteligencije, rekao je jedan od njegovih tvoraca, profesor sa Stanforda, Noah Goodman, za Reuters.
„Mislim da je to i uzbudljivo i zastrašujuće… ako stvari nastave tim pravcem, imamo ozbiljne stvari o kojima kao ljudi treba da razmišljamo,“ rekao je Goodman. Goodman nije povezan sa OpenAI-jem i nije upoznat sa projektom „Strawberry“.
Među sposobnostima koje OpenAI želi da omogući sa „Strawberry“-jem su izvršavanje dugoročnih zadataka (LHT), kaže dokument, misleći na složene zadatke koji zahtevaju od modela da planira unapred i izvrši niz akcija tokom dužeg vremenskog perioda, objasnio je prvi izvor.
Da bi to postigao, OpenAI kreira, obučava i procenjuje modele na onome što kompanija naziva „deep-research“ datasetom, prema internim dokumentima OpenAI-a. Reuters nije mogao da utvrdi šta se nalazi u tom datasetu ili koliko dugo bi produženi period značio.
OpenAI želi da njegovi modeli koriste ove sposobnosti da autonomno pretražuju internet uz pomoć „CUA“, ili računarski asistenta, koji može da preduzima akcije na osnovu svojih nalaza, prema dokumentu i jednom od izvora. OpenAI takođe planira da testira svoje sposobnosti na obavljanju poslova softverskih i inženjera mašinskog učenja.