Naučno otkrivanje je jedna od najsofisticiranijih ljudskih aktivnosti. Prvo, naučnici moraju razumeti postojeće znanje i identifikovati značajnu prazninu.

Nakon toga, moraju formulisati istraživačko pitanje i dizajnirati i sprovesti eksperiment u potrazi za odgovorom.

Zatim, moraju analizirati i interpretirati rezultate eksperimenta, što može dovesti do još jednog istraživačkog pitanja.

Može li se ovaj složen proces automatizovati? Prošle nedelje, Sakana AI Labs je objavio kreiranje „AI naučnika“ – sistema veštačke inteligencije za koji tvrde da može da pravi naučna otkrića u oblasti mašinskog učenja potpuno automatizovano.

Koristeći generativne velike jezičke modele (LLM) poput onih iza ChatGPT-a i drugih AI chatbota, sistem može da razmišlja, odabere obećavajuću ideju, kodira nove algoritme, prikazuje rezultate i piše rad koji sumira eksperiment i njegove nalaze, uz reference.

Sakana tvrdi da ovaj AI alat može da obavi ceo životni ciklus naučnog eksperimenta po ceni od samo 15 američkih dolara po radu – manje od cene ručka za naučnika.

Ovo su veliki zahtevi. Da li su oni osnovani? I čak i ako jesu, da li bi armija AI naučnika koja proizvodi istraživačke radove brzinom koja nije ljudska zaista bila dobra vest za nauku?

Kako računar može ‘da radi nauku’

Mnogi naučni radovi se obavljaju otvoreno, a gotovo sve naučno znanje je negde zapisano (inače ne bismo imali način da „znamo“ to). Milioni naučnih radova su slobodno dostupni online u repozitorijumima kao što su arXiv i PubMed.

LLM-ovi obučeni s ovim podacima hvataju jezik nauke i njegove obrasce. Stoga nije iznenađujuće što generativni LLM može da proizvede nešto što izgleda kao dobar naučni rad – apsorbovao je mnoge primere koje može da kopira.

Ono što je manje jasno je da li AI sistem može da proizvede interesantan naučni rad. Ključno je da dobra nauka zahteva novitet.

Ali da li je to zanimljivo?

Naučnici ne žele da budu obavešteni o stvarima koje su već poznate. Umesto toga, žele da saznaju nove stvari, posebno one koje su značajno različite od onoga što je već poznato. To zahteva prosudbu o opsegu i vrednosti doprinosa.

Sakana sistem pokušava da adresira zanimljivost na dva načina. Prvo, „ocenjuje“ nove ideje za rad na osnovu sličnosti sa postojećim istraživanjima (indeksiranim u repozitorijumu Semantic Scholar). Sve što je previše slično se odbacuje.

Drugo, Sakana sistem uvodi „recenziju“ – koristeći drugi LLM za procenu kvaliteta i noviteta generisanog rada. I ovde, postoji mnogo primera recenzija dostupnih online na sajtovima kao što je openreview.net koji mogu da vode kako da se kritikuje rad. LLM-ovi su takođe upili ove primere.

AI može biti loš sudija output-a AI-a

Povratne informacije o radu Sakana AI su pomešane. Neki su ga opisali kao proizvodnju „neprekidnog naučnog otpada“.

Čak i sama procena sistema o svojim izlazima ocenjuje radove kao slabe, u najboljem slučaju. Ovo će verovatno poboljšati kako tehnologija evoluira, ali ostaje pitanje da li su automatski naučni radovi vredni.

Sposobnost LLM-ova da procene kvalitet istraživanja je takođe otvoreno pitanje. Moje vlastito istraživanje (koje će uskoro biti objavljeno u časopisu Research Synthesis Methods) pokazuje da LLM-ovi nisu baš dobri u proceni rizika od pristrasnosti u medicinskim istraživanjima, iako će se ovo možda poboljšati s vremenom.

Sakana sistem automatizuje otkrića u računarskim istraživanjima, što je mnogo lakše nego u drugim vrstama nauke koje zahtevaju fizičke eksperimente. Sakana eksperimenti se obavljaju putem koda, koji je takođe strukturirani tekst koji LLM-ovi mogu biti obučeni da generišu.

AI alati su za podršku naučnicima, a ne za njihovu zamenu

Istraživači u oblasti veštačke inteligencije razvijaju sisteme za podršku nauci već decenijama. S obzirom na ogromne količine objavljenih istraživanja, čak i pronalaženje publikacija relevantnih za specifično naučno pitanje može biti izazov.

Specijalizovani alati za pretragu koriste AI kako bi pomogli naučnicima da pronađu i sintetišu postojeći rad. Ovo uključuje već pomenuti Semantic Scholar, kao i novije sisteme kao što su Elicit, Research Rabbit, scite i Consensus.

Alati za tekstualno istraživanje kao što je PubTator produbljuju analizu radova kako bi identifikovali ključne tačke fokusa, kao što su specifične genetske mutacije i bolesti, i njihove utvrđene odnose. Ovo je posebno korisno za kuriranje i organizovanje naučnih informacija.

Mašinsko učenje je takođe korišćeno za podršku sintezi i analizi medicinskih dokaza, u alatima kao što je Robot Reviewer. Sažeci koji upoređuju i kontrastiraju tvrdnje u radovima iz Scholarcy pomažu u izvođenju pregleda literature.

Svi ovi alati imaju za cilj da pomognu naučnicima da efikasnije obavljaju svoj posao, a ne da ih zamene.

AI istraživanje može pogoršati postojeće probleme

Dok Sakana AI tvrdi da ne vidi smanjenje uloge ljudskih naučnika, kompanijina vizija „potpuno AI-driven naučne ekosistem“ mogla bi imati velike posledice za nauku.

Jedna zabrinutost je da bi, ako AI-generisani radovi preplave naučnu literaturu, budući AI sistemi mogli biti obučeni na AI izlazima i doživeti „model kolaps“. To znači da bi mogli postati sve manje efikasni u inovacijama.

Međutim, posledice za nauku sežu mnogo dalje od uticaja na same AI naučne sisteme.

Već postoje loši akteri u nauci, uključujući „paper mills“ koji proizvode lažne radove. Ovaj problem će se samo pogoršati kada se naučni rad može proizvesti za 15 USD i nejasan početni upit.

Potrebna provera grešaka u gomili automatski generisanih istraživanja mogla bi brzo nadmašiti kapacitet stvarnih naučnika. Sistem recenzije radova je već u velikoj meri neefikasan, i dodavanje većeg broja radova upitne kvalitete neće ga popraviti.

Nauka se fundamentalno zasniva na poverenju. Naučnici naglašavaju integritet naučnog procesa kako bismo mogli biti sigurni da naše razumevanje sveta (i sada, mašina sveta) jeste validno i poboljšano.

Naučni ekosistem u kojem su AI sistemi ključni igrači postavlja fundamentalna pitanja o značenju i vrednosti ovog procesa i o nivou poverenja koji treba imati u AI naučnike. Da li je ovo vrsta naučnog ekosistema koju želimo?