Stručnjaci za veštačku inteligenciju pozivaju na predloge za „najteži i najširi skup pitanja ikada“ kako bi pokušali da zbune današnje najnaprednije sisteme veštačke inteligencije — kao i one koji tek dolaze.
Kako izveštava Reuters, ovaj test — u struci nezaboravno poznat kao „Poslednji ispit čovečanstva“ — podržan je od strane Centra za bezbednost AI (CAIS) i firme Scale AI koja se bavi označavanjem podataka za obuku, a koja je tokom leta prikupila milijardu dolara, čime je ukupna vrednost dostigla 14 milijardi dolara.
Reuters ističe da su predlozi za ovaj „ispit“ otvoreni samo dan nakon što su objavljeni rezultati previewa novog OpenAI modela o1. Kao što primećuje izvršni direktor CAIS-a, Dan Hendryks, čini se da je o1 „uništio“ najpopularnije benchmarkove za rezonovanje.
Prethodne 2021. godine, Hendryks je koautorski napisao dva rada sa predlozima za testiranje AI modela, koji bi procenjivali da li modeli mogu nadmašiti studente na ispitima. U to vreme, testirani AI sistemi davali su odgovore gotovo nasumično, ali, kako primećuje Hendryks, modeli danas su „uništili“ testove iz 2021. godine.
Apsolutno razmišljanje
Dok su se kriterijumi testiranja iz 2021. godine prvenstveno fokusirali na matematiku i društvene nauke, „Poslednji ispit čovečanstva“ će, kako je rekao izvršni direktor CAIS-a, uključivati apstraktno rezonovanje kako bi bio teži. Dve institucije koje organizuju test takođe planiraju da zadrže kriterijume testa kao tajne i da ih ne objavljuju javnosti, kako bi osigurali da odgovori ne završe u podacima za obuku AI-a.
Rok za slanje pitanja je 1. novembar, a stručnjaci iz različitih oblasti, kao što su raketna tehnika i filozofija, pozvani su da podnesu pitanja koja bi bila teška za one van njihovih oblasti stručnosti. Nakon što prođu proces recenzije, pobednicima će biti ponuđena suautorska prava na rad povezan sa testom, kao i nagrade do 5.000 dolara koje sponzoriše Scale AI.
Iako organizatori traže širok spektar tipova pitanja, za Reuters su naglasili da na ispitu neće biti ničega što se tiče oružja, jer je to previše opasno za AI.
