OpenAI je objavio svoj GPT-4o System Card, istraživački dokument koji opisuje mere bezbednosti i procene rizika koje je kompanija sprovela pre nego što je pustila u javnost svoj najnoviji model.
GPT-4o je predstavljen javnosti u maju ove godine. Pre nego što je debitovao, OpenAI je angažovao eksternu grupu stručnjaka za bezbednost, poznatu kao „red teamers“, kako bi otkrili ključne rizike u modelu (što je prilično standardna praksa). Ispitivali su rizike kao što su mogućnost da GPT-4o kreira neovlašćene klonove nečijeg glasa, erotski i nasilni sadržaj, ili delove reprodukovanog zaštićenog audio materijala. Sada su rezultati objavljeni.
Prema OpenAI-ovom okviru, istraživači su procenili GPT-4o kao model sa „srednjim“ rizikom. Ukupni nivo rizika određen je na osnovu najvišeg nivoa rizika iz četiri glavne kategorije: sajber bezbednost, biološke pretnje, ubeđivanje i autonomija modela. Svi ovi rizici su ocenjeni kao niski, osim ubeđivanja, gde su istraživači otkrili da neki uzorci teksta generisani od strane GPT-4o mogu biti bolji u ubeđivanju čitalaca nego tekstovi pisani od strane ljudi, iako uzorci modela nisu bili u celini ubedljiviji.
Portparolka OpenAI-a, Lindsay McCallum Rémy, izjavila je za The Verge da system card uključuje procene pripremljenosti koje je kreirao interni tim, zajedno sa eksternim testiranjima koje su obavili METR (Model Evaluation and Threat Research) i Apollo Research, obe organizacije koje se bave procenom AI sistema.
Ovo nije prva system card koju je OpenAI objavio; slična istraživanja su sprovedena za GPT-4, GPT-4 sa vizijom i DALL-E 3. Međutim, OpenAI objavljuje ovu system card u ključnom trenutku, kada je kompanija izložena stalnim kritikama u vezi sa svojim bezbednosnim standardima, kako od strane svojih zaposlenih, tako i od strane državnih senatora. Neposredno pre objavljivanja system card-a za GPT-4o, The Verge je ekskluzivno izvestio o pismu senatora Elizabeth Warren i predstavnice Lori Trahan, koje su tražile odgovore o tome kako OpenAI postupa sa zviždačima i bezbednosnim pregledima. To pismo ističe mnoge bezbednosne probleme koji su javno izneti, uključujući i kratkotrajno smenjivanje generalnog direktora Sama Altmana iz kompanije 2023. godine zbog zabrinutosti upravnog odbora, kao i odlazak jednog izvršnog direktora za bezbednost, koji je tvrdio da su „bezbednosna kultura i procesi potisnuti u drugi plan u odnosu na sjajne proizvode“.
Pored toga, kompanija uvodi veoma sposoban multimodalni model neposredno pred predsedničke izbore u SAD. Postoji očigledan potencijalni rizik da model nenamerno širi dezinformacije ili bude zloupotrebljen od strane zlonamernih aktera, iako OpenAI naglašava da kompanija testira realne scenarije kako bi sprečila zloupotrebu.
Sve ovo naglašava potrebu za većom transparentnošću OpenAI-a, ne samo u pogledu podataka za treniranje modela (da li je treniran na YouTube-u?), već i u vezi sa bezbednosnim testiranjem. U Kaliforniji, gde se nalazi OpenAI i mnogi drugi vodeći AI laboratoriji, senator Scott Wiener radi na usvajanju zakona kojim bi se regulisali veliki jezički modeli, uključujući ograničenja koja bi kompanije učinila pravno odgovornima ako njihov AI bude korišćen na štetan način. Ako taj zakon bude usvojen, najnoviji modeli OpenAI-a će morati da ispunjavaju državne procene rizika pre nego što budu dostupni javnosti. Međutim, najvažniji zaključak iz GPT-4o System Card-a je da, uprkos angažovanju eksternih stručnjaka i testera, veliki deo odgovornosti za procenu rizika ostaje na samom OpenAI-u.
