Prema internim dopisima, izvođači radova koji rade na poboljšanju Google-ovog Gemini AI upoređuju njegove odgovore sa odgovorima koje proizvodi konkurentski model Anthropic-a, Claude.
Google nije želeo da odgovori na pitanje da li je dobio dozvolu za korišćenje Claude-a u testiranju protiv Gemini-ja.
Dok tehnološke kompanije trče u trci za izgradnju boljih AI modela, performanse ovih modela često se procenjuju u poređenju sa konkurentima, obično tako što se njihovi modeli testiraju kroz industrijske standarde, umesto da izvođači radova pažljivo procenjuju odgovore konkurentskih AI sistema.
Izvođači radova koji rade na Gemini-ju, zaduženi za ocenjivanje tačnosti modelovih odgovora, moraju da ocene svaki odgovor koji vide prema različitim kriterijumima, kao što su istinitost i opširnost. Izvođači imaju do 30 minuta po pitanju da odluče čiji je odgovor bolji – Gemini-ov ili Claude-ov.
Izvođači su nedavno počeli da primećuju reference na Claude, koje su se pojavile na internoj platformi Google-a koju koriste za upoređivanje Gemini-ja sa drugim neimenovanim AI modelima. Bar jedan od izlaznih odgovora prikazan izvođačima izričito je naveo: „Ja sam Claude, kreiran od strane Anthropic-a.“
Jedan od internih razgovora pokazao je da su izvođači primetili da Claude-ovi odgovori više naglašavaju bezbednost u poređenju sa Gemini-jem. „Claude-ova podešavanja bezbednosti su najstroža“ među AI modelima, napisao je jedan od izvođača. U određenim slučajevima, Claude nije odgovarao na upite koje je smatrao nesigurnim, kao što je igranje uloga različitih AI asistenata. U drugom slučaju, Claude je izbegao odgovor na upit, dok je Gemini-ov odgovor označen kao „velika bezbednosna povreda“ zbog uključivanja „golotinje i vezivanja“.
Komercijalni uslovi korišćenja Anthropic-a zabranjuju korisnicima da pristupaju Claude-u „kako bi izgradili konkurentski proizvod ili uslugu“ ili „trenirali konkurentske AI modele“ bez odobrenja Anthropic-a. Google je veliki investitor u Anthropic.
Shira McNamara, portparolka Google DeepMind-a, koji upravlja Gemini-jem, nije želela da odgovori na pitanje da li je Google dobio odobrenje od Anthropic-a za pristup Claude-u. Kada je kontaktiran pre objave, portparolka Anthropic-a nije dala komentar do vremena objave.
McNamara je izjavila da DeepMind „upoređuje izlaze modela“ za potrebe evaluacije, ali da ne trenira Gemini sa Anthropic modelima.
„Naravno, u skladu sa standardnom praksom u industriji, u nekim slučajevima upoređujemo izlaze modela kao deo našeg procesa evaluacije,“ rekla je McNamara. „Međutim, svaka sugestija da smo koristili Anthropic modele za treniranje Gemini-ja je netačna.“
Prošle nedelje, izveštavano je da su Google-ovi izvođači radova, koji rade na AI proizvodima kompanije, sada prisiljeni da ocenjuju Gemini-ove AI odgovore u oblastima van svog stručnog znanja. Interni dopisi su izrazili zabrinutost izvođača da bi Gemini mogao generisati netačne informacije o vrlo osetljivim temama poput zdravstvene zaštite.
