Home AIKako LLM modeli prevode sa jednog jezika na drugi i zašto ponekad deluje da je prevod bukvalan ili netačan

Kako LLM modeli prevode sa jednog jezika na drugi i zašto ponekad deluje da je prevod bukvalan ili netačan

od itn
LLM modeli

Sve više ljudi koristi velike jezičke modele (LLM) poput Groka ili ChatGPT-a za prevođenje, privučeni njihovom sposobnošću da razumeju kontekst i generišu prirodan tekst. Međutim, ovi modeli često daju bukvalne ili netačne prevode, posebno za jezike poput srpskog, koji su manje zastupljeni u podacima za obuku, ili za idiome i kolokvijalizme. Ovaj tekst objašnjava kako LLM-ovi prevode, zašto njihovi prevodi ponekad zvuče neprirodno i kako se suočavaju sa ograničenjima.

Naime, veliki jezički modeli (Large Language Models – LLM), ne primenjuju tradicionalne metode prevođenja karakteristične za klasične alate poput Google Translate-a. Umesto doslovnog prevođenja sa jednog jezika na drugi, ovi modeli generišu tekst na ciljnom jeziku koristeći obrasce naučene tokom obuke na velikim multijezičnim korpusima. Zahvaljujući postupku koji se zasniva na statističkoj verovatnoći i tehnikama kao što je prenos znanja (transfer learning), modeli mogu da kreiraju odgovore i output koji zvuče prirodno i smisleno čak i na jezicima poput srpskog, iako za njih nema dovoljno podataka.

LLM modeliMultijezični trening: Osnova za generisanje odgovora

Tokom procesa obuke, LLM modeli su izloženi velikim količinama tekstualnih podataka na različitim jezicima, uključujući engleski, srpski, španski, kineski i mnoge druge. Ovi podaci obuhvataju raznovrsne izvore kao što su knjige, naučni članci, veb-stranice i sadržaj sa društvenih mreža. Iako engleski jezik dominira u trening setovima zbog svoje rasprostranjenosti, značajan deo podataka uključuje i druge jezike, što omogućava modelima da razumeju i generišu tekst na tim jezicima. Za razliku od tradicionalnih sistema za prevođenje, koji analiziraju tekst na izvornom jeziku, prevode ga i zatim oblikuju na ciljnom jeziku, LLM modeli direktno generišu odgovor na željenom jeziku, oslanjajući se na naučene obrasce. Na upite na srpskom, model ne prevodi engleski odgovor, već konstruiše odgovor koristeći gramatičke, sintaksne i leksičke obrasce srpskog jezika iz treninga.

Kako LLM prevodi sa srpskog na engleski i obrnuto

Za razliku od drugih programa i aplikacija za prevođenje, veliki jezički modeli ne prevode tekst tako što ga mehanički razlažu na delove i prevode reč po reč na drugi jezik. Ako unesete rečenicu ‘Svet je lep’ i tražite prevod na engleski, model će odmah dati ‘The world is beautiful’, jer zna kako taj izraz glasi na engleskom. Isto važi i u suprotnom smeru: ako unesete ‘Life is a journey’, dobićete ‘Život je putovanje’. Model, dakle, ne radi doslovno prevođenje, već nastoji da “razume” smisao teksta i prenese ga tako da zvuči prirodno na drugom jeziku.

Šta kada ne postoje odgovarajući termini i reči na srpskom

Kada određena reč, izraz ili pojam ne postoje u trening podacima na srpskom jeziku ili jednostavno nisu u duhu srpskog jezika, veliki jezički modeli primenjuju različite postupke kako bi odgovor zvučao prirodno i bio razumljiv. Ovo se najčešće odnosi na tehničke termine, kao što je „prompt engineering“, zatim na nove reči ili na idiome koji nemaju direktan, odnosno tačan prevod. U tim slučajevima model može da potraži najbliži postojeći ekvivalent na srpskom, kao što je, na primer, za „blockchain“, prihvaćena transliteracija „blokčejn“ ili opisni prevod „lančani blokovi“.

Ukoliko ne postoji ustaljen prevod, model pribegava transliteraciji, zadržavajući latiničnu ili ćiriličnu verziju stranog termina, što je naročito uobičajeno u tekstovima koji imaju dosta tehničkih pojmova (npr. „AI“). Kod idioma model će često pribegavati parafraziranju ili objašnjenju, izbegavajući doslovan prevod, pa će englesko „kick the bucket“ prevesti kao „protegnuti papke“ umesto besmislenog „udariti kantu“. U situacijama kada prevod nedostaje, moguće je i da model zadrži engleski termin, uz dodato objašnjenje na srpskom, kao u primeru „Large Language Model (LLM) je veliki jezički model“. Za potpuno nove ili nepoznate izraze model će često kombinovati definicije na engleskom sa srpskim, stvarajući koherentan odgovor po uzoru na slične primere iz obuke.

Ovi postupci omogućavaju veliku fleksibilnost, ali nisu bez ograničenja: kod retkih termina ili lokalnih idioma odgovori mogu zvučati manje precizno ili suviše formalno, što se delimično ispravlja dodatnom obukom modela (fine-tuning).

LLM-ovi izbegavaju bukvalne prevode engleskog slenga. Ipak, ograničena zastupljenost specifičnih idioma ili lokalnih referenci u trening podacima može dovesti do generičkih ili formalnih odgovora. U takvim slučajevima, model se oslanja na opšte obrasce ili parafraziranje da bi odgovor bio razumljiv i prikladan, pri čeme se često gubi preciznost u prevodu.

LLM modeliOgraničenja i potencijalni problemi

Iako LLM modeli imaju veliku fleksibilnost u prevođenju, njihove mogućnosti nisu bez ograničenja. To se naročito odnosi na jezike koji su slabo zastupljeni na internetu ili za koje nema dovoljno podataka za obuku. U takvim slučajevima, prevodi mogu biti nepouzdani, a kod ređih dijalekata i manje korišćenih jezika često i netačni.

Kod stručnih i tehničkih tema, gde je najviše izvora dostupno na engleskom, model se najčešće oslanja upravo na te podatke. To može da utiče na izbor termina i na način na koji se oni prevode na srpski jezik. Idiomi i lokalni žargon predstavljaju dodatni izazov, jer prevodi mogu zvučati suviše doslovno ili neprirodno.

Ovi nedostaci postepeno se ublažavaju kroz stalno unapređivanje modela i dodavanje novih, raznovrsnijih skupova podataka i tekstova.

Milena Šović,  M.Sc.,CSM, CSPO
AI Implementation Specialist & Content Trainer 

Banner

Banner

Možda će vam se svideti i