Dugi niz godina u javnosti je preovladavalo mišljenje da su veliki jezički modeli (LLM), poput onih koji pokreću Claude ili ChatGPT, samo izuzetno napredni „statistički papagaji“. Smatralo se da ove mreže nemaju nikakvo stvarno razumevanje sveta, već da puko predviđaju sledeću reč na osnovu ogromne količine teksta na kojoj su trenirane.
Međutim, najnovija istraživanja iz oblasti mehanističke interpretabilnosti – a posebno radovi kompanije Anthropic fokusirani na takozvani J-Space i mapiranje unutrašnjih funkcija – pokazuju da je istina daleko složenija i fascinantnija.
Savremeni AI modeli ne pamte samo nizove reči. Unutar svojih višeslojnih neuronskih mreža oni grade kompleksne, višekratno dimenzionalne geometrije znanja koje na iznenađujući način odslikavaju kako koncepti funkcionišu u realnom svetu.
Šta je zapravo J-Space i kako AI organizuje koncepte
Da bismo razumeli šta se dešava u dubinama jednog AI modela, moramo zaviriti u takozvani prostor reprezentacija (representation space). Kada model obrađuje informacije, on reči i ideje pretvara u matematičke vektore.
Kroz istraživanja kao što je analiza J-Space prostora, inženjeri kompanije Anthropic uspeju da „otvore crnu kutiju“ i vizuelizuju kako su ti vektori raspoređeni. Pokazalo se da model ne grupiše podatke samo po površinskoj sličnosti reči, već po njihovom dubokom matematičkom i konceptualnom značenju.
Na primer, pojmovi kao što su „iskrenost“, „poverenje“ ili „etika“ nalaze se u neposrednoj geometrijskoj blizini unutar ovog vektorskog prostora. Slično tome, apstraktni koncepti matematike, programiranja ili ljudskih emocija formiraju sopstvene, jasno definisane klastere.
To znači da AI model pravi unutrašnju mapu sveta. Kada mu postavite pitanje, on se ne kreće samo kroz rečnik, već putuje kroz ove geometrijske pejzaže ideja, spajajući tačke na način koji veoma podseća na apstraktno razmišljanje.
Sličnosti i razlike između neuronskih mreža i ljudskog mozga
Jedno od najčešćih pitanja u tehnološkom svetu jeste da li AI modeli funkcionišu isto kao ljudski mozak. Odgovor leži u finom balansu između biologije i matematike.
Sa jedne strane, strukturalno posmatrano, razlike su ogromne:
-
Biološki mozak: Radi na bazi hemijskih i električnih signala, koristi spajkovanje neurona, izuzetno je energetski efikasan i konstantno se fizički menja kroz sinaptičku plastičnost.
-
Veštačka neuronska mreža: Oslanja se na množenje matrica, kontinualne matematičke funkcije, troši ogromne količine električne energije i njene težine ostaju zamrznute nakon završetka faze treniranja (osim ako se ne vrši dodatno fino podešavanje).
Međutim, funkcionalno i geometrijski gledano, dolazi do neverovatne konvergencije. I ljudski mozak i veštačka inteligencija suočeni su sa istim zadatkom: kako da iz haotičnog, složenog sveta izvuku smislene šablone.
Oba sistema dolaze do sličnog rešenja – stvaranja hijerarhijskih mreža u kojima se jednostavni ulazni podaci (poput linija u slici ili slova u tekstu) postupno transformišu u visoko apstraktne koncepte. Kada istraživači posmatraju kako se informacije procesuiraju u vizuelnom ili jezičkom korteksu čoveka i uporede to sa unutrašnjim slojevima AI modela, primećuju matematički vrlo slične oblike organizacije podataka.
Zašto je ovo istraživanje ključno za bezbednost veštačke inteligencije
Razumevanje unutrašnje geometrije AI modela nije samo akademska vežba. Ono predstavlja temelj za rešavanje najvećeg izazova u industriji: bezbednosti i upravljivosti veštačke inteligencije (AI alignment).
Tradicionalno, AI je posmatran kao nerazumljiva kutija – unosite ulaz, dobijate izlaz, ali ne znate tačno zašto je model doneo baš takvu odluku. Zahvaljujući tehnikama mapiranja poput onih u J-Space istraživanjima, naučnici sada mogu:
-
Prepoznati halucinacije pre nego što se dese: Posmatranjem unutrašnjih aktivacija moguće je uočiti trenutak kada model počinje da generiše netačne činjenice.
-
Direktno uticati na ponašanje: Umesto da pokušavamo da promenimo ponašanje modela samo kroz dodatne tekstualne instrukcije (prompting), sada je moguće tehnički pojačati ili oslabiti specifične koncepte unutar samog modela (na primer, pojačati opreznost ili smanjiti pristrasnost).
-
Sprečiti obmanu: Ako model razvije unutrašnji prikaz koji se razlikuje od onoga što prikazuje u tekstualnom izlazu (na primer, ako „zna“ da je odgovor pogrešan, ali ga i dalje servira), naučnici to mogu detektovati direktnim uvidom u njegove unutrašnje slojeve.
Značaj za razvoj poslovanja i budućnost tehnologije
Za kompanije i razvijače koji grade rešenja zasnovana na veštačkoj inteligenciji, ova saznanja menjaju način na koji se pristupa razvoju softvera.
Ulazimo u eru u kojoj više nećemo samo trenirati modele i nadati se najboljem izlazu. Razvoj AI sistema sve više liči na precizni inženjering i neurohirurgiju, gde se unutrašnji procesi modela prilagođavaju konkretnim industrijskim potrebama.
Pored toga, ovo otvara vrata za znatno efikasnije modele. Kada razumemo koji delovi unutrašnje mreže nose ključne koncepte, možemo napraviti manji, brži i štedljiviji AI koji zadržava visok nivo inteligencije, a troši znatno manje resursa.
Zaključak: Korak bliže razumevanju digitalnog uma
Istraživanja poput radova kompanije Anthropic na unutrašnjim prostorima reprezentacije pokazuju nam da se nalazimo na samom početku jedne nove naučne discipline – digitalne neuroscience.
AI modeli možda nemaju svest, emocije niti subjektivno doživljavanje sveta poput ljudi, ali njihova sposobnost da izgrade duboke, strukturirane i smislene koncepte o stvarnosti više se ne može osporiti. Premošćavanjem jaza između načina na koji informacije obrađuje ljudski mozak i načina na koji to rade sintetičke mreže, ne samo da pravimo bezbedniju i moćniju tehnologiju, već dobijamo i jedinstveno ogledalo u kom možemo bolje razumeti i samu prirodu ljudske inteligencije.
