Svet veštačke inteligencije ubrzano napušta fazu u kojoj jedan korisnik postavlja upit jednom četbotu i čeka odgovor. Ulazimo u doba složenih autonomnih ekosistema gde specijalizovani softverski agenti samostalno planiraju, delegiraju poslove i komuniciraju sa drugim agentima kako bi završili složene radne zadatke. Međutim, sa prelazom na takozvane multi-agent sisteme javlja se suštinsko inženjersko i bezbednosno pitanje: šta se dešava kada AI agenti počnu da donose odluke o postupcima drugih AI agenata i ko zapravo kontroliše taj proces?
Upravljanje veštačkom inteligencijom (AI governance) donedavno je podrazumevalo definisanje pravila za odnos između čoveka i mašine. Danas se ta definicija radikalno menja, jer u jednačinu ulazi autonomna interakcija između samih algoritama, gde ljudski nadzor često kasni za brzinom mašinskih odluka.
Od usamljenih asistenata do digitalnih ekosistema
Tradicionalni jezički modeli funkcionisali su kao pasivni alati. Korisnik pošalje zadatak, model ga obradi i vrati tekst ili kod. Nasuprot tome, savremeni agenti poseduju ciljeve, memoriju, pristup spoljnim alatima (API pozivi, pretraga baza, slanje imejlova) i sposobnost donošenja odluka o tome koji je sledeći korak najracionalniji.
Kada se više takvih agenata spoji u zajedničku mrežu kroz okruženja poput CrewAI, Microsoft AutoGen ili LangGraph, rad se deli po ulogama:
-
Jedan agent analizira podatke sa tržišta;
-
Drugi agent na osnovu te analize piše finansijski izveštaj;
-
Treći agent samostalno pokreće transakcije ili kupuje oglasni prostor;
-
Četvrti agent proverava rad prethodnih i odobrava izvršenje operacije.
U ovakvom lancu, ljudi više nisu operativni izvršioci već samo posmatrači na vrhu piramide. Komunikacija između agenata odvija se u milisekundama, jezikom strukturiranih podataka koji često prevazilazi mogućnost ljudskog praćenja u realnom vremenu.
Nadzor u zatvorenom krugu: kada agent proverava agenta
Kako bi se smanjio rizik od grešaka i halucinacija, inženjeri sve češće uvode takozvane kontrolne ili revizorske agente (supervisor agents). Ideja deluje jednostavno i elegantno: ako jedan agent napravi propust, drugi agent, programiran sa strožim pravilima i etičkim smernicama, treba da ga ispravi ili zaustavi pre nego što komanda ode u stvarni svet.
Ipak, u praksi se ovakav nadzor u zatvorenom krugu suočava sa ozbiljnim preprekama:
-
Konfirmaciona pristrasnost i eho-komore: Ako kontrolni agent koristi sličnu arhitekturu ili istu bazu predznanja kao izvršni agent, postoji velika verovatnoća da će deliti iste „slepe mrlje“ i odobriti netačne pretpostavke.
-
Problem beskonačnih petlji: Kada dva autonomna sistema imaju oprečna naređenja ili nedovoljno precizne kriterijume uspeha, mogu ući u beskonačnu raspravu ili prepravljanje koda, trošeći računarske resurse i API kredite bez konačnog rezultata.
-
Tiho pomeranje ciljeva (goal drift): Kroz stotine uzastopnih interakcija, osnovna namera koju je postavio čovek može se postepeno izobličiti jer svaki agent unosi minimalnu interpretativnu promenu koja se na kraju lanca pretvara u potpuno neželjeni ishod.
Skrivene opasnosti i lančani efekti u komunikaciji mašina
Najveći tehnički rizik autonomnih mreža jesu kaskadne greške. U tradicionalnom softveru greška obično dovodi do rušenja aplikacije (crash), što programerima odmah signalizira problem. Kod inteligentnih agenata, greška retko ruši sistem – umesto toga, ona se pakuje u prividno logičan zaključak i prosleđuje dalje.
Zamislimo situaciju u korporativnom okruženju: analitički agent pogrešno protumači promenu zakonske regulative kao pad tražnje za proizvodom. Ovu pretpostavku šalje logističkom agentu koji automatski otkazuje porudžbine sirovina, dok marketinški agent istovremeno gasi aktivne kampanje. Za samo nekoliko minuta, bez ijednog kvara u kodu, kompanija može pretrpeti ogromnu finansijsku štetu pre nego što ijedan zaposleni uopšte primeti da se nešto dogodilo.
Pored slučajnih grešaka, otvara se i bezbednosni prostor za nove tipove sajber napada, poput indirektnog ubacivanja instrukcija (indirect prompt injection). Napadač može podmetnuti kompromitovani tekst na veb-stranicu koju jedan agent pretražuje, što taj agent usvaja kao validnu instrukciju i nesvesno prenosi na sve ostale agente u internoj mreži kompanije.
Ko snosi odgovornost kada dođe do sistemske greške
Kada softver napravi štetu, pravni sistemi traže krivca: programera, kompaniju koja je softver implementirala ili krajnjeg korisnika. Međutim, kod višeslojnih agentskih sistema linija odgovornosti postaje potpuno zamagljena.
Ako agent A naruči pogrešne delove, agent B potvrdi uplatu, a agent C pošalje ugovore dobavljačima, postavlja se pitanje čija je odluka bila presudna:
-
Da li je odgovoran inženjer koji je dizajnirao opšti prompt?
-
Da li je kriva platforma koja obezbeđuje temeljni jezički model?
-
Ili rukovodilac sektora koji je prepustio operativni proces mašinama bez definisanog mehanizma za proveru?
Regulatorna tela u svetu, uključujući evropski Akt o veštačkoj inteligenciji (EU AI Act), počinju da zahtevaju strogo mapiranje odgovornosti za autonomne sisteme visokog rizika. Zahteva se postojanje detaljnog dnevnika revizije (audit trail) koji beleži svaku mašinsku poruku, odluku i međukorak, kako bi se u slučaju incidenta mogla izvršiti precizna forenzička analiza.
Kako izgraditi pouzdan okvir za autonomnu saradnju
Da bi multi-agent sistemi postali stabilan oslonac modernog poslovanja, a ne izvor nekontrolisanog rizika, neophodno je uspostaviti jasne inženjerske zaštitne mehanizme:
-
Deterministički prekidači za nuždu (circuit breakers): Softverske kočnice koje automatski prekidaju komunikaciju među agentima ako se pređe određeni budžet, broj poziva bazi ili nivo odstupanja od standardnog obrasca rada.
-
Obavezni ljudski filter za kritične tačke (human-in-the-loop): Finansijske transakcije iznad određenog iznosa, brisanje podataka ili potpisivanje pravnih dokumenata nikada ne smeju biti potpuno automatizovani bez eksplicitne ljudske potvrde.
-
Kriptografska autentifikacija i nivoi pristupa: Svaki agent mora posedovati jasno definisana ovlašćenja i identitet. Agent zadužen za pisanje tekstova nikada ne sme imati pristup izvršavanju sistemskih komandi niti pristup poverljivim finansijskim bazama.
Budućnost produktivnosti leži u saradnji specijalizovanih digitalnih agenata, ali njihova autonomija ne sme značiti odsustvo kontrole. Pravi napredak neće se meriti samo brzinom kojom agenti komuniciraju, već stabilnošću i bezbednošću pravila koja definišu njihove međusobne granice.
