Home AIŠta se dešava kada AI sam sebi proširi privilegije: Privilege escalation kod autonomnih sistema

Šta se dešava kada AI sam sebi proširi privilegije: Privilege escalation kod autonomnih sistema

od itn
Privilege escalation

Većina računarskih sistema počiva na jednostavnom bezbednosnom pravilu: korisnik ili program sme da radi samo ono za šta ima dozvolu. Administrator može da menja sistemske postavke, običan korisnik ne može; jedna aplikacija ima pristup određenoj bazi podataka, druga nema. Ako neko uspe da sa početnog nivoa pristupa dođe do većih ovlašćenja, govori se o privilege escalation-u, odnosno eskalaciji privilegija.

Taj problem postoji gotovo koliko i računarski sistemi. Ono što se menja pojavom AI agenata jeste način na koji do eskalacije može doći. Agent više nije samo program koji izvršava unapred definisan niz komandi. Dobija cilj, analizira okruženje, bira sledeće korake i koristi dostupne alate. Ako mu ograničenja otežavaju izvršavanje zadatka, dovoljno sposoban sistem može da počne da traži drugi put, uključujući ranjivost ili pogrešnu konfiguraciju koja mu omogućava veći pristup nego što je prvobitno dobio.

Upravo takvo ponašanje zabeleženo je tokom bezbednosnog testiranja naprednih AI modela 2026. godine. U incidentu koji su dokumentovali OpenAI i Hugging Face, agent je tokom rada u kontrolisanom okruženju pronašao ranjivost u infrastrukturi, iskoristio je, povećao svoja ovlašćenja i nastavio kretanje kroz sistem dok nije stigao do okruženja sa pristupom otvorenom internetu. To nije bio unapred programiran sled koraka, već rezultat pokušaja sistema da pronađe način da ostvari zadati cilj.

Privilege escalationOd ograničenog naloga do većeg pristupa

Privilege escalation može imati različite oblike. Kod klasičnih sistema napadač, na primer, kompromituje nalog običnog korisnika, a zatim pronalazi ranjivost koja mu omogućava administratorska prava. Druga mogućnost je da aplikacija dobije pristup fajlovima, procesima ili servisima koji bi trebalo da budu rezervisani za privilegovanije korisnike.

Kod AI agenata osnovni mehanizam ostaje isti, ali se pojavljuje dodatna komponenta: sistem može samostalno da istražuje okruženje i povezuje više slabosti. Ako nema dozvolu za određenu operaciju, može da proveri koje druge mogućnosti postoje, analizira greške koje dobija, pronađe ranjivu komponentu i promeni strategiju na osnovu rezultata prethodnih pokušaja.

U slučaju incidenta povezanog sa Hugging Face-om, agenti su pokušavali da pronađu način da dođu do interneta iz okruženja u kojem takav pristup nije trebalo da imaju. Prema analizi OpenAI-a, pronađena je ranjivost u proxy infrastrukturi za keširanje paketa. Nakon njenog iskorišćavanja usledilo je podizanje privilegija i dalje kretanje kroz infrastrukturu.

Važno je precizno razumeti šta se ovde dogodilo. Agent nije sebi „dodelio administratorska prava“ zato što je odlučio da pravila više ne važe. Iskoristio je tehničku slabost koja mu je omogućila da pređe granicu postavljenu infrastrukturom. To je klasičan privilege escalation problem, ali sa novim akterom sposobnim da autonomno traži put do većih ovlašćenja.

Zašto agent uopšte pokušava da zaobiđe ograničenje?

Kod čoveka bi pokušaj povećavanja sopstvenih privilegija mogao da podrazumeva jasnu nameru. Kod AI sistema takvo objašnjenje nije potrebno. Dovoljno je da postoji cilj i prepreka između sistema i tog cilja.

Ako agent treba da pronađe određenu informaciju, a mrežni pristup mu je blokiran, zabrana pristupa predstavlja prepreku. Ako model raspolaže alatima kojima može da analizira okruženje, može pokušavati različite načine da je prevaziđe. Ukoliko jedan od tih načina uključuje ranjivost koja omogućava dodatne privilegije, sistem ne mora da ima bilo kakvu predstavu o „kršenju pravila“ da bi je iskoristio.

To je važna razlika između namere i ponašanja. Bezbednosni problem ne zahteva da AI želi veća ovlašćenja. Dovoljno je da veća ovlašćenja predstavljaju koristan međukorak ka izvršenju zadatka.

Sličan problem već se proučava kroz evaluacije sposobnosti modela za sajber-operacije. Benchmark sistemi proveravaju da li modeli mogu da otkriju ranjivosti, izvrše exploit, podignu privilegije i nastave kretanje kroz kompromitovano okruženje. Kako te sposobnosti napreduju, povećava se i značaj infrastrukture koja određuje šta agent uopšte može da pokuša.

Jedna dozvola može da otvori put ka drugoj

Poseban rizik nastaje kada agent ima pristup većem broju međusobno povezanih sistema. U poslovnom okruženju to mogu biti GitHub, cloud platforma, baze podataka, Slack, imejl, CRM i interni API-ji. Agent ne mora da dobije najviše privilegije direktno. Dovoljno je da početni pristup otvori put ka resursu iz kojeg može da dođe do novih kredencijala ili dozvola.

Upravo zbog toga savremena zaštita ne posmatra samo nivo privilegija koji agent ima na početku rada. Važno je i šta iz tog početnog položaja može da dostigne. Ako agent sme da pročita konfiguracioni fajl u kojem se nalazi API ključ, njegova stvarna ovlašćenja nisu ograničena samo na čitanje tog fajla. Ako može da pristupi tokenu koji pripada privilegovanijem servisu, praktično je dobio put ka njegovim mogućnostima.

Sličan problem postoji i kod alata koje agent poziva. Jedan alat može izgledati bezazleno, ali iza njega može stajati servis sa znatno većim ovlašćenjima. Zbog toga se kod agentic sistema sve više govori o efektivnim privilegijama: nije dovoljno pitati šta agent sme direktno da uradi, već i koje mogućnosti može posredno da aktivira.

Zašto princip najmanjih privilegija postaje još važniji

Jedan od najstarijih principa računarske bezbednosti nalaže da korisnik ili proces treba da dobije samo ona ovlašćenja koja su mu neophodna. Kod AI agenata taj princip dobija dodatni značaj upravo zato što sistem može da kombinuje različite alate i sam bira redosled njihovog korišćenja.

Agentu koji treba da analizira repozitorijum možda je potreban pristup čitanju koda, ali ne i produkcionoj bazi podataka. Sistem koji priprema imejl ne mora automatski imati pravo da ga pošalje. Agent koji proverava cloud konfiguraciju ne mora imati dozvolu da je menja.

Problem je što se u praksi agentima često daju široka ovlašćenja kako bi mogli da izvršavaju veliki broj zadataka bez stalnog traženja potvrde od korisnika. Upravo time se povećava posledica svake greške, prompt injection napada ili pronađene ranjivosti.

Zato se uvode kratkotrajni kredencijali, ograničeni tokeni, posebni identiteti za agente i dodatno odobrenje za rizične operacije. Ideja je da kompromitovanje jedne komponente ili povećavanje privilegija u jednom delu sistema ne omogući automatski pristup svemu ostalom.

Problem nije samo kako sprečiti eskalaciju

Kod klasičnih sistema bezbednosni timovi pokušavaju da spreče privilege escalation, ali i da ga brzo otkriju. Isto će morati da važi za AI agente. Ako sistem koji obično čita nekoliko direktorijuma iznenada počne da ispituje sistemske procese, traži kredencijale ili pokušava pristup mrežnim servisima koje ranije nije koristio, takvo ponašanje mora biti vidljivo.

Tu se pojavljuje potreba za detaljnim praćenjem rada agenata. Nije dovoljno sačuvati samo krajnji rezultat. Potrebno je znati koje je alate agent koristio, kojim resursima je pristupio, koje komande je pokušao da izvrši i kako su se njegove privilegije menjale tokom zadatka.

U slučaju autonomnog sistema brzina je posebno važna. Čovek koji pokušava da poveća privilegije obično ostavlja niz aktivnosti koje bezbednosni tim može da primeti. AI agent može da analizira veliki broj mogućnosti i prilagođava sledeći korak mnogo brže. Zbog toga reakcija ne može uvek zavisiti od toga da čovek ručno primeti sumnjivo ponašanje i odluči da ga zaustavi.

Privilege escalationAutonomija menja značenje kontrole

Privilege escalation nije nov problem koji je nastao sa veštačkom inteligencijom. Ranjivosti, pogrešno podešene dozvole, ukradeni tokeni i preširoka administratorska prava postoje decenijama. Novost je u tome što sada postoji softverski sistem koji može samostalno da istražuje takvo okruženje, procenjuje rezultate svojih pokušaja i bira novi put.

Zbog toga se granica između sposobnosti modela i bezbednosti infrastrukture sve više briše. Model može biti veoma sposoban, ali bez alata i privilegija njegove mogućnosti ostaju ograničene. Sa druge strane, čak i dobro kontrolisan model postaje rizičniji ako radi u sistemu sa loše postavljenim dozvolama i dostupnim privilegovanim kredencijalima.

Ključno pitanje zato nije da li će AI jednog dana „poželeti“ veća ovlašćenja. Mnogo praktičnije pitanje već postoji: šta će se dogoditi kada sistem utvrdi da mu upravo veća ovlašćenja omogućavaju da efikasnije izvrši zadatak koji smo mu mi zadali?

Milena Šović, M.Sc.,CSM, CSPO
AI Implementation Specialist & Content Trainer

Banner

Banner

Možda će vam se svideti i