Troškovi AI inference-a i AI infrastruktura

Ključne poruke (Key Takeaways):

Inference (pokretanje modela u produkciji) preuzeo je većinu AI compute opterećenja. Iako cene po tokenu dramatično padaju, ukupni računi mnogih firmi snažno rastu jer agentic radni tokovi troše višestruko više tokena, volumen raste i konteksti postaju znatno duži. U tekstu detaljno razlažemo zašto se to dešava, koje tehnike zaista smanjuju račun, kada ima smisla on-premise, cloud ili edge pristup, i zašto takozvani hyperscaleri i dalje grade ogromne data centre uprkos padu jediničnih cena. Bez iluzija – jeftiniji token ne znači automatski jeftiniji AI na kraju meseca.

Pre samo tri godine, glavni razgovor o AI infrastrukturi vrteo se isključivo oko treninga modela. Pitanje je bilo ko ima više GPU jedinica, ko gradi veće klastere i ko prvi stiže do sledećeg frontier (najjačeg) modela na tržištu.

Danas se težište potpuno pomerilo. Inference – svakodnevno pokretanje modela za direktne korisnike, autonomne agente, automatizaciju poslovanja i internu korporativnu upotrebu – troši sve veći udeo resursa. Dugoročne industrijske procene već sada pokazuju da će do 2030. godine inference potpuno premašiti trening kao dominantan AI workload i činiti najznačajniji deo ukupne potražnje data centara na globalnom nivou.

Zato je današnji paradoks očigledan: cene po milionu tokena pale su za red veličine u odnosu na 2023. i 2024. godinu, a mnogi enterprise računi i dalje nekontrolisano rastu. Razlog nije misterija. AI se danas koristi više, koristi se drugačije, i koristi se znatno skuplje po jedinici odrađenog posla.

Zašto računi rastu iako tokeni pojeftinjuju?

Jednostavan chat upit troši relativno malo tokena. Međutim, agentic workflow (planiranje, korišćenje više alata u nizu, refleksija, znatno duži kontekst, takozvani reasoning tokeni) može da potroši 5 do 30 puta više snage za ono što prosečan korisnik doživljava kao „samo jedan zahtev“.

Izlazni (output) tokeni su po pravilu uvek skuplji od ulaznih (input) tokena. Extended thinking / reasoning režimi (u kojima model interno razmišlja pre nego što pruži odgovor) dodatno naduvavaju račun. Kada se ta ogromna potrošnja u pozadini pomnoži sa rastom broja samih korisnika i broja autonomnih agenata, ukupan trošak eksponencijalno raste, bez obzira na to što je jedinična cena samog tokena znatno niža.

Dodatni problem predstavlja činjenica da mnoge organizacije i dalje imaju naviku da sve zadatke šalju direktno na najskuplji i najjači frontier model. Obična klasifikacija podataka, jednostavno pretraživanje ili rutinsko sumiranje teksta apsolutno ne zahtevaju najjači model na tržištu, ali se zbog loše arhitekture često tamo usmeravaju.

Kako se optimizuju troškovi u produkciji?

Postoje vrlo konkretne i dokazane poluge za optimizaciju troškova:

1. Umeravanje po težini zadatka (Routing)

Jednostavne upite treba usmeriti na male i brze modele; upite srednje složenosti na modele srednje klase; i na kraju, isključivo kompleksno rezonovanje i kritične odluke usmeriti na jake frontier modele. Inženjerski timovi koji sistematski implementiraju ovaj ruting redovno prijavljuju ogromne uštede od 40% do 60% na mešovitim radnim opterećenjima.

2. Prompt caching i kompresija konteksta

Ponavljajući sistemski promptovi, definicije alata i referentni RAG dokumenti ne moraju da se u potpunosti procesuiraju ispočetka svaki put kada korisnik pošalje upit. Caching (keširanje) dramatično smanjuje cenu ulaznih tokena. Kompresija ekstremno dugih konteksta dodatno smanjuje broj tokena bez značajne štete po izlazni kvalitet odgovora.

3. Quantization i efikasniji serving

Korišćenje manje matematičke preciznosti (kao što su FP8, FP4 ili INT4 modeli) drastično smanjuje hardverske zahteve za video-memorijom i protokom (bandwidth), što značajno povećava propusnu moć (throughput) po jednom GPU-u. Uz pažljiv odabir metoda i modela, gubitak kvaliteta može biti potpuno prihvatljiv za veliki procenat uobičajenih produkcijskih zadataka.

4. Batching i asinhroni tokovi

Tamo gde latencija (brzina odgovora u realnom vremenu) nije kritična za korisnika, korišćenje batch API-ja i kontinuiranog bečinga drži GPU-ove znatno bolje iskorišćenim, a time i dodatno snižava cenu po jednom tokenu.

5. Kontrola agentske potrošnje (Agentic Spend)

Morate definisati tehničko limitiranje broja koraka agenata, propisati fiksni budžet za reasoning tokene i postaviti jasna programska pravila kada neki agent uopšte sme da zove skupe modele. Bez ovakvih striktnih ograda (guardrails), AI agent može vrlo lako da „spali“ vaš budžet ukoliko upadne u logičku petlju iz koje ne ume da izađe.

6. FinOps za AI

Ovo podrazumeva striktnu atribuciju (pripisivanje) troškova po konkretnom timu, po proizvodu i po samom use-case-u. Bez jasne i transparentne vidljivosti šta troši API, nema ni prostora za optimizaciju – čeka vas samo šokantno iznenađenje na kraju meseca.

Ove tehnike se ne koriste izolovano, već se međusobno kombinuju. Jedna sama po sebi retko rešava širi operativni problem; zajedno mogu trajno prepoloviti, pa i znatno više smanjiti mesečni račun.

On-prem, cloud ili edge?

Ne postoji jedan univerzalan odgovor na ovo pitanje. Sve zavisi od volumena upita, zahtevane latencije, osetljivosti podataka kojima baratate i same predvidivosti opterećenja sistema.

Public Cloud

Ovo je ubedljivo najbrži put do produkcije, nudi najširi mogući izbor dostupnih modela i veliku skalabilnost (elastičnost). Idealan je za brze eksperimente, trening manjih modela, privremena (burst) opterećenja i za sisteme gde baza podataka već uveliko živi u oblaku. Glavna mana: potpuno nepredvidivi računi pri naglom rastu upita, veliki dodatni troškovi prenosa podataka (egress) i legitimna pitanja kontrole nad podacima.

On-prem / Private cloud / Colocation

Sve više velikih firmi prebacuje svoj stabilan, visokovolumni inference na potpuno privatnu IT infrastrukturu. Razlozi su očigledni: fiksna predvidivost troškova, lokacija čuvanja podataka (data residency), IT bezbednost i stroga kontrola intelektualne svojine. Kod dovoljno velikog i stabilnog volumena zahteva, ukupan trošak vlasništva (TCO) na period od više godina može biti neuporedivo povoljniji u odnosu na čisto API iznajmljivanje resursa u oblaku. Mana: ogroman početni kapitalni izdatak (za hardver), visoka operativna kompleksnost održavanja sistema i dosta sporije usvajanje najnovijih verzija komercijalnih modela.

Edge computing

Koristi se onda kada latencija, merena u milisekundama, direktno i tragično utiče na posao (npr. u industriji ili autonomnim vozilima), ili kada sistem obavezno mora da radi offline i potpuno lokalno. Zahteva znatno manje i brže modele. Udeo čistog edge-a je na globalnom nivou još uvek mali, ali ubrzano raste u visoko specifičnim tehnološkim nišama.

U svakodnevnoj praksi danas ubedljivo dominira hibridni pristup: cloud se plaća za razvoj, testiranje i rad sa moćnim frontier sistemima, dok se znatno veća, izgrađena privatna infrastruktura koristi za celokupan stabilni, svakodnevni produkcioni inference.

Zašto se i dalje grade ogromni data centri?

Zato što opšta svetska potražnja trenutno i dalje ne prati pad jediničnih cena – naprotiv, ona je uveliko nadmašuje. Veći broj korisnika, kompleksniji AI agenti, drastično duži konteksti dokumenata, složeni multimodalni upiti (spoj slika, teksta i zvuka) i real-time aplikacije zahtevaju neprestano širenje fizičke infrastrukture.

Inference danas bukvalno postaje komunalni, industrijski utility sloj: to je resurs koji je uvek stalno uključen, neograničeno geografski distribuiran i izuzetno osetljiv na latenciju.

Veliki hyperscaleri ubrzano grade infrastrukturu zato što:

• žele da u potpunosti kontrolišu dostupni kapacitet i krajnju tržišnu cenu,

• trening novih frontier modela i dalje zahteva izuzetno visoku koncentraciju električne snage,

• inference na operativnoj globalnoj skali tehnički zahteva fizičko prisustvo servera što bliže krajnjim korisnicima,

• korporativna konkurentska prednost u budućnosti zavisi upravo od toga ko klijentima može da isporuči jeftiniji, brži i znatno pouzdaniji inference.

Istovremeno, deo teških enterprise opterećenja se ipak vraća nazad bliže matičnim firmama (repatrijacija softvera, privatni klasteri) upravo zbog boljeg upravljanja operativnim troškovima i suverene kontrole.

Ovo nisu nimalo suprotstavljeni trendovi – to je pametna, organska podela inženjerskog rada na tržištu. Trening modela i moćne frontier sposobnosti zauvek ostaju rezervisani za ogromne data kampuse; sa druge strane, stabilan produkcioni inference nad visoko osetljivim podacima sve češće i brže migrira u fizičku blizinu vlasnika tih podataka.

Šta firmama ostaje da urade?

1. Merite i brojite: Prestanite da gledate samo ukupan račun – merite isključivo stvarni račun na nivou konkretnog use-case-a.

2. Podesite logiku usmeravanja: Pod hitno uvedite sisteme za routing i caching koda znatno pre nego što ukupan mesečni obim (volumen) upita eksplodira.

3. Pravite planove sa marginom: Napravite interni poslovni plan operacija po cenama tokena višim i do 3x u odnosu na trenutne – damping i agresivne hardverske subvencije nisu večite i neće opstati zauvek.

4. Razmotrite privatnu infrastrukturu: Kod uveliko stabilnog i ekstremno visokog obima saobraćaja, uvek razmotrite potpunu privatnu ili takozvanu colocation (colo) infrastrukturu uz izuzetno preciznu TCO kalkulaciju, i to isključivo nakon procene isplativosti na period od minimum tri do pet godina.

5. Budite umereni: Ne tretirajte najskuplji AI model kao vaš apsolutni podrazumevani tehnički izbor.

AI infrastruktura odavno nije samo operativno pitanje „koliko tačno fizičkih GPU-ova imamo u rek ormanu“. Danas je to strateško pitanje celokupne arhitekture troškova, IT kontrole i željene latencije sistema. Oni inženjerski timovi koji uspevaju da kontrolišu ove aspekte disciplinovano i na vreme, zadržaće dugoročnu kompetitivnu prednost. Sa druge strane, timovi i startapi koji oslanjaju svoju sudbinu na slepu veru u večiti industrijski pad cena tokena rizikuju da će ih vrlo brzo uništiti neumoljivi rast obima saobraćaja u kombinaciji sa rastom takozvane agentske kompleksnosti samog AI rešenja.

Povezano na ITNetwork-u:

• Zašto je Cloud postao mozak veštačke inteligencije?

• Superautoput za veštačku inteligenciju: Upoznajte AI Cloud

Izvori i dalje čitanje:

• Javni pricing podaci vodećih provajdera i aktuelni agregatori cena tokena za 2026. godinu.

• Gartner i opsežne industrijske analize koje mapiraju snažan rast globalnog inference opterećenja uz prateće probleme u optimizaciji troškova.

• Zvanične studije kao što su Broadcom Private Cloud Outlook i istraživanja Uptime Instituta posvećena migraciji produkcionog inference-a ka on-prem postavkama.

• Javne Mckinsey projekcije o očekivanom procentualnom udelu inference operacija u sveukupnom svetskom AI compute kolaču sve do 2030. godine.

Često postavljana pitanja (FAQ)

Zašto računi rastu ako su tokeni na tržištu primetno jeftiniji? Iako je cena jednog tokena manja, same aplikacije danas troše drastično veće količine tokena na jedan naizgled „prosti“ zadatak korisnika usled agentic petlji, znatno dužih programskih konteksta dokumenata i samih takozvanih faza reasoning-a. Dodatno, zbog lakog pristupa mnogi inženjeri rutinski neopravdano pozivaju znatno skuplje i zahtevnije AI modele nego što je to uopšte bilo tehnički neophodno za ispunjenje samog cilja.

Koja tačno poluga optimizacije trenutno najviše smanjuje mesečni trošak? Isključivo pametna kombinacija i inženjerska disciplina: striktan softverski routing uvek ka lakšim i bržim modelima na svakom mestu gde za to ima poslovnog smisla uz paralelnu primenu efikasnog prompt caching-a. Na to ide redovna, tehnički obavezna kontrola broja dostupnih koraka unutar samih AI agenata. Sama, izolovana implementacija jedne pojedinačne metode bez pratećih promena vrlo malo dugoročno u praksi znači i retko u konačnici drastično obara račun.

Kada je zapravo preporučljivo u potpunosti preći na on-prem ili privatnu infrastrukturu (Private Cloud)? Prelazak dobija finansijskog i operativnog smisla tek kada je vaš ukupan sistem obim pretraga stabilan i izuzetno visok. Takođe i na mestima u poslovanju kada predvidivost računa, striktni pravni suverenitet nad podacima i sama latencija samog softvera imaju apsolutnu najvišu operativnu prednost u arhitekturi, pri čemu vam na više godina predviđena interna i eksterna TCO metrika pokazuje jasno, u finansijskom smislu bolju poziciju od one koju nudi takozvano prosto rentiranje, odnosno čisto pozajmljivanje resursa i obično zakupljivanje kapaciteta preko standardnog spoljnog obezbeđenog API servisa.

Zašto globalni hyperscaleri pod takvim uslovima i dalje frenetično investiraju u infrastrukturu novih data centara? Sama svetska tržišna potražnja industrije i dalje daleko prevazilazi taj vidljivi tehnički pad jediničnih cena tokena, s obzirom na to da stalno i snažno raste upotreba kako inference-a tako istovremeno podjednako i u obimnom procesu treninga sasvim novih sistema. Samim tim moć i neprestana mogućnost kontrole kapaciteta mreže diktiraju konkurentnu stratešku poziciju usled čega iziskuju od istih permanentna dalja ulaganja bez vidljivog odlaganja investiranja u opremu po istim sistemima u čitavom svetu.

Da li se na tehnološkom tržištu može zasigurno tvrditi da će globalne cene tokena nesmetano i trajno usporavati, odnosno i dalje neumorno padati bez usporavanja? Cena date softverske mogućnosti verovatno će postepeno i ravnomerno dugoročno zaista lagano nastaviti opadanje, iako svakako ipak nimalo ravnomerno. Ujedno s tim, složena aplikativna arhitektura, razuđeni poslovni procesi operisanja sistemom uslovljavaju, a sasvim izvesno u kombinaciji prateći trendovi vrlo lako mogu rezultirati, da sami konačni operativni računi iznova opet probijaju same utvrđene ranije granice ukoliko klijent, sa druge strane, tehnički postupi krajnje pasivno očekujući apsolutno da se čitavo smanjenje same fakture samo obavi puko kao kakav besplatan čist nusproizvod trenda pada hardverske trke, usled stalnih očekivanja pukog održavanja dotiranih, neekonomičnih tarifa operatera ili trajnih visokih provajderskih subvencija na mreži resursa sa druge strane lanca i na osnovu iste logike. U tom smislu treba na vreme planirati rad sistema.