Key Takeaways – šta je najbitnije u ovom tekstu
-
Napraviti AI demonstraciju danas je brže nego ikada, ali PoC i produkcija rešavaju potpuno različite probleme. Dok Proof of Concept dokazuje da je ideja tehnički izvodljiva, produkcioni sistem mora da garantuje stabilnost, skalabilnost, bezbednost i ekonomsku isplativost pod stvarnim opterećenjem.
-
Visoka stopa odustajanja je realnost tržišta. Prema procenama analitičke kuće Gartner, najmanje 30 odsto generativnih AI projekata napušta se nakon PoC faze zbog lošeg kvaliteta podataka, slabe kontrole rizika, rastućih troškova ili nejasne poslovne vrednosti.
-
Većina AI projekata su zapravo projekti podataka. Zastareli dokumenti, duplikati i nedostatak kontrole prava pristupa na nivou vektorske baze (retrieval procesa) direktno ugrožavaju tačnost i bezbednost odgovora u stvarnom radu.
-
Klasične softverske metrike nisu dovoljne za probabilističke sisteme. Veliki jezički modeli (LLM) ne daju uvek isti izlaz za isti ulaz, zbog čega evaluacija mora da meri činjeničnu tačnost, potpunost i poslovni rizik greške, a ne samo „dobar utisak“.
-
Pravi trošak nije u jednom testnom pozivu, već u arhitekturi na skali. U RAG i agentic AI sistemima jedan korisnički zahtev često pokreće desetine poziva ka modelima, alatima i bazama, što drastično menja računicu kada sistem koristi cela kompanija.
-
Model je samo jedna komponenta distribuiranog sistema. Bez kontinuirane evaluacije, jasnog vlasništva nad poslovnim procesom i organizacione odgovornosti, ni najbolji AI model ne može postati sistem na koji kompanija može da se osloni.
Napraviti AI demonstraciju danas može biti iznenađujuće brzo. Tim poveže veliki jezički model (LLM) sa nekoliko dokumenata, napravi jednostavan interfejs i za nekoliko dana dobije sistem koji odgovara na pitanja zaposlenih, analizira ugovore ili priprema izveštaje. Na prezentaciji sve izgleda ubedljivo: model razume zahtev, pronalazi relevantne informacije i za nekoliko sekundi obavlja posao za koji je čoveku potrebno mnogo više vremena.
Problem počinje kada kompanija odluči da taj sistem zaista koristi.
Proof of Concept, odnosno PoC, treba da odgovori na relativno ograničeno pitanje: da li je ideja tehnički moguća? Produkcioni sistem mora da odgovori na mnogo teža pitanja. Da li će raditi kada ga istovremeno koristi hiljadu ljudi? Šta se događa kada model pogreši? Koliko će koštati svaki mesec? Ko ima pristup podacima? Kako se meri kvalitet odgovora? Šta se događa kada dobavljač promeni model ili API? I ko odgovara kada AI napravi grešku koja ima poslovne posledice?
Upravo u prostoru između ta dva nivoa veliki broj AI projekata zapne. Analitička kuća Gartner je još 2024. godine procenila da će najmanje 30 odsto generativnih AI projekata biti napušteno nakon PoC faze zbog lošeg kvaliteta podataka, nedovoljne kontrole rizika, rastućih troškova ili nejasne poslovne vrednosti. Razvoj agentic AI sistema dodatno povećava broj stvari koje moraju da funkcionišu pre nego što eksperiment postane pouzdan poslovni sistem.
Demo radi u kontrolisanim uslovima
PoC se najčešće pravi sa ograničenim brojem pažljivo odabranih primera. Ako se razvija sistem za analizu dokumenata, tim može da izabere deset ili dvadeset reprezentativnih dokumenata i proveri kako model odgovara na poznata pitanja. Ako rezultat nije dobar, prompt se promeni, doda se još konteksta ili se izabere drugi model.
U produkciji nema takve kontrole. Korisnici postavljaju pitanja koja razvojni tim nije predvideo, dokumenti imaju različite formate i kvalitet, podaci nedostaju, a isti zahtev može biti formulisan na desetine različitih načina. Sistem koji je na testnom skupu izgledao veoma precizno može početi da daje neujednačene rezultate čim se suoči sa stvarnim poslovnim podacima.
Kod tradicionalnog softvera određeni ulaz uglavnom proizvodi unapred definisan rezultat. Veliki jezički modeli su probabilistički sistemi. Njihov odgovor može zavisiti od modela, prompta, konteksta, parametra temperature, dostupnih podataka i drugih faktora. To znači da kompanija ne testira samo da li funkcija radi, već koliko pouzdano radi kroz veliki broj različitih situacija.
Zato rečenica „probali smo i radi“ ima veoma ograničenu vrednost kada se odlučuje o produkciji.
Problem podataka pojavljuje se tek u stvarnom sistemu
Mnogi AI projekti na početku izgledaju kao projekti modela, a kasnije se ispostavi da su zapravo projekti podataka.
Kompanijski dokumenti često nisu uređeni tako da ih AI sistem jednostavno može koristiti. Postoje duplikati, zastarele verzije, različita prava pristupa i informacije koje se međusobno ne slažu. Jedno odeljenje možda koristi proceduru iz 2026. godine, dok se u zajedničkom folderu i dalje nalazi verzija iz 2023. Ako obe završe u RAG (Retrieval-Augmented Generation) sistemu, model može pronaći obe i nema nužno pouzdan način da utvrdi koja je važeća.
Dodatni problem predstavljaju dozvole. Ako zaposleni nema pravo da vidi određeni dokument, AI asistent ne bi trebalo da mu otkrije njegov sadržaj samo zato što se dokument nalazi u zajedničkoj vektorskoj bazi. Kontrola pristupa zato mora da postoji i kroz čitav proces pretrage i dohvatanja podataka (retrieval), a ne samo na korisničkom interfejsu.
U PoC-u se takve situacije često ne pojavljuju jer se koristi mali, očišćen skup podataka. Produkcija otkriva stvarno stanje informacionog sistema kompanije, uključujući probleme koji su postojali mnogo pre uvođenja veštačke inteligencije.
„Tačnost“ više nije jednostavna metrika
Još jedan ozbiljan problem nastaje kada treba odlučiti da li je sistem dovoljno dobar za produkciju.
Kod nekih zadataka rezultat se može relativno jednostavno proveriti. Ako AI klasifikuje dokument u jednu od pet kategorija, moguće je napraviti testni skup i izračunati procenat tačnih odgovora. Kod generativnih sistema rezultat često nema samo jedan tačan oblik.
Ako model pravi sažetak ugovora, dva različita odgovora mogu biti potpuno ispravna. Istovremeno, odgovor koji zvuči veoma uverljivo i stilski besprekorno može izostaviti jednu klauzulu koja je pravno najvažnija. Klasične metrike tada ne govore dovoljno o stvarnom kvalitetu.
Kompanije zato moraju da definišu evaluacije prema konkretnom poslovnom zadatku. Nekada je važnija činjenična tačnost, nekada potpunost, a nekada procenat slučajeva u kojima čovek mora da ispravi rezultat. Za sistem koji samo predlaže tekst internog mejla prihvatljiv nivo greške može biti relativno visok. Za sistem koji utiče na finansijsku transakciju ili odluku o korisniku granica mora biti sasvim drugačija.
Bez unapred definisanog kriterijuma uspeha, PoC lako postaje demonstracija koja izgleda impresivno, ali niko ne može precizno da kaže da li je dovoljno dobra za stvarni rad.
Trošak koji se ne vidi na demonstraciji
Cena prvog eksperimenta često je zanemarljiva. Nekoliko zaposlenih napravi nekoliko stotina ili hiljada zahteva prema modelu i račun za inference (izvršavanje modela) ostane mali. Kada se sistem proširi na čitavu kompaniju, računica se drastično menja.
Jedan korisnički zahtev u praksi retko predstavlja samo jedan poziv modelu:
-
RAG sistem prvo može da generiše upit za pretragu, zatim koristi embedding model, pronađe relevantne dokumente i pošalje veliki kontekst glavnom modelu.
-
Agentic sistem može da napravi više desetina poziva, koristi nekoliko eksternih alata i ponavlja operaciju ako prvi pokušaj ne uspe.
Na sve to dolaze troškovi infrastrukture, vektorskih baza, observability sistema (praćenja rada i performansi), bezbednosti, kontinuiranih evaluacija i rada ljudi koji proveravaju rezultate. Cena tokena zato predstavlja samo jedan deo ukupnog troška vlasništva.
PoC pokazuje da AI može da izvrši zadatak. Produkcija mora da pokaže da je ekonomski opravdano da ga izvršava hiljadama ili milionima puta – temu koju iz ugla poslovne isplativosti i automatizacije redovno analiziramo i na portalu Joombooz.
Integracija je teža od modela
AI sistem retko postoji izolovano, sam za sebe. Da bi imao stvarnu poslovnu vrednost, obično mora da se poveže sa postojećim aplikacijama i bazama podataka.
Asistent za prodaju mora da pristupi CRM-u. Agent za korisničku podršku mora da vidi istoriju korisnika i reklamacija. Coding agent mora da komunicira sa repozitorijumom, CI/CD sistemom i razvojnim alatima. Sistem za analizu dokumenata mora da poštuje postojeća prava pristupa u kompaniji.
Svaka nova integracija uvodi novu tačku mogućeg kvara. API može biti nedostupan, autentifikacija može isteći, format podataka može da se promeni, a spoljni servis može da uvede ograničenje broja zahteva (rate limiting).
Zbog toga produkcioni AI projekat vrlo brzo prestaje da bude samo „AI projekat“. On postaje distribuirani softverski sistem koji mora da ima monitoring, logging, upravljanje greškama, kontrolu pristupa, backup procedure i sve druge inženjerske elemente koji su potrebni svakom ozbiljnom produkcionom softveru, o čemu detaljno pišemo i kroz arhitektonske teme na portalu ITNetwork. Model je samo jedna njegova komponenta.
Kada se model promeni, sistem više nije isti
Poseban izazov predstavljaju sistemi koji koriste modele spoljnih kompanija preko API-ja. Dobavljač može da objavi novu verziju, suptilno promeni određeno ponašanje modela ili potpuno povuče stariju verziju koju kompanija koristi.
Aplikacija može nastaviti da radi bez ijedne promene u sopstvenom kodu, a da kvalitet rezultata ipak postane drugačiji – ponekad bolji, a ponekad lošiji za specifičan slučaj upotrebe.
Zato produkcioni AI zahteva kontinuirane evaluacije. Nije dovoljno testirati sistem pre lansiranja i pretpostaviti da će se narednih nekoliko godina ponašati identično. Svaka promena modela, prompta, strukture podataka ili povezanih alata može zahtevati ponovno testiranje. To je suštinska razlika u odnosu na PoC, gde tim obično posmatra samo trenutno stanje: ovaj model, sa ovim promptom i ovim podacima danas daje dobar rezultat.
Ko preuzima odgovornost?
PoC često ima jasnog vlasnika – mali, entuzijastični tim koji pokušava da dokaže da ideja funkcioniše. Produkcija zahteva mnogo širu organizacionu odgovornost.
Neko mora da bude vlasnik poslovnog procesa, neko modela i infrastrukture, neko bezbednosti, a neko kvaliteta podataka. Mora se unapred znati ko reaguje ako kvalitet odgovora padne, ko donosi odluku da se sistem privremeno isključi i ko odobrava proširenje njegovih ovlašćenja.
Kod AI agenata je to posebno važno zato što sistem više ne mora samo da preporučuje radnju – on može samostalno da je izvrši. Granica između AI eksperimenta i stvarnog poslovnog procesa tada postaje veoma konkretna. Ako niko u kompaniji ne može jasno da odgovori na pitanje ko je odgovoran za rezultat, projekat možda tehnički jeste spreman za demonstraciju, ali organizacija još nije spremna za njegovu produkciju.
Od impresivnog odgovora do dosadno pouzdanog sistema
Najveća razlika između PoC-a i produkcije upravo je u tome šta se od sistema očekuje. Demonstracija treba da pokaže nešto impresivno. Produkcija treba da bude predvidiva.
Korisniku koji svakog dana radi sa AI sistemom nije dovoljno da devet puta dobije odličan rezultat ako deseti put sistem napravi ozbiljnu grešku bez ikakvog upozorenja. Kompaniji nije dovoljno da agent može da završi komplikovan zadatak ako niko ne zna koliko će to koštati kada ga istovremeno koristi nekoliko hiljada zaposlenih.
Zbog toga neuspeh mnogih AI projekata nakon PoC faze ne mora da znači da tehnologija nije radila. Često je upravo suprotno: model je pokazao da zadatak može da obavi, ali se tek tada otkrilo koliko je inženjerskog, organizacionog i podatkovnog rada potrebno da bi ga obavljao pouzdano, bezbedno i dovoljno jeftino svakog dana.
PoC odgovara na pitanje: „Možemo li ovo da napravimo?“
Produkcija postavlja mnogo stroži uslov: „Možemo li da zavisimo od toga?“
Često postavljana pitanja (FAQ)
Koja je glavna razlika između AI PoC-a i produkcionog AI sistema?
Proof of Concept (PoC) služi da u kontrolisanim uslovima i na malom uzorku podataka dokaže da je neka ideja tehnički izvodljiva. Produkcioni sistem mora da radi pouzdano, bezbedno, predvidivo i ekonomski isplativo pod realnim opterećenjem, sa neuređenim podacima i jasnom organizacionom odgovornošću.
Zašto toliki procenat generativnih AI projekata stane nakon PoC faze?
Prema analizama tržišta (poput izveštaja kompanije Gartner), projekti najčešće staju zbog lošeg kvaliteta i neuređenosti internih podataka, nepredvidivih troškova skaliranja, nedostatka bezbednosnih kontrola (poput prava pristupa podacima) i nejasno definisane poslovne vrednosti.
Zašto su podaci važniji od samog AI modela u produkciji?
Čak i najnapredniji veliki jezički model (LLM) daje pogrešne ili kontradiktorne odgovore ako dobija zastarele dokumente, duplikate ili podatke bez konteksta. Pored toga, u RAG sistemima neophodno je obezbediti da model poštuje prava pristupa korisnika, kako zaposleni ne bi dobili uvid u poverljive dokumente za koje nemaju ovlašćenje.
Kako se meri kvalitet generativnog AI sistema kada ne postoji jedan tačan odgovor?
Umesto prostog procenta tačnosti, uvodi se evaluacija prilagođena konkretnom poslovnom zadatku. Mere se činjenična tačnost (odsustvo halucinacija), potpunost informacija, usklađenost sa pravilima i procenat slučajeva u kojima čovek mora naknadno da ispravi odgovor modela.
Zašto troškovi u produkciji često iznenade kompanije?
U PoC fazi trošak je mali jer sistem testira nekolicina ljudi. U produkciji se broj zahteva višestruko uvećava, a jedan korisnički upit u RAG ili agentic AI arhitekturi često pokreće desetine poziva ka modelima, vektorskim bazama i eksternim alatima, uz dodatne troškove nadzora (observability) i ljudske provere.
Šta je potrebno da bi organizacija bila spremna za produkcioni AI?
Pored tehničke integracije i kontinuiranog testiranja, neophodno je jasno definisati vlasništvo nad sistemom – ko odgovara za poslovni proces, ko za infrastrukturu i bezbednost, ko prati kvalitet odgovora kroz vreme i ko ima ovlašćenje da zaustavi sistem ukoliko počne da pravi greške.
Milena Šović, AI Implementation Specialist & AI Content Trainer
