Kako da pokrenete privatni AI (LLM) na svom računaru – bez interneta i pretplate

Ključne činjenice:
• Ollama: 1 komanda za instalaciju, 1 komanda za preuzimanje modela – radi za 5 minuta
• Phi-3 Mini: radi čak i na starom laptopu sa 8 GB RAM i 5 GB diska
• Mistral 7B / Llama 3.2 8B: zlatni standard – potrebno 16 GB RAM
• GPU ubrzanje: RTX 3060 (6 GB VRAM) → 30-50 tokena/sec ≈ osećaj identičan ChatGPT-u
• Apple M1/M2/M3: unified memory → lokalni LLM radi izuzetno brzo bez eksternog GPU-a
• Open WebUI: ChatGPT-like interfejs u browseru za Ollamu – besplatan i open-source
• RAG: lokalni LLM + vaši PDF-ovi = privatni AI koji zna vaše dokumente
• Qwen 2.5 Coder: za programere sa poverljivim kodom – bolji od CodeLlame
• DeepSeek-R1: matematika i logičko rezonovanje na nivou GPT-4o – lokalno
• GDPR + EU AI Act: cloud LLM = slanje podataka u SAD; lokalni LLM = nulta data leakage

Ovaj tekst je za sve koji su se zapitali: zašto bih plaćao pretplatu i slao svoje podatke negde u oblak kad mogu da pokrenem AI direktno na sopstvenom računaru? Konkretno ćemo objasniti šta su to lokalni LLM (Large Language Model – veliki jezički model) modeli, zašto ih sve više ljudi bira umesto ChatGPT-a i sličnih servisa, kako da podesite Ollama ili LM Studio na Windows, macOS ili Linux mašini, koje modele da odaberete (Llama 3, Mistral i ostale), koje su hardverske zahteve, i šta nas čeka u bliskoj budućnosti kada su ovakva rešenja u pitanju. Sve sa konkretnim komandama, praktičnim primerima i poštenim procenom – bez ulepšavanja i bez reklamnih fraza.

Zašto se uopšte priča o ovome

Ako pratite tech scenu poslednje dve do tri godine, možda ste primetili jednu zanimljivu stvar: što više ChatGPT, Claude, Gemini i ostali cloud AI servisi postaju popularni, sve više iskusnih korisnika i developera počinje da traži izlaz iz te igre. Nije to neko filozofsko bežanje od tehnologije – sasvim je praktičan razlog. Podaci.

Svaki put kad ukucate prompt u ChatGPT, ta konverzacija odlazi na OpenAI servere. Ko zna tačno šta se s njom dešava dalje – da li se koristi za treniranje sledećih modela, da li se čuva, da li je dostupna regulatorima? OpenAI-jeva sopstvena dokumentacija kaže da zadržava razgovore i da ih može koristiti za poboljšanje modela, osim ako eksplicitno ne isključite tu opciju u podešavanjima. A koliko vas je to zapravo uradilo?​

Situaciju su dodatno zakomplikovala neka konkretna dešavanja. Početkom 2025. godine postalo je javno poznato da OpenAI nikada nije obrisao korisničke razgovore onako kako je obećavao. Uz to, sudovi u SAD počeli su da zahtevaju pristup chat historijama u okviru pravnih postupaka. Za kompanije koje koriste AI alate za interno planiranje, pisanje poslovnih dokumenata ili analizu poverljivih podataka – ovo nije apstraktni rizik. Ovo je konkretan problem usklađenosti sa propisima.​

Tu na scenu stupaju lokalni LLM modeli. Rešenje je, u suštini, elegantno: AI radi na vašem računaru, koristi vaš hardver, a vaši upiti nikad ne napuštaju vaš disk.

Šta je zapravo lokalni LLM – i zašto nije isto što i „offline ChatGPT“

Pre nego što krenemo na instalaciju i podešavanje, vredi razjasniti jednu terminološku zabunu koja se stalno pojavljuje u komentarima i na forumima.

LLM (Large Language Model – veliki jezički model) je vrsta veštačke inteligencije trenirana na ogromnim količinama teksta, sposobna da generiše, prevodi, sažima i analizira jezik. ChatGPT je jedan takav model – konkretno, GPT-4o ili GPT-4.1, koji se izvršava na OpenAI serverima. Kad kažemo „lokalni LLM“, mislimo na isti tip modela, ali koji se izvršava lokalno, na vašem sopstvenom hardveru – CPU-u i GPU-u.

Ovo nije isto što i „ChatGPT offline“. OpenAI-evi modeli nisu javno dostupni u obliku koji možete preuzeti i pokrenuti lokalno. Ono o čemu govorimo su open-source (otvorenog koda) modeli koje su objavile kompanije poput Meta (Llama 3), Mistral AI (Mistral, Mixtral), Alibaba (Qwen), Google (Gemma) i drugi. Ovi modeli su slobodni za preuzimanje i korišćenje – neka pod potpuno otvorenim licencama, neka sa određenim ograničenjima za komercijalnu upotrebu, ali u svakom slučaju dostupni svima.

Razlika u kvalitetu postoji i ne treba je prećutavati. Llama 3.3 70B model – trenutno jedan od najjačih lokalnih modela za opštu namenu – odlično se ponaša na kompleksnim zadacima zaključivanja, prevoda i pisanja koda, ali još uvek ne dostiže nivo GPT-4o na najtežim benchmark testovima. S druge strane, za 90% svakodnevnih zadataka – pisanje mejlova, sažimanje dokumenata, pomoć pri kodiranju, odgovaranje na pitanja – razlika je minimalna ili praktično nepostojeca. I to bez ikakve pretplate i bez slanja ijednog bajta podataka napolje.

Privatnost nije marketing – ovo je stvarna razlika

Kad LM Studio kaže „vaši podaci nikad ne napuštaju vaš računar“, to nije marketinška fraza. To je tehnička stvarnost: model radi u lokalnoj memoriji, obrađuje tekst na vašem GPU-u, a rezultat se prikazuje direktno u aplikaciji. Nema mrežnih poziva prema spoljnim serverima tokom samog razgovora.​

Naravno, nije sve savršeno. I Ollama i LM Studio skupljaju određene minimalne tehničke podatke – verzije softvera, koji modeli se preuzimaju i slično – ali ni jedan od ova dva alata ne pristupa samim konverzacijama. To je fundamentalna razlika u odnosu na cloud servise.​

Za kompanije i profesionalce koji rade sa poverljivim informacijama – pravne firme, zdravstvene ustanove, finansijski sektor – ovo nije opcija „nice to have“. U Evropi, GDPR propisuje stroge uslove za obradu ličnih podataka, a korišćenje cloud AI alata za obradu poverljivih podataka klijenata može biti direktno kršenje tog propisa. Lokalni LLM rešava problem na najčistiji mogući način: podaci fizički ne napuštaju organizaciju.​

Koji alati postoje i zašto su baš Ollama i LM Studio najpopularniji

Postoji nekoliko alata koji omogućavaju pokretanje lokalnih modela, ali dva su trenutno daleko ispred konkurencije po popularnosti i zrelosti: Ollama i LM Studio.

Ollama – za developere i CLI ljubitelje

Ollama je open-source alat koji funkcioniše kao CLI (Command-Line Interface – interfejs komandne linije) kombinovan sa lokalnim API serverom. Instalacija je trivijalna na svim platformama, a pokretanje modela svodi se na jednu komandu.​

Ono što Ollama čini posebno moćnom je REST API koji se pokreće automatski na portu 11434 – što znači da je možete integrisati u sopstvene aplikacije, skripte, ili alate poput n8n automatizacije, VS Code ekstenzija i Python pipeline-ova. Performansno, Ollama koristi sopstveni Go runtime i optimizovanu implementaciju llama.cpp biblioteke, što joj daje oko 20% brži inference (proces generisanja odgovora) od LM Studio-a u poređenjima iz 2025.​​

Prednosti Ollama:

• Besplatna, open-source

• Jednokomandno preuzimanje i pokretanje modela (ollama pull llama3.3)

• Ugrađeni REST API za integraciju sa aplikacijama

• Niža potrošnja memorije

• Podrška za Windows 10+, macOS 14 Sonoma+, Linux​

• Podrška za Modelfile – prilagođavanje ponašanja modela

Mane:

• Nema grafičkog interfejsa (osim third-party rešenja)

• Zahteva osnovno poznavanje terminala

LM Studio – za one koji vole GUI

LM Studio je desktop aplikacija sa grafičkim interfejsom, dizajnirana tako da čak i korisnici bez tehničkog iskustva mogu preuzeti i pokrenuti model u roku od nekoliko minuta. Drag-and-drop instalacija modela, ugrađeni chat interfejs, vizuelno praćenje performansi – sve je tu.​

Posebno koristan detalj: LM Studio direktno integriše Hugging Face repozitorijum, najveće čvorište za open-source AI modele na svetu, što znači da možete pretražiti i preuzeti praktično bilo koji GGUF model bez napuštanja aplikacije.​

Prednosti LM Studio:

• Grafički interfejs – ne treba terminal

• Direktna integracija sa Hugging Face

• Vizuelno praćenje tokenizacije i performansi

• Kompletno offline funkcionisanje

• Podrška za lokalni server (API kompatibilan sa OpenAI formatom)

Mane:

• Sporija inference u poređenju sa Ollama

• Teža integracija sa eksternim alatima

• Electron aplikacija – nešto veća potrošnja sistemskih resursa

Kratko poređenje

Koji modeli su dostupni i koji da odaberete

Ovo je možda najbitnija odluka pri prvom pokretanju lokalnog AI sistema, i ujedno mesto gde se mnogi zaglave jer nemaju referentnu tačku.

Llama 3 i Llama 3.3 (Meta)

Meta-ini Llama modeli su zlatni standard open-source LLM ekosistema. Llama 3.3 70B, objavljen krajem 2024. godine, trenutno se smatra jednim od najjačih modela koji se može pokrenuti na potrošačkom hardveru. Na benchmark testovima poput MMLU, HumanEval i MT-Bench, ovaj model parira ili premašuje mnoge komercijalne modele manjeg i srednjeg nivoa.​

Za svakodnevnu upotrebu, Llama 3.2 3B i Llama 3.1 8B su odlični izbori za mašine sa 8-16 GB VRAM-a – brzi, precizni i sa dobrom podrškom za srpski i druge Balkanske jezike (mada ne savršenom).

Mistral i Mixtral (Mistral AI)

Mistral AI, francuska kompanija, objavila je seriju modela koji su obarali rekorde u odnosu na svoju veličinu. Ministral 3B i Mistral 7B su izuzetno efikasni modeli koji se mogu pokrenuti čak i na laptopovima sa integrisanom grafikom, a Mixtral 8x7B – arhitektura tipa MoE (Mixture of Experts – mešavina eksperata) – pruža kvalitet blizak GPT-4 klasi na konfiguracijama sa 24 GB VRAM-a.

Qwen, DeepSeek i Gemma

Alibaba-in Qwen2.5 serija i Kineska DeepSeek-R1 model family su u 2025. i 2026. godini izazvali pravu senzaciju u zajednici. DeepSeek-R1 je posebno zapažen jer su tvrdili da je treniran sa dramatično manjim budžetom od GPT-4, a benchmark rezultati su bili izuzetno kompetitivni. Gemma 3 od Google-a je odlican izbor za mašine sa 8 GB VRAM-a.

Brzi vodič za izbor modela

Šta vam treba od hardvera – iskrena procena

Ovo je deo gde se mnogi razočaraju jer očekuju da sve radi na staroj mašini. Hajde da budemo direktni.

GPU i VRAM – ključni faktor

VRAM (Video Random Access Memory — memorija grafičke kartice) je apsolutno ključan parametar. Osnovno pravilo koje se uvek iznova potvrđuje u praksi: otprilike 2 GB VRAM-a po milijardi parametara modela pri FP16 preciznosti.​

Ali tu na scenu stupa kvantizacija – tehnika koja kompresuje model smanjenjem preciznosti težinskih koeficijenata. Model koji u punoj FP16 preciznosti zahteva 14 GB VRAM-a, u Q4_K_M kvantizaciji može da stane u 4-5 GB, uz minimalan gubitak kvaliteta. Ovo je razlog zašto Mistral 7B može da radi čak i na GPU-u sa 6 GB VRAM-a.

Konkretni primeri iz prakse sa modernim GPU-ovima:

• RTX 3060 (12 GB) – Pokriva 7-13B modele u Q4 kvantizaciji. Solidna entry-level opcija. Brzina: 30-50 tokena u sekundi za 7B modele.

• RTX 4070 (12 GB) / RTX 4070 Ti (16 GB) – Komfortan rad sa 13-30B modelima. Sweet spot za ozbiljan rad.

• RTX 4090 (24 GB) – Flagship potrošačka kartica. Pokreće Llama 3.3 70B u Q4 kvantizaciji, Mixtral 8x7B. Oko 40+ tokena u sekundi za 70B model.

• RTX 5070 Ti (16 GB) – Nova generacija (2025), odlična cena/performansi za 2026. godinu.​

• Apple Silicon (M3/M4 Pro/Max) – Delje unified memory između CPU-a i GPU-a. M4 Max sa 48 GB memorije pokriva čak i 70B modele.

Šta ako imate samo CPU? Moguće je, ali bolno sporo. llama.cpp biblioteka, na kojoj su i Ollama i LM Studio bazirani, podržava čisto CPU inference, ali brzina pada na 1-5 tokena u sekundi čak i na jakom procesoru – za poređenje, normalan razgovor zahteva 15-30 tokena u sekundi da bi bio upotrebljiv.

RAM i storage

Sistemska RAM memorija je sekundarna, ali i tu ima minimuma. Za 7B modele, 16 GB RAM-a je komfortan minimum. Za 70B modele sa delimičnim opterećenjem na CPU-RAM (kad model ne staje u potpunosti u VRAM), preporučuje se 64 GB ili više.​

Storage (disk) je manje kritičan, ali brzi NVMe SSD drastično ubrzava učitavanje modela. Llama 3.3 70B u Q4 kvantizaciji zauzima oko 40 GB. Mistral 7B oko 4 GB. Imajte to na umu kad planirate prostor.

Ollama – korak po korak instalacija i pokretanje prvog modela

Ovo je najlakši deo. Bukvalno.

Instalacija

Windows:
Idite na https://ollama.com/download, preuzmite installer i pokrenite ga. To je sve. Ollama se instalira kao pozadinski servis i automatski se pokreće.​​

macOS (zahteva Sonoma 14+):
Isti link, macOS verzija. Ili putem Homebrew-a:

Linux:

Proveriti instalaciju

Preuzimanje i pokretanje modela

Pokretanje Llama 3.2 (3B — lagan, za testiranje):

Ollama će automatski preuzeti model (ako ga nema) i otvoriti interaktivni chat interfejs direktno u terminalu.​

Za Mistral 7B:

Lista svih preeuzetih modela:

Brisanje modela (da oslobodite prostor):

Korišćenje REST API-ja

Ollama automatski pokreće lokalni server na http://localhost:11434. Možete mu pristupiti iz bilo kog programskog jezika ili alata.

Primer curl poziva:

Ovo je OpenAI-kompatibilan format, što znači da možete jednostavno promeniti base URL u postojećim aplikacijama i koristiti lokalni model umesto cloud servisa – bez promene koda.​

LM Studio – grafički interfejs za sve ostale

Za korisnike koji ne žele terminal, LM Studio je savršen odgovor.

Instalacija

Idite na https://lmstudio.ai i preuzmite verziju za vaš operativni sistem. Aplikacija je dostupna za Windows, macOS i Linux.​

Preuzimanje modela

1. Pokrenite LM Studio

2. Kliknite na ikonicu za pretragu (lupa) na levoj strani

3. Ukucajte ime modela koji tražite – npr. „llama-3“ ili „mistral“

4. Aplikacija prikazuje dostupne modele direktno sa Hugging Face repozitorijuma

5. Kliknite Download pored željenog modela

6. Sačekajte preuzimanje (veličina zavisi od modela – od 2 GB do 40+ GB)

Pokretanje razgovora

Nakon preuzimanja, idite na „Chat“ sekciju, odaberite model iz padajućeg menija i počnite razgovor. Interfejs je gotovo identičan ChatGPT-u u izgledu i funkcionalnosti.​

Lokalni server za integraciju

LM Studio ima ugrađeni lokalni server koji oponaša OpenAI API format. Idite na „Local Server“ tab, pokrenite server, i svaka aplikacija koja podržava custom OpenAI endpoint može da koristi vaš lokalni model. Ovo je posebno korisno za integraciju sa alatima poput Continue (VS Code ekstenzija za AI pomoć pri kodiranju), ili sa custom aplikacijama.​

Praktični primeri – šta tačno možete da radite

Teorija je lepa, ali šta zapravo možete da uradite sa lokalnim LLM-om? Evo konkretnih primera iz prakse.

Kodiranje i debugging

Ovo je, iskreno, area gde lokalni LLM-ovi najviše blistaju. Ako radite na projektu koji sadrži poverljivi kod – vlasnički algoritmi, interni API ključevi, osetljive poslovne logike – slanje tog koda u ChatGPT je nešto što bi verovatno zapušilo uši vašem pravnom odeljenju. Sa lokalnim modelom, kod ne napušta vašu mašinu.

Ollama se integriše sa Continue ekstenzijom za VS Code, koja pruža gotovo identično iskustvo kao GitHub Copilot, ali lokalno. Setup:

1. Instalirati Continue ekstenziju u VS Code

2. U podešavanjima Continue promeniti provider na ollama

3. Odabrati model (Qwen2.5-Coder 7B je odličan za kodiranje)

4. Koristiti kao i obično – autocomplete, objašnjenje koda, refaktoring

Obrada dokumenata sa RAG-om

RAG (Retrieval-Augmented Generation – generisanje uz pretraživanje) je tehnika koja omogućava da LLM odgovara na pitanja bazirana na vašim dokumentima, a ne samo na svom treniranom znanju. Zamislite da imate 500 PDF dokumenata interne dokumentacije kompanije – sa RAG-om možete ih „ubaciti“ u lokalni model i postavljati pitanja u prirodnom jeziku.

Alati kao što su Ollama + Open WebUI (slobodna GUI aplikacija koja se pokreće uz Ollama) ili LM Studio uz LlamaIndex Python biblioteku omogućavaju ovo bez ijednog podatka koji izlazi iz vaše mreže.​

Prevođenje i pisanje

Za pisanje, prevođenje i uređivanje teksta – blogerske objave, tehnička dokumentacija, mejlovi – 7-14B modeli su apsolutno adekvatni za svakodnevnu upotrebu. Razlika u poređenju sa ChatGPT-om za ove zadatke je minimalna, a prednost je totalna kontrola nad sadržajem.

Privatna AI asistencija za osetljive branše

U zdravstvenim ustanovama, lekari mogu da koriste lokalni model za pomoć pri pisanju kliničkih izveštaja, diferencijalnoj dijagnozi ili analizi medicinske literature – bez ikakve bojazni da poverljivi podaci pacijenata odlaze na strane servere. U finansijskim firmama, analitičari mogu da koriste AI za analizu internih izveštaja. Sve ovo je kompletno GDPR usklađeno jer podaci ostaju unutar organizacione mreže.​

Kvantizacija – tehnički detalj koji morate razumeti

Ovaj termin stalno iscrtava i vredi ga razjasniti jednom za svagda, jer direktno utiče na koji model možete da pokrenete na svom hardveru.

U standardnoj verziji, parametri (težine) neural mreže se čuvaju kao 32-bitni ili 16-bitni floating point brojevi (FP32/FP16/BF16). Kvantizacija ih konvertuje u formate niže preciznosti – INT8 (8-bitni celi brojevi), INT4 (4-bitni), i sl.

Efekat je dramatičan: Llama 3 70B model u FP16 preciznosti zahteva oko 140 GB memorije. U Q4_K_M kvantizaciji isti model zauzima oko 38-40 GB – četiri puta manje. Gubitak u kvalitetu postoji, ali za Q4 kvantizaciju obično je ispod 2-3% na standardnim benchmark testovima – gotovo neprimetno u svakodnevnoj upotrebi.​

Ollama automatski primenjuje odgovarajuću kvantizaciju zavisno od vašeg hardvera. LM Studio pri preuzimanju pokazuje različite kvantizovane verzije modela sa jasnim naznakom formata (Q4_K_M, Q5_K_M, Q8_0 itd.). Praktičan savet: Q4_K_M je zlatni standard za balans između veličine i kvaliteta. Q8_0 daje bolji kvalitet ali zahteva skoro duplo više VRAM-a.

Formati koji se koriste:

Open WebUI – kada terminalu treba grafičko lice

Jedan od najpopularnijih dodataka za Ollama korisnike je Open WebUI – web aplikacija otvorenog koda koja pruža ChatGPT-like interfejs za lokalne modele.

Instalacija je trivijalna ako imate Docker:

Posle toga, otvorite http://localhost:3000 u browseru i imate potpuni chat interfejs koji podržava:

• Razgovor sa više modela paralelno

• Upload fajlova i slika (za multimodalne modele)

• Upravljanje razgovorima i pravljenje foldera

• RAG integraciju

• Korisnički sistem sa rolama (korisno za timove)

Sve lokalno, sve privatno, sve besplatno.

Modelfile – kada hoćete da AI ima vašu ličnost

Ollama podržava Modelfile – konfiguracioni fajl koji vam omogućava da prilagodite ponašanje modela. Ovo je ekvivalent „System Prompt“-u koji definišete jednom i koji ostaje aktivan u svim razgovorima.

Primer jednostavnog Modelfile-a koji kreira asistenta za pisanje tehničkih tekstova na srpskom:

Sačuvati kao Modelfile, zatim:

Rezultat je personalizovani model koji se ponaša tačno onako kako ste definisali – i koji ostaje konsistentan kroz sve razgovore.​

Sigurnosna razmatranja – i ne, nije sve savršeno

Hajde da budemo iskreni i o onome što ne radi idealno.

Ograničenje modela: Open-source modeli, posebno manji (3-8B), mogu biti manje pouzdani od GPT-4 klase na složenim zadacima zaključivanja, matematici i tačnosti faktualnih informacija. Ovo nije mišljenje – ovo su merljive razlike na standardnim benchmark testovima. Upotrebljavajte lokalne modele za zadatke gde greška nije katastrofalna, ili verifikujte kritične izlaze.

Bezbednost same mašine: Svi vaši razgovori su privatni od cloud kompanija, ali nisu privatni od malware-a na vašoj mašini. Lokalni model je siguran koliko i operativni sistem na kom radi.

„Jailbreaking“ lakši na lokalnim modelima: Cloud servisi imaju softverske filtere i kontentna ograničenja. Lokalni modeli, posebno „uncensored“ varijante koje postoje na Hugging Face-u, nemaju te limite. To je prednost za legitimnu primenu (npr. pisanje fikcije sa teškim temama), ali treba biti svestan ove razlike.

Konsumpcija energije: RTX 4090 pri punom opterećenju toroši oko 450W. To nije isto što i slanje upita na OpenAI server. Ako radite intenzivno sa lokalnim modelima ceo radni dan, račun za struju će biti primetno viši.

Budućnost lokalnih AI modela – gde idemo odavde

Ovo je možda najuzbudljiviji deo cele priče, jer trendovi jasno pokazuju jedan pravac.

2026: Edge AI postaje mainstream. Već sada, prema analizi kompanije Technovapartners, 2026. je godina kada se hibridne arhitekture — deo u cloudu, deo lokalno — etabliraju kao best practice za organizacije koje balansiraju privatnost, latenciju i sposobnosti. Nije pitanje „hoće li“ – to se već dešava.​

2027: Demokratizacija kroz jeftiniji hardver. IDC predviđa da će do 2027. godine 80% CIO-a (Chief Information Officer – direktor informacionih sistema) okrenuti ka edge inference servisima umesto cloud AI-ja. Uz to, novi čipovi specijalno dizajnirani za AI inference – NVIDIA-ini Jetson moduli, Apple Silicon, AMD-ovi novi APU-ovi – spuštaju cenu pristupnog hardvera.​

Small Language Models (SLM) revolucija: Trend koji je jasno uočljiv u 2026. godini je da mali modeli postaju sve sposobniji. Modeli od 1-7 milijardi parametara, specijalizovani za konkretne zadatke (kodiranje, medicinska analiza, pravni jezik), počinju da premašuju generičke gigantske modele za svoju konkretnu nišu. Zamislite lokalni AI asistent za radiologe koji je bolji od GPT-4 u čitanju rendgenskih snimaka, a radi na workstation-u u bolnici bez ijednog podatka koji napusti zgradu.​

Neuromorphic computing i kvantni računari: Ovo je dugoročniji horizont, ali kompanije poput Intel-a (sa Loihi čipovima) i IBM-a aktivno razvijaju neuromorphic procesore koji bi mogli pokretati AI modele sa dramatično manjom potrošnjom energije od sadašnjih GPU-ova. Kada ova tehnologija sazri – a razgovori su o periodu 2028-2032 – „lokalni AI“ bi mogao da znači model koji radi 24/7 na uređaju nalik pametnom telefonu, sa potrošnjom od nekoliko vati.

Regulatorni pritisak ubrzava adopciju: EU AI Act, koji je stupio na snagu u punom obimu u 2025. godini, nameće stroge uslove transparentnosti i kontrole podataka za AI sisteme koji obrađuju lične podatke. Za kompanije pod ovim propisima, lokalni LLM nije samo tehnološki luksuz – postaje regulatorni imperativ.

Česta pitanja iz prakse

Mogu li da pokrenem lokalni LLM bez GPU-a?
Da, ali rezultati su spori – obično 1-5 tokena u sekundi na modernom CPU-u. Za testiranje i povremenu upotrebu to može biti prihvatljivo, ali za normalan radni tok nije praktično.​

Mogu li lokalni modeli da čitaju fajlove sa mog diska?
Sami po sebi, ne. Ali uz RAG framework (LlamaIndex, LangChain) ili alate poput Open WebUI-ja koji imaju ugrađenu RAG podršku, da – možete „učitati“ PDF, Word ili tekstualne fajlove i razgovarati sa njima.

Koliko košta?
Sofver (Ollama, LM Studio) je besplatan. Cena je hardver koji već možda imate ili ćete kupiti. Nema mesečnih pretplata, nema po-token naplate.

Koji je najpovoljniji GPU za početak?
RTX 3060 sa 12 GB VRAM-a trenutno se može naći kao polovna kartica za razumnu cenu i nudi solidan experience sa 7-13B modelima. Novi RTX 4060 (8 GB) je dobar za entry level, ali 8 GB VRAM-a brzo postaje tijesno.​

Mogu li da koristim lokalni model sa telefonom ili tabletom?
Indirektno – da. Ako Ollama radi na vašem desktop računaru ili home serveru, možete mu pristupiti sa mobilnog uređaja preko lokalne mreže putem REST API-ja ili Open WebUI interfejsa u mobilnom browseru.

Gde da naučite više

Ako vas je tema zainteresovala, evo legitimnih resursa gde možete dalje istraživati:

• Ollama zvanična dokumentacija – model biblioteka, API dokumentacija, primeri

• LM Studio – preuzimanje, dokumentacija i changelog

• Hugging Face – centralni repozitorijum za open-source modele

• r/LocalLLaMA – Reddit zajednica posvećena lokalnim LLM-ovima, odlično mesto za hardware preporuke, benchmark rezultate i troubleshooting

• SitePoint vodič za lokalne LLM-ove 2026 – detaljan engleski vodič sa fokusom na hardver i privatnost​

• Heyally.ai pregled stanja 2026 – aktuelan pregled ekosistema​

Da li je vreme da se prebacite?

Ako radite sa osetljivim podacima, ako vas je ikad nervozno da pitate ChatGPT nešto što ne biste hteli da čitate u novinama sledećeg dana, ako plaćate pretplatu za AI alat koji koristite svaki dan – odgovor je: da, vreme je da razmislite o lokalnom LLM rešenju.

Nije to idealno rešenje za sve slučajeve. Najjači cloud modeli su i dalje ispred kada su u pitanju najsloženiji zadaci. Ali za 80-90% svakodnevne upotrebe, Llama 3.3, Mistral, Qwen ili DeepSeek na vašem sopstvenom hardveru pružaju odgovarajući ili gotovo identičan kvalitet – uz potpunu privatnost, bez pretplate i bez zavisnosti od nečije usluge koja može da promeni cenu, uslove korišćenja ili da jednostavno nestane.​​

Ekosistem je sazreo. Alati su jednostavni. Modeli su dobri. Jedino što stoji između vas i privatnog AI asistenta je vreme da preuzmete Ollama i ukucate prvu komandu.