Zaboravite na robots.txt – stigao je llms.txt: Šta je novi standard i zašto ga vaš sajt mora imati?

356

– Šta je /llms.txt fajl, ko ga je predložio i zašto je nastao baš u ovom trenutku razvoja interneta
– Zašto veliki jezički modeli (large language models – LLM) imaju fundamentalan problem sa klasičnim HTML-om prepunim JavaScripta, reklama i navigacionih menija
– Kako izgleda sintaksa ovog fajla, koji Markdown elementi se koriste i kakva je tačna struktura prema zvaničnoj specifikaciji
– Šta je razlika između llms.txt, llms-full.txt i llms-ctx.txt verzija
– Ko od poznatih kompanija već koristi ovaj standard i kakvi su prvi rezultati
– Da li AI zaista čita ovaj fajl – kritički pogled na podatke, uključujući i ono što John Mueller iz Googlea ima da kaže
– Kompletan vodič za implementaciju korak po korak, uključujući WordPress/Yoast integraciju
– Šta nas čeka u budućnosti ovog standarda i zašto je rano usvajanje strateška prednost

Vaš sajt postoji – ali za AI sisteme kao da ne postoji

Zamislite sledeće. Neko otvori ChatGPT ili Claude i ukuca upit koji direktno odgovara nečemu o čemu vi pišete. Imate sjajan sadržaj, solidan SEO, redovne objave. Ipak, AI model daje netačan odgovor, citira vašeg konkurenta, ili – što je najgore – daje potpuno izmišljene informacije jer nema pristup vašem sajtu na način na koji mu je to potrebno.

Ovo nije teorijski scenario. Ovo se dešava svaki dan, na milionima sajtova.

Problem nije u kvalitetu vašeg sadržaja. Problem je u formatu u kome ga servirate. Klasičan HTML fajl, onaj koji pretraživači kao Google vole, pun je stvari koje su korisnicima neophodne ali jezičkim modelima – smetnja. Navigacioni meni, footer sa stotinama linkova, baneri, JavaScript koji učitava reklame, kolačići, pop-up prozori, sidebar widgeti… Za čoveka koji gleda ekran, sve to ima smisla. Za LLM koji pokušava da izvuče suštinu iz teksta, to je kao da čita novine zajedno sa ambalažom u kojoj su zapakovanje.

U septembru 2024. godine, Jeremy Howard – suosnivač fast.ai i jedan od najuticajnijih ljudi u savremenom razvoju AI alata – predložio je rešenje koje je elegantno u svojoj jednostavnosti. Fajl koji se zove llms.txt, koji se smešta u koreni direktorijum sajta, i koji AI modelima govori: „Evo šta smo mi, evo šta je najvažnije na ovom sajtu, i evo gde da nađeš čiste, AI-čitljive verzije naših stranica.“​

Zvuči kao sitnicu. Ali u kontekstu onoga što se dešava sa pretragom, vidljivošću i distribucijom informacija u 2026. godini, ovo je potencijalno jednako važno koliko je robots.txt bio važan 1994. godine kada je prvi put uveden.

Da li je llms.txt zvanični standard? Još uvek ne. Da li ga sve AI platforme zvanično podržavaju? Još uvek ne. Da li ga već koristi više od 844.000 sajtova? Da. I da li Yoast SEO – plugin koji koriste desetine miliona WordPress sajtova – već ima ugrađenu podršku za njega? Da, od verzije 25.3.

Dakle, hajde da razgovaramo ozbiljno o tome šta je ovaj fajl, zašto postoji, i – što je najvažnije – kako da ga implementirate na vašem sajtu pre nego što to uradi vaš konkurent.

Šta se zapravo dešava u svetu AI pretrage

Pre nego što zaronimo u tehničke detalje llms.txt fajla, važno je razumeti kontekst. Bez njega, cela priča izgleda kao još jedna SEO taktika u nizu. Nije.

Promena koja se desila u posleđnje dve-tri godine nije evolucija pretrage – to je njena transformacija. Google je godinama funkcionisao po jednom modelu: korisnik ukuca upit, algoritam rangira stranice, korisnik klikne na link i odlazi na sajt. Ceo sistem bio je dizajniran da vozi saobraćaj.

AI pretrage funkcionišu drugačije. Kada korisnik pita ChatGPT ili Perplexity nešto, sistem ne traži „koji sajt ima najrelevantnije informacije o tome“ – on konstruiše odgovor. Taj odgovor može biti baziran na vašem sadržaju, ali korisnik neće nužno posetiti vaš sajt. Dobija odgovor direktno. Zero-click, ali na višem nivou.

Ovo ima ozbiljne implikacije. Prema istraživanjima koje smo objavili u tekstu o evoluciji pretrage u eri AI modela, klasični SEO signali koje Google koristi za rangiranje – backlinks, dwell time, CTR – postaju manje relevantni kada AI sistem ne rangira stranice već konstruiše odgovore. Ono što postaje ključno je: da li AI sistem uopšte ima pristup vašem sadržaju, i ako ima, da li ga razume tačno?​

Tu nastaje problem. Kada GPTBot, ClaudeBot ili Perplexity-Bot crawluju vaš sajt, oni dobijaju HTML fajlove. Ti fajlovi, u proseku, sadrže ogromne količine „šuma“ – teksta koji nije sadržaj. Footer linkovi, navigacija, breadcrumbs, JavaScript pozivi za analitiku, meta tagovi, reklamni kodovi… Sve to „zauzima prostor“ u onome što se zove context window (kontekstni prozor) jezičkog modela.

Context window je fundamentalno ograničenje svakog LLM-a. To je maksimalna količina teksta – merena u tokenima, što su grupe od otprilike 3-4 karaktera – koju model može da „vidi“ odjednom. GPT-4o ima context window od 128.000 tokena. Claude 3.7 Sonnet od 200.000 tokena. Impresivno, ali – prosečna web stranica u HTML formatu, sa svim JavaScript-om, CSS-om i navigacijom, može lako „pojesti“ desetine hiljada tokena pre nego što model uopšte stigne do stvarnog sadržaja.

Rešenje je logično: treba dati modelima sadržaj u formatu koji je efikasan, čist i direktno čitljiv. I tu na scenu stupa llms.txt.

Ako vam nije do kraja jasno kako AEO (Answer Engine Optimization) razlikuje pristup sadržaju od klasičnog SEO-a, preporučujemo naš tekst AEO vs. SEO – razlike, sličnosti i značaj gde smo ovo detaljno razložili.​

Šta je llms.txt fajl?

Definicija je jednostavna: llms.txt je Markdown-formatiran tekstualni fajl koji se smešta u korenski direktorijum vašeg web sajta (na putanji /llms.txt), a čija je svrha da velikim jezičkim modelima pruži kurirani, čist i efikasan pregled vašeg sajta – onoga što ste vi, a ne crawler algoritam.

Zvanična specifikacija na llmstxt.org definiše ga ovako:​

„Predlažemo dodavanje /llms.txt Markdown fajla na web sajtove kako bi se LLM-ovima pružio sadržaj prilagođen njihovim potrebama. Ovaj fajl nudi kratke pozadinske informacije, smernice i linkove ka detaljnim Markdown fajlovima.“

Preciznije, llms.txt je:

• Kurirani indeks – za razliku od sitemap.xml koji lista sve URL-ove, llms.txt lista samo ono što vi smatrate najvažnijim za AI da razume

• Navigacijski vodič – govori AI-u gde da nađe čiste verzije vaših stranica (.md fajlovi)

• Identifikacijski dokument – ko ste vi, šta radite, koji je kontekst vašeg sajta

• Vremenski efikasan – ceo fajl stane u mali broj tokena, što je precizno ono što LLM-ovi trebaju

Važna distinkcija: llms.txt nije zamena za robots.txt. Ova dva fajla imaju potpuno različite funkcije i idealno je da rade zajedno, paralelno.​

robots.txt govori crawlerima šta smeju da čitaju (kontrola pristupa). llms.txt govori LLM-ovima šta vredi čitati (kuracija sadržaja).

Ovo je suštinska razlika. robots.txt je zakon. llms.txt je mapa blaga.

Zanimljivo je i to da llms.txt nije ni zamena za sitemap.xml. Sitemap govori Googlebot-u da postoje URL-ovi i kada su poslednji put ažurirani. Ne govori mu ništa o kontekstu, važnosti ili međusobnoj povezanosti stranica. llms.txt radi upravo to – daje kontekst.​

Ko je kreirao llms.txt i zašto baš sada?

Jeremy Howard nije slučajno ime u AI zajednici. Pored co-osnivanja fast.ai platforme, on stoji iza nbdev projekta – alata koji automatizuje razvoj Python biblioteka direktno iz Jupyter notebooks-a. Pored toga, on je bio jedan od autora revolucionarnog ULMFiT rada koji je otvorio put ka transfer learning-u (transfernom učenju) u NLP-u (obradi prirodnog jezika).

U septembru 2024. Howard je bio suočen sa konkretnim problemom: FastHTML projekat – Python biblioteka za pravljenje web aplikacija – imao je dokumentaciju koja je bila dostupna online, ali je AI asistenti nisu mogli efikasno koristiti. Kada bi developer koristio Claude ili ChatGPT za pomoć sa FastHTML kodom, modeli bi često davali pogrešne odgovore ili izmišljali API-je koji ne postoje – jer su imali pristup starim, nepotpunim ili pogrešno interpretiranim stranicama dokumentacije.​

Howardovo rešenje: napravi fajl koji LLM-u tačno kaže šta FastHTML dokumentacija sadrži i gde da nađe čiste verzije svake stranice. Fajl je bio u Markdown formatu jer je Markdown „jezik koji LLM-ovi razumeju nativno“ – treniran je na ogromnim količinama Markdown teksta sa GitHub-a i raznih tehničkih platformi.

Ideja je brzo uhvatila maha. Zašto baš sada? Jer sada postoji realan razlog za to. Godinu dana ranije, AI pretrage nisu bile toliko integrisane u svakodnevni razvojni tok. U 2024. i 2025. godini, to se promenilo. Programeri su počeli da koriste AI asistente za svakodnevni rad – pisanje koda, pretraživanje dokumentacije, rešavanje problema. A AI asistenti su počeli da daju netačne odgovore o bibliotekama i API-jevima jer dokumentacija nije bila u formatu koji oni efikasno konzumiraju.

llms.txt je nastao kao direktan odgovor na ovaj praktičan problem. A zatim se proširio na svet marketinga, SEO-a i svakog sajta koji želi da bude citiran u AI odgovorima.

Zašto LLM modelima smeta HTML? Tehničko objašnjenje

Ovo je možda najvažniji deo ovog teksta za developere, pa ćemo ga detaljno razraditi.

Problem 1: Token efikasnost

Svaki token koji LLM „pojede“ košta – i bukvalno i figurativno. U API okruženju, ChatGPT naplaćuje po tokenu. Claude naplaćuje po tokenu. Ali čak i kada govorimo o besplatnim interfejsima, context window je ograničen.

Uzmimo konkretan primer. Prosečna web stranica u HTML formatu ima između 50.000 i 200.000 karaktera koda. Od toga, stvarni sadržaj (tekst koji korisnik čita) čini možda 10-20%. Ostatak su HTML tagovi, CSS klase, JavaScript pozivi, komentari u kodu, atributi, meta podaci, inline stilovi…

Isti sadržaj u Markdown formatu može da se smanji na 10-30% originalne veličine uz zadržavanje svih informacija relevantnih za LLM. To znači da model može u istom context window-u da „vidi“ 3-10 puta više sadržaja.

Problem 2: Semantički šum

HTML nije dizajniran za mašinsko čitanje semantike teksta – dizajniran je za prikaz u pretraživaču. To znači da isti vizuelni element može biti kodiran na desetine različitih načina. <div class="content">, <article>, <main>, <section id="post-body"> – sve to može biti „telo članka“, ali LLM mora da „nauči“ da prepozna šta je sadržaj a šta je wrapper.

A navigacioni meni? On izgleda potpuno isto kao lista linkova u članku iz perspektive HTML parsera. Footer sa 40 linkova ka različitim kategorijama? Šum koji popunjava context window.

Problem 3: JavaScript barijera

Moderan web je izrazito JavaScript-zavisan. React, Vue, Angular, Next.js – ogromna većina današnjih sajtova koristi JavaScript za renderovanje sadržaja. Ovo znači da crawler koji ne izvršava JavaScript (a mnogi AI crawleri ne izvršavaju ga u potpunosti) može dobiti gotovo prazan HTML dokument – skeleton bez mesa.​

Googlebot je proveo godine usavršavajući Chromium-baziran rendering engine koji izvršava JavaScript. Mlađi AI crawleri nemaju luksuz ovako razvijene infrastrukture. Rezultat: vaš sadržaj koji je generisan JavaScriptom možda nikad ne bude ni pročitan.

Problem 4: Context window fragmentacija

Kada LLM crawluje sajt, on ne dobija ceo sajt odjednom. Dobija stranice jednu po jednu. A svaka stranica ima isti „overhead“ – istu navigaciju, isti footer, iste reklame. To znači da od 128.000 tokena context window-a, možda 20-30% odlazi na ponavljajući sadržaj koji se pojavljuje na svakoj stranici.

Markdown eliminiše sve ovo. Čist Markdown fajl koji opisuje ceo sajt može stati u nekoliko hiljada tokena – sa svim ključnim linkovima, opisima i kontekstom. To je razlika između davanja nekome mape celokupnog grada i bacanja stotina nasumičnih fotografija ulica.

Kako Markdown rešava ove probleme?

Markdown je zamišljen kao „čoveku čitljivi markup“ – tekst koji izgleda normalno kada ga čovek čita, ali koji ima jasnu strukturu koju može parsirati i program. Nema <div> tagova, nema CSS klasa, nema inline JavaScript-a. Samo tekst, zaglavlja sa # znakovima, linkovi u formatu [tekst](url), liste sa -, kod u backtick-ovima.

LLM-ovi su trenirani na ogromnim količinama Markdown teksta – GitHub README fajlovi, dokumentacija na platforms poput Read the Docs, Stack Overflow odgovori, tehnički blog postovi… Markdown je zapravo „maternji jezik“ modernih jezičkih modela u tehničkom kontekstu.​

Kada model dobije čist Markdown umesto HTML-a sa JavaScriptom, doslovno „diše“ lakše. Nema potrebe za dedukcijom šta je sadržaj a šta je navigacija. Nema potrebe za ignorisanjem reklamnih blokova. Informacija je direktno dostupna.

Više o tome kako AI menja način na koji konzumiramo informacije na webu možete pročitati u tekstu Veštačka inteligencija i SEO: Kako AI menja pravila igre u optimizaciji pretraživača.​

llms.txt vs robots.txt vs sitemap.xml – detaljna poređenja

Da bismo razumeli ulogu llms.txt, korisno je da ga smestimo u kontekst postojećih standarda:

Ono što je ključno razumeti je da llms.txt ne zamenjuje nijedan od ova dva fajla. Oni su komplementarni. Robots.txt i dalje kontroliše koji botovi smeju da crawluju koji deo sajta. Sitemap.xml i dalje govori Google-u da postoje vaše stranice. llms.txt je treći sloj – onaj koji AI sistemima daje kontekst i efikasnost.​

Anatomija llms.txt fajla – format, sintaksa i struktura

Hajde da pređemo na ono što developere zapravo zanima: kako ovaj fajl izgleda i kako se piše.

Prema zvaničnoj specifikaciji na llmstxt.org, fajl mora pratiti sledeću strukturu, u ovom tačnom redosledu:​

Obavezni elementi:

1. H1 naslov – Ime projekta ili sajta. Ovo je jedini obavezni element celog fajla.

2. Blockquote sa kratkim opisom – Jedna do dve rečenice koje suštinski opisuju šta je vaš sajt/projekat. Ovo je kao meta opis, ali pisan za AI a ne za Google.

3. Opcioni tekstualni delovi – Paragrafovi, liste ili drugi Markdown elementi koji daju dodatni kontekst. Ovde možete napisati šta vaš sajt nije (isto toliko korisno kao i šta jeste), napomenuti posebnosti, dati uputstva za interpretaciju.

4. Sekcije sa listama linkova – Označene H2 naslovima, sadrže linkove ka važnim stranicama/dokumentima sa opcionalnim opisima.

5. Opciona sekcija (Optional) – Sekcija sa posebnim imenom „Optional“ ima posebno značenje: linkovi unutar nje mogu biti preskočeni ako model radi sa manjim context window-om ili ako želi kraći kontekst. Ovde smestite sekundarne informacije.​

Kompletni primer za tehnički sajt:

Markdown elementi koje možete koristiti:

llms-full.txt i llms-ctx.txt – napredni formati

Pored osnovnog llms.txt fajla, specifikacija predviđa i naprednije varijante koje su posebno korisne za projekte sa opsežnom dokumentacijom.

llms-full.txt

Ovo je „expanded“ verzija llms.txt fajla – umesto samo linkova ka stranicama, llms-full.txt sadrži i kompletan sadržaj tih stranica. Umesto da AI crawler mora posebno da poseti svaki link, dobija sve odjednom.

Naravno, ovaj fajl može biti velik – nekad i nekoliko megabajta – što ga čini manje pogodnim za API pozive sa ograničenim context window-om. Namenjen je slučajevima kada developer želi da „učita“ celu dokumentaciju projekta kao kontekst za AI asistenta odjednom, na primer kao dokument u Claude projektu ili ChatGPT custom instructions.

llms-ctx.txt i llms-ctx-full.txt

FastHTML projekat je uveo ova dva formata kao praktično rešenje. Generišu se automatski alatom llms_txt2ctx iz llms.txt fajla:​

• llms-ctx.txt – Kompaktna verzija sa sadržajem linkova koji nisu u „Optional“ sekciji (kraći kontekst, brže učitavanje)

• llms-ctx-full.txt – Verzija sa sadržajem svih linkova, uključujući opcionalnih (potpuni kontekst, veća veličina)

FastHTML koristi XML-baziranu strukturu za ove fajlove, prilagođenu za Claude:

Ovo je primer kako jedna specifikacija može evoluirati i prilagođavati se različitim upotrebnim slučajevima. Osnovna ideja ostaje ista – čist sadržaj, minimalan overhead, maksimalna efikasnost.

Markdown verzije pojedinih stranica (.md ekstenzija)

Pored llms.txt fajla, specifikacija predlaže i nešto šire: da svaka stranica na vašem sajtu ima svoju čistu Markdown verziju dostupnu na istom URL-u sa dodatkom .md ekstenzije.​

Na primer:

• HTML verzija: https://vas-sajt.com/blog/moj-clanak/

• Markdown verzija: https://vas-sajt.com/blog/moj-clanak/index.html.md

Ovo je ambiciozniji predlog koji zahteva više tehničkog rada, ali za sajtove sa opsežnom dokumentacijom – posebno razvojne projekte – može biti izuzetno vredan. nbdev projekt je implementirao ovu mogućnost i sada automatski generiše .md verzije svih stranica dokumentacije.​

Ko već koristi llms.txt? Primeri iz prakse

Teorija je lepa, ali šta se dešava u praksi? Ko je već implementovao ovaj standard i kakve su reakcije?

FastHTML (referentna implementacija)

FastHTML projekat je, logično, prva i najrazvijenija implementacija. Njihov llms.txt je dostupan na https://fastht.ml/llms.txt i služi kao referentni primer. Pored osnovnog fajla, imaju i llms-ctx.txt i llms-ctx-full.txt verzije. Rezultat: programeri koji koriste Claude ili ChatGPT za pomoć sa FastHTML kodom dobijaju precizne, tačne odgovore jer modeli imaju pristup čistoj dokumentaciji.​

Anthropic (Claude)

U novembru 2024. godine, Anthropic je dodao llms.txt i llms-full.txt u zvaničnu dokumentaciju Claude API-ja. Ovo je bio snažan signal zajednici – jedna od vodećih AI kompanija ne samo da podržava standard, već ga koristi za sopstvenu dokumentaciju.​

Google (kratka epizoda)

U decembru 2024. godine, Google je dodao llms.txt fajlove na nekoliko developer i dokumentacijskih sajtova. Međutim, fajlovi su uklonjeni u roku od 24 sata od objavljivanja. Šta to znači? Teško je reći sa sigurnošću – možda interni pravilnik, možda prerana objava, možda politička odluka. Zanimljivo je da Google kao kompanija eksperimentiše sa ovim, dok Google kao pretraživač (kroz Johna Muellera) govori da AI crawleri ne koriste ovaj fajl.​

Mintlify (dokumentacijska platforma)

Mintlify – platforma za kreiranje developer dokumentacije – implementirala je llms.txt i zabeležila 436 poseta od AI crawlera u periodu nakon implementacije. Većina tih poseta bila je od GPTBot-a (OpenAI-jev crawler). Ovo je jedan od retkih konkretnih, merljivih primera pozitivnog uticaja implementacije.​

nbdev projekat (Jeremy Howard)

Svi projekti koji koriste nbdev alat – uključujući sve fast.ai i Answer.AI software projekte – sada automatski generišu .md verzije svih stranica dokumentacije. To su desetine projekata koji odjednom postaju LLM-prijatni bez ikakve ručne intervencije.​

Statistike usvajanja

Prema podacima BuiltWith alata, koji prati upotrebu web tehnologija, trenutno postoji više od 844.473 aktivnih sajtova koji koriste llms.txt. Od toga, samo sajtovi u SAD-u broje više od 402.000.​

Međutim, treba biti oprezan sa ovom cifrom. Istraživanje SE Ranking platforme koje je analiziralo 300.000 domena pokazalo je da je stvarna stopa usvajanja oko 10.13%, što je relativno niska vrednost uzimajući u obzir koliko se priča o ovom standardu. Zanimljiva napomena: prema istom istraživanju, srednji i manji sajtovi imaju veću stopu usvajanja od autoritativnih, velikih sajtova koji ga još uvek ne smatraju prioritetom.​

Da li AI zaista čita llms.txt? Kritički pogled na podatke

Ovo je pitanje koje se mora postaviti otvoreno i pošteno. Jer ako AI sistemi ne čitaju ovaj fajl, sve što smo do sad pričali je beskorisno.

Odgovor je – komplicovan.

Šta kažu kritičari?

John Mueller, dugogodišnji Google Search Relations menadžer, odgovorio je direktno na Reddit pitanje o efektima llms.txt implementacije:​

„Koliko znam, nijedan AI servis nije izjavio da koristi LLMs.TXT (i možete videti u server logovima da ga ni ne traže).“

Ovo je značajna izjava. Ako pogledate server logove svog sajta i pratite GET /llms.txt zahteve, videćete – ili ne videćete – koji crawleri taj fajl traže.

Mark Williams Cook, SEO stručnjak koji je analizirao ovu temu, deli sličan skepticizam. Prema analizi Search Engine Land portala, 8 od 9 sajtova nije zabeležilo merljivu promenu u AI saobraćaju nakon implementacije llms.txt.​

Šta kažu pristalice?

S druge strane, postoje konkretni podaci koji govore drugačije. Ray Martinez, developer koji je objavio llms.txt i pratio server logove, zabeležio je da je GPTBot posjetio taj fajl sledećeg dana. Mintlify je zabeležio 436 AI crawl poseta. Anthropic je eksplicitno naveo llms.txt u Claude dokumentaciji.​

I postoji još jedan faktor koji se ne može ignorisati: Yoast SEO je dodao nativnu podršku za llms.txt u verziji 25.3, a Webflow je dodao mogućnost upload-a fajla u root direktorijum. Ove kompanije investiraju resurse u razvoj alata za standard koji „niko ne koristi“? To ne zvuči uverljivo.​

Gde je istina?

Verovatno negde između. Situacija je trenutno ovakva:

• OpenAI/ChatGPT – GPTBot crawluje llms.txt fajlove, ali nije potvrđeno u kojoj meri utiče na odgovore

• Anthropic/Claude – eksplicitna podrška kroz dokumentaciju, ali bez javno objavljenih detalja implementacije

• Google AI Overviews – standardni Google signali, bez potvrđene llms.txt podrške

• Perplexity – koristi web crawling, ali bez potvrđene llms.txt podrške

• Bing/Copilot – bez zvaničnih izjava

Realnost je da smo u ranoj fazi standarda koji nije formalno usvojen. Robots.txt je formalizovan kroz RFC 9309 tek 2022. godine – 28 godina nakon što je nastao. Niko nije garantovao da llms.txt neće proći isti put.

Zašto ipak implementirati?

Tri su razloga:

1. Asimetrija nagrade i rizika. Implementacija llms.txt košta malo – jedan tekstualni fajl. Potencijalna nagrada – bolja vidljivost u AI odgovorima – može biti značajna. Rizik je praktično nula.

2. Yoast ga već pravi automatski. Ako koristite WordPress i Yoast SEO v25.3+, llms.txt možete uključiti jednim klikom. Zašto ne biste?​

3. Signal o budućnosti. Kada se standard bude formalizovao – a šanse su da će se to desiti – sajtovi koji ga već imaju imaće prednost. Rano usvajanje nosi uvek povoljniji tretman kod novih standarda.

Više o tome kako navigirati između SEO, AEO i novih standarda pročitajte u tekstu Ako se i dalje bavite samo SEO optimizacijom, kasnite – dobrodošli u eru AEO.​

Implementacija korak po korak

Dobro, dosta teorije. Hajde da napravimo llms.txt fajl za vaš sajt.

Korak 1: Audit sadržaja

Pre nego što napišete ijedan red fajla, morate znati šta imate. Napravite listu:

Prioritetni sadržaj (5-10 stavki):

• Vaše najvažnije stranice (homepage, about, usluge/proizvodi)

• Najčitaniji blog postovi ili članci

• Dokumentacija ili vodiči koji definišu vaš sajt

• Landing stranice za ključne teme

Sekundarni sadržaj:

• Ostali blog postovi

• Kategorije i tagovi

• FAQ stranica

• Kontakt i pravne stranice

Sadržaj koji treba isključiti:

• Stranice sa thin content-om (malo sadržaja)

• Zastarele ili neprecizne stranice

• Admin stranice, login forme

• Duple stranice (pagination, filtrirani prikazi)

Korak 2: Pisanje fajla

Otvorite plain text editor (VS Code, Notepad++, Sublime Text) i počnite sa strukturom:

Saveti za pisanje opisа linkova:

• Jednom rečenicom objasnite zašto je ova stranica važna za razumevanje sajta, ne samo šta je na njoj

• Koristite konkretne termine umesto generičkih („PHP kurs za početnike“ bolje nego „kurs programiranja“)

• Ako stranica odgovara na specifično pitanje, napišite to pitanje („Kako instalirati WordPress na Linux serveru“)

• Izbegavajte marketinški žargon – AI to ne koristi

Korak 3: Tehnička implementacija

Fajl mora biti:

• Imenovan tačno: llms.txt (malim slovima)

• Smešten u root direktorijum sajta: https://vas-sajt.com/llms.txt

• Enkodovan u UTF-8

• Dostupan javno (bez autentifikacije, bez redirecta)

Metodi upload-a:

Ako koristite FTP/SFTP:

Ako koristite cPanel:
File Manager → public_html → Upload → llms.txt

Ako koristite statički sajt (GitHub Pages, Netlify, Vercel):
Dodajte llms.txt u root repozitorijuma i commit-ujte.

Ako koristite WordPress:
Koristite SFTP ili plugin za upravljanje fajlovima. Ili, što je preporučeno – koristite Yoast (vidi sledeću sekciju).

Korak 4: Verifikacija

Nakon upload-a, posetite https://vas-sajt.com/llms.txt u pretraživaču. Trebalo bi da vidite plain text Markdown sadržaj.
Proverite i server logove nekoliko dana nakon implementacije – tražite GET /llms.txt unose od AI crawlera poput GPTBot, ClaudeBot, PerplexityBot ili anthropic-ai. To je jedini konkretan, merljiv signal da li neko zapravo čita vaš fajl.

Korak 5: Redovno ažuriranje

llms.txt nije „podesi i zaboravi“ fajl. Kao i robots.txt, treba ga ažurirati kada se menja struktura sajta. Preporučeni okidači za ažuriranje:

• Objavili ste novu sekciju ili kategoriju sadržaja

• Izašao je važan novi vodič ili proizvod

• Uklonili ste ili preselili važne stranice

• Promenila se fokusna oblast vašeg sajta

WordPress i Yoast SEO implementacija

Za korisnike WordPress-a, situacija je postala značajno jednostavnija od februara 2025. Yoast SEO plugin, koji koriste desetine miliona sajtova, uveo je nativnu podršku za llms.txt generisanje u verziji 25.3.​

Aktivacija u Yoast SEO:

1. U WordPress admin panelu idite na SEO → General → Features karticu

2. Potražite opciju „LLMs.txt“ i prebacite toggle na „On“

3. Sačuvajte izmene

4. Posetite https://vas-sajt.com/llms.txt da potvrdite generisanje

Yoast automatski generiše fajl koji uključuje:

• Naziv sajta i opis (preuzet iz Yoast SEO postavki)

• Linkove ka vašim najvažnijim stranicama na osnovu SEO signala

• Kategorije i tagove ako ih imate

Ograničenja Yoast automatskog generisanja:

Automatski generisan fajl je solidan polazak, ali ima mane. Yoast ne zna koje su stranice važne za razumevanje vašeg brenda – samo zna koje imaju dobre SEO signale. Preporučujemo da:

1. Aktivirate Yoast generisanje kao osnovu

2. Preuzmete generisani fajl kao .txt dokument

3. Uredite ga ručno – dodajte opise, reorganizujte sekcije, uklonite nebitne linkove

4. Uploadujte ručno editovanu verziju direktno na server (ona će override-ovati Yoast verziju)

Custom implementacija za developere:

Ako koristite custom PHP ili razvijate plugin za WordPress, llms.txt možete generisati dinamički:

Napomena: dinamičko generisanje ima smisla za veće sajtove sa čestim izmenama. Za manje sajtove, statički ručno pisani fajl je pouzdaniji i kontrolisaniji.​

Za Next.js i statičke sajtove:

Za Gatsby, Hugo, Jekyll i sličan statički generisani sajtove, dovoljno je staviti llms.txt u static/ ili public/ folder koji se direktno kopira u build.

Praktični primeri za različite tipove sajtova

E-commerce sajt (online prodavnica)

SaaS aplikacija / dokumentacija

Blog / medijski sajt (poput ITNetwork.rs)

Najčešće greške pri kreiranju llms.txt fajla

Nekolicina grešaka se javlja konsistentno kod prvih implementacija. Evo šta treba izbegavati:

Greška 1: Korišćenje HTML umesto Markdowna
Fajl koji sadrži <ul>, <li> i <a href> elemente nije llms.txt – to je fragment HTML-a. LLM-ovi mogu da ga parsiraju, ali gubite ceo smisao standarda koji je upravo u čistom, token-efikasnom Markdownu.

Greška 2: Uključivanje previše linkova
llms.txt koji ima 500 linkova ka svakoj objavi, svakom tagu i svakoj kategoriji poništava svoju sopstvenu svrhu. To postaje novi sitemap, samo gori. Idealan fajl ima 10-50 pažljivo odabranih linkova.

Greška 3: Izostavljanje opisā
Link bez opisa (- [Stranica](https://url.com)) pruža minimalne informacije AI-u. Opis koji sledi posle dvotačke je ono što modelu govori zašto je stranica relevantna i kada je treba koristiti.

Greška 4: Statičan fajl koji se ne ažurira
llms.txt koji je napisan 2024. i nije od tada dotaknut, a sajt se drastično promenio, može aktivno naškoditi tačnosti AI odgovora. Planiranje redovnih pregleda je obavezno.

Greška 5: Pogrešna lokacija fajla
Fajl mora biti na https://vas-sajt.com/llms.txt, ne na https://vas-sajt.com/static/llms.txt ili https://vas-sajt.com/assets/llms.txt. AI crawleri traže standardizovane lokacije.

Greška 6: Fajl iza autentifikacije ili blokiran u robots.txt
Ako ste slučajno dodali pravilo u robots.txt koje blokira crawlere od /llms.txt puta, celo vežbanje je uzaludno. Eksplicitno dozvolite pristup:

Budućnost llms.txt standarda – šta možemo očekivati?

Da bismo razumeli kuda ovaj standard ide, moramo razumeti sile koje ga guraju napred i natrag.

Argumenti koji govore u korist formalizacije

robots.txt je, kao što smo napomenuli, nastao 1994. kao neformalni dogovor unutar web zajednice. Formalizovan je kroz RFC 9309 tek 2022. godine – skoro tri decenije później. U međuvremenu, bez ikakvog formalnog RFC standarda, robots.txt je postao de facto globalni standard koji poštuje svaki ozbiljan crawler.​

llms.txt je na istom putu, ali sa jednom velikom razlikom: tempo razvoja AI je drastično brži od tempa razvoja klasičnog weba devedesetih. To znači da bi formalizacija mogla doći brže – a pritisak ka standardizaciji raste sa svakim mesecima kada AI pretraga postaje integralní deo IT ekosistema.

Nekoliko signala sugeriše da standardizacija dolazi:

• W3C (World Wide Web Consortium) ima radne grupe koje razmatraju AI-web interakcije

• Yoast, Webflow i slični mainstream alati dodaju podršku

• Anthropic eksplicitno koristi llms.txt u sopstvenoj dokumentaciji

• Rankability, Ahrefs i drugi SEO alati počinju da uključuju llms.txt analizu u svoje suite

Šta se može promeniti u specifikaciji

Trenutna specifikacija je namerno minimalistička – to je bila Howardova filozofija: nešto što svako može implementirati za 20 minuta. Međutim, kako standard sazreva, možemo očekivati proširenja poput:

Direktive za AI crawlere – slično Disallow i Allow direktvama u robots.txt, mogli bismo videti:

Versioning – mehanizam za označavanje kada je fajl poslednji put ažuriran, analogno Sitemap-lastmod

Semantičke kategorije – standardizovane kategorije poput ## Docs, ## Pricing, ## Legal koje AI sistemi mogu koristiti za lakšu kategorizaciju

Prioritetni signali – težinski sistem koji govori modelu koliko je važna pojedina sekcija

Šta znači za SEO i GEO profesionalce

GEO (Generative Engine Optimization – optimizacija za generativne pretražne engine-e) je oblast koja je još uvek u ranoj fazi definisanja. Ali jedno je izvesno: veza između llms.txt implementacije i GEO vidljivosti postaje sve direktnija.​

Dok klasični SEO optimizuje za algoritamsko rangiranje, GEO optimizuje za verovatnoću citiranja u generisanom odgovoru. A da bi bili citirani, morate biti razumljivi. A da biste bili razumljivi, morate biti u formatu koji model može efikasno konzumirati.

llms.txt nije jedini element GEO optimizacije, ali je jedan od onih koji implementirate jednom i koji ima potencijal da nosi dugoročni benefit. Ako vam je interesantna tema veze između strukture podataka i vidljivosti u AI sistemima, preporučujemo i naš tekst o SEO, SEM i ponašanju korisnika koji diktiraju uspeh biznisa.​

Spekulativni pogled: llms.txt u 2028. godini

Ako ekstrapoliramo trenutne trendove, evo realnog scenarija:

Do kraja 2026. ili početkom 2027. godine, OpenAI ili Anthropic će verovatno objaviti zvaničan dokument koji opisuje kako njihovi crawleri koriste llms.txt – čime standard dobija de facto zvaničnu podršku od najvećih igrača u industriji.

Do 2027. godine, moguće je da se pojave CMS plugin-ovi koji automatski prate llms.txt specifično za različite AI platforme – slično kao što danas postoje posebni SEO plugin-ovi za Google, Bing i druge pretraživače.

Do 2028. godine, llms.txt verovatno postaje standard ugrađen u sve ozbiljne web platforme (WordPress, Shopify, Wix, Squarespace) bez potrebe za ručnom implementacijom – baš kao što je robots.txt danas automatski generisan od strane gotovo svake platforme.

Pitanje nije da li će se ovo desiti, već u kom obliku. I da li ćete vi biti spremi pre ili posle tog trenutka.​

Česta pitanja o llms.txt fajlu

Da li llms.txt utiče na Google rangiranje?
Direktno – ne. Googlebot ne koristi llms.txt fajl za određivanje rangiranja. Indirektno, moguće je da sajt koji je optimizovan za AI citiranje dobija manji saobraćaj iz Google AI Overview funkcija, ali to nije dokazano.​

Koliko velik sme biti llms.txt fajl?
Preporuka specifikacije je da ostane ispod 100KB, a idealno ispod 50KB. Cilj je efikasnost – ako fajl postane toliko velik da zauzima značajan deo context window-a, poništava svoju sopstvenu svrhu.​

Treba li mi llms.txt ako nemam tehničku dokumentaciju?
Da. llms.txt nije rezervisan za software projekte. Svaki sajt koji želi da bude tačno interpretiran od AI sistema može imati koristi od njega.

Mogu li koristiti llms.txt da sprečim određene AI sisteme da koriste moj sadržaj?
Trenutna specifikacija ne predviđa takvu funkcionalnost. Za kontrolu pristupa, i dalje koristite robots.txt.​

Šta ako moj hosting ne dozvoljava pristup root direktorijumu?
Ovo je ograničen slučaj, ali postoji. Rešenje je da pokušate da dodate llms.txt kroz FTP pristup, cPanel File Manager ili da kontaktirate hosting podršku. Ako ni to ne radi – llms.txt je napisan za servere kojima upravljate.

Da li je potrebno prijaviti llms.txt Google Search Console-u?
Ne postoji mehanizam za to. Google Search Console nema polje za llms.txt. Za AI crawlere, nema ekvivalentne konzole. Jednostavno uploadujete fajl i pratite server logove.

Jedan tekstualni fajl, a potencijalno ogroman domet

Hajde da budemo potpuno iskreni pred kraj. llms.txt nije magija. Nije garantovana formula za pojavu u ChatGPT odgovorima. Nije zamena za kvalitetan sadržaj, dobru arhitekturu sajta ili ozbiljnu SEO strategiju. Niko vam ne može obećati da ćete sledećeg dana biti citirani u svakom AI odgovoru.

Ali ovo je važno: u digitalnom marketingu, posebno u SEO-u, prednost se gradi na marginama. Ti koji su implementirali OpenGraph meta tagove 2010. kada su tek nastali imali su prednost godinama. Oni koji su usvajali strukturirane podatke (schema markup) pre nego što je Google počeo da prikazuje rich snippets – imali su vidljivost koju drugi nisu. Rani usvojioci AMP formata dobili su prednost u mobilnoj pretrazi.

llms.txt je u istoj kategoriji: rani signal jedne promene koja dolazi. Format AI pretrage je drugačiji od format klasične web pretrage. AI sistemi trebaju čist, kontekstualizovan, AI-prijatni sadržaj. llms.txt je vaš način da im to date direktno, bez posrednika.​

Jedini razlog da ne implementirate ovaj fajl je lenjost. I to je loš razlog.