OpenAI je u svojoj dokumentaciji naveo da se pravila iz datoteke robots.txt možda ne primenjuju na bota ChatGPT-User kada korisnik sam pokrene upit koji zahteva preuzimanje stranice. Informaciju je objavio Met Dži. Sadern (Matt G. Southern) za portal Search Engine Journal, pozivajući se na najnoviji izveštaj kompanije TollBit pod nazivom State of the Bots, koji obuhvata prvu polovinu 2026. godine.
Ovo nije samo tehnički detalj od interesa za webmastere. Robots.txt datoteka decenijama je bila prihvaćen mehanizam kojim vlasnici sajtova kontrolišu šta automatizovani sistemi smeju da čitaju. Ako vodeće AI kompanije počnu da je tretiraju kao neobavezan dokument, cela logika upravljanja pristupom sadržaju na webu dovodi se u pitanje.
Ukratko: ChatGPT-User bot pristupa stranicama i pored zabrane, a OpenAI to pravda korisničkim upitom
- Izvor informacija: Izveštaj kompanije TollBit State of the Bots za prvu polovinu 2026, objavljen na portalu Search Engine Journal.
- Ključni podatak: ChatGPT-User bio je blokiran na više sajtova nego bilo koji drugi praćeni AI bot, ali je istovremeno pristupio zabranjenim stranicama na više sajtova nego ikoji drugi takav bot.
- Tehnički detalj: OpenAI u dokumentaciji navodi da kada korisnik ChatGPT-a pokrene upit koji zahteva preuzimanje stranice, robots.txt možda ne važi, jer je radnju inicirao čovek. Bot koji utiče na indeksiranje u ChatGPT pretrazi naziva se OAI-SearchBot, a ne ChatGPT-User.
- Tržišni kontekst: Cloudflare od 15. septembra podrazumevano blokira određene AI botove na mrežnom nivou za nove domene, preuzimajući kontrolu koju robots.txt nije mogao da obezbedi.
ChatGPT-User prednjači po broju zabranjenih stranica kojima je pristupio
Prema TollBitovim podacima, oko 15 odsto identifikovanih AI botova za preuzimanje stranica dostiglo je URL adrese koje su evropski sajtovi označili kao zabranjene. Taj procenat nije ravnomerno raspoređen, već ga nekoliko botova vuku nagore u nesrazmerno velikoj meri. ChatGPT-User, Bytespider i Youbot pristupili su zabranjenim stranicama na skoro polovini evropskih sajtova koji su ih izričito blokirali, a ChatGPT-User prednjači po broju zahvaćenih sajtova.
Noviji botovi za sada prolaze ispod radara. Svega devet odsto evropskih sajtova blokira Claude-User, nasuprot 26 odsto u Severnoj Americi. Perplexity-User blokiran je na 13 odsto evropskih sajtova, prema 26 odsto u Severnoj Americi. Većina najnovijih botova ima jednocifrene stope blokade u Evropi, što govori da vlasnici sajtova još uvek nisu reagovali na njihovu prisutnost.
OpenAI, Perplexity i Anthropic imaju različite stavove prema robots.txt
OpenAI u dokumentaciji za ChatGPT-User objašnjava da bot posećuje stranicu kada korisnik ChatGPT-a postavi pitanje, i da se zbog toga robots.txt možda ne primenjuje, jer radnju pokreće čovek, a ne automatizovani sistem. Perplexity zauzima isti stav za svog bota Perplexity-User. Anthropic, s druge strane, navodi da sva tri njegova bota poštuju robots.txt datoteku bez izuzetka.
Važno je razlikovati dva OpenAI bota sa različitim ulogama. Bot koji određuje da li će sajt biti prikazan u rezultatima ChatGPT pretrage zove se OAI-SearchBot, a ne ChatGPT-User. Vlasnici sajtova koji blokiraju oba bota kako bi isključili AI saobraćaj time odriču i vidljivosti u ChatGPT pretrazi, a uz to zadržavaju kontrolu nad preuzimanjem sadržaja koja, prema OpenAI dokumentaciji, nosi sopstveni izuzetak.
TollBit svaki zahtev upućen zabranjenom URL-u tretira kao zaobilaženje, bez obzira na to šta operater tvrdi. Serverski zapisi i CDN evidencija pokazuju šta je zaista stiglo do sajta. Robots.txt datoteka pokazuje samo šta je vlasnik sajta zatražio.
Izuzetak koji menja odnos snaga između sajtova i AI sistema
Argument o korisnički pokrentom upitu nije pravna ili tehnička sitnica. Ako ga prihvate sve velike AI kompanije, robots.txt prestaje da bude pouzdano sredstvo zaštite sadržaja i postaje tek preporuka. Taj presedan posebno pogađa izdavače i vlasnike sajtova koji su uložili u SEO i zaštitu sadržaja oslanjajući se upravo na tu datoteku kao liniju odbrane.
Cloudflare je prepoznao tu prazninu i reagovao na mrežnom nivou. Od 15. septembra novi domeni dodati na Cloudflare imaće podrazumevano blokirane botove za obuku i agentske botove na stranicama sa oglasima, dok botovi za pretragu ostaju slobodni. Kada odluku o blokiranju donosi mreža, a ne sam bot, argument o korisnički pokrenutom upitu gubi na težini. Ostaje otvoreno pitanje da li će se isti pristup proširiti i na postojeće domene i da li će ga prihvatiti šira industrija.
