Dogovor koji je pokretao internet se raspada
Dve decenije unazad, internet je funkcionisao na jednostavnom dogovoru: Google dobija pravo da indeksira vaš sadržaj, a zauzvrat vam šalje posetioce. Vi ste te posete mogli da unovčite kroz oglase, pretplate ili prodaju.
Taj model je godinama podržavao ekosistem slobodnog interneta. Google je kreirao i alate (AdSense, Analytics) i infrastrukturu pretrage koja je činila da sve funkcioniše.
Ali danas, stvari izgledaju drugačije.
Novi akteri, AI modeli kao što su ChatGPT i Claude, masovno pretražuju sajtove, uče iz sadržaja, i zatim korisnicima daju odgovore bez da ih ikada pošalju nazad na izvor. Saobraćaj opada, prihodi opadaju, a kreatori sadržaja ostaju bez koristi.
Statistika to jasno pokazuje. Na svakih jednog posetioca, Google sada pregleda čak 18 stranica. Kod OpenAI-ja taj odnos je 1.500:1, a kod Anthropic-a čak 60.000:1. AI uzima, ali ne vraća.
Cloudflare nudi novo rešenje: Naplata po indeksiranju
Kao odgovor na ovaj trend, Cloudflare uvodi Pay Per Crawl, sistem koji omogućava sajtovima da AI botovima naplate pristup svom sadržaju.
Ključ je u retko korišćenom HTTP odgovoru “402 Payment Required”. Kada AI crawler pokuša da pristupi sajtu, server može da traži plaćanje. Ako bot pristane, dobija sadržaj. Ako ne, pristup mu se odbija.
Unutar Cloudflare kontrolne table, vlasnici sajtova mogu birati za svaki AI bot:
- Dozvoli pristup (HTTP 200)
- Naplati pristup (HTTP 402)
- Blokiraj pristup (HTTP 403)
Ovo ne menja osnovnu strukturu weba, ali uvodi dodatni sloj: znanje više nije besplatan resurs, postaje digitalna imovina koju je moguće naplatiti.
I za razliku od manjih pokušaja, Cloudflare ima moć da ovu promenu sprovede u praksi. Njihova infrastruktura štiti preko 20% svih sajtova na internetu, uključujući velike igrače kao što su Reddit, Medium, Shopify, The Guardian i mnogi drugi.
Šta ovo znači za SEO i GEO?
SEO se za sada ne menja drastično, Googlebot i Bingbot se ne blokiraju automatski. Međutim, AI crawler-i poput GPTBot-a i ClaudeBot-a su po defaultu blokirani za nove sajtove na Cloudflare mreži, osim ako vlasnici sami ne dozvole ili ne postave cenu.
Ali ono što je važno za budućnost jeste GEO – Generative Engine Optimization.
AI modeli uče iz velikih količina sadržaja tokom faze treniranja. Ako vaš sajt nije deo tog procesa, čak i ako je tehnički dostupan tokom pretrage, model možda neće razumeti njegov ton, strukturu ili autoritet.
U praksi, to znači:
- Manji kvalitet odgovora čak i uz real-time pretragu
- Bias prema poznatim izvorima (onima koji su bili uključeni u treniranje)
- Dugoročno slabljenje GEO pozicije sajtova koji nisu bili dostupni crawler-ima
Drugim rečima, ako niste deo trenažnog seta, niste deo “mentalne mape” AI modela. A bez toga, vaša vidljivost u AI generisanim odgovorima opada, bez obzira na SEO.
Kuda dalje?
Cloudflareov potez je prvi pokušaj da se uspostavi pravična razmena između kreatora sadržaja i AI kompanija. Neki veliki mediji su već ušli u Pay Per Crawl sistem, uključujući TIME, The Atlantic, BuzzFeed, Fortune i druge.
Ovo bi mogao biti početak promene načina na koji funkcioniše internet ekonomija gde klikovi nisu jedini oblik vrednosti, već i sama informacija postaje roba.
Za izdavače i SEO stručnjake, poruka je jasna: optimizacija za AI više nije samo tehnički izazov, već i strateško pitanje pristupa i kontrole.
Autor: Pavel Israelsky, Izvor: searchengineland.com
