katman / VAKA ÇALIŞMASI

VAKA ÇALIŞMASI · KATMAN-AUDIT v0.1.0

Cloudflare AI crawler'ları varsayılan olarak engelliyor — kendi aracımız bunu kendi sitemizde yakaladı

AI cevap motoru görünürlüğünü ölçen bir araç yapıyoruz. Bitirdiği gün kendi domainimize yönlendirdik — ve bize karşı KRİTİK bulgu döndü. Bu sayfa olanların dürüst kaydı, kanıtlarıyla birlikte.

Ne oldu

katman.pro bir Cloudflare Worker arkasında yayınlanıyor. 30 Ağustos 2026'da katman-audit'in ilk versiyonunu bitirdik ve kendi tavsiyemize uyarak başka hiçbir yere yönlendirmeden önce kendi domainimizde çalıştırdık.

İkinci kontrol kırmızı geldi: "AI crawler politikası — FAIL. Engelleniyor: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider." AI görünürlüğü ürününün kendi sitesi, optimize ettiği modeller için okunamaz durumdaydı.

Sebep bizim robots.txt dosyamız değildi. Bizimki her şeye izin veriyordu. Engelleme kuralları, üstüne Cloudflare'in "managed robots.txt" (content-signals) özelliği tarafından enjekte edilmişti — bilinen AI eğitim crawler'ları için Disallow: / kuralları ekliyor; dashboard'dan açıkça kapatmadıkça.

Kanıt

Düzeltmeden önce https://katman.pro/robots.txt'nin servis ettiği içeriğin birebir alıntısı — dikkat: managed blok kendi kurallarımızın üstünde:

User-agent: ClaudeBot / Disallow: / · User-agent: GPTBot / Disallow: / · User-agent: Google-Extended / Disallow: / · User-agent: CCBot / Disallow: / · User-agent: Bytespider / Disallow: / — ardından "# BEGIN Cloudflare Managed content".

En acımasız kısım: engelleme grupları, o user-agent'lar için bizim izin verici kurallarımıza üstünlük tanıyor; kendi robots.txt'mizi düzeltmek işe yaramazdı. Anahtar Cloudflare dashboard'ında (AI Crawl Control), reponuzda değil.

Düzeltme ve tekrar ölçüm

Cloudflare dashboard'unda tek anahtar (AI Crawl Control → Managed robots.txt: kapalı). Managed blok dakikalar içinde robots.txt'den kayboldu.

Kendimize katman-audit'i tekrar çalıştırdık: 0 kritik, 0 uyarı — tüm kontroller yeşil. Exit code 2'den (kritik) 0'a indi. İki koşu da 30 Ağustos 2026 tarihli.

Olayın bilinen maliyeti: yaklaşık bir günlük AI-crawler invisibility — ve önce kendimizi denetlemeseydik hâlâ devam ediyordu.

Bu senin için neden önemli

Birçok host ve CDN artık AI-engelleme varsayılanlarıyla geliyor. Bu kontrolü kimse çalıştırmazsa, sitenin cevap motoru görünürlüğü sıfırken diğer tüm SEO yatırımları sürüyor — ve ne Google Analytics ne Search Console bunu sana söyleyecek.

Bir görünürlük ürünü bunu kendi domaininde kaçırabiliyorsa, herhangi bir site kaçırabilir. Kontrol bir dakikadan kısa sürer; içeriğe tek euro harcamadan önce yap.

Aynı olaydan ikinci ders: kendi analitiğimiz de AI kanalımızı haftalarca göremedi, çünkü ChatGPT referrer göndermiyor ve trafik "direct" içinde saklanıyor. Ölçüm körlüğü sessizce katlanıyor.