Cloudflare sitemde yapay zekâ botlarını engelliyor mu?

Kısa cevap

robots.txt nazik bir ricadır. Cloudflare’in kararı ondan önce gelir: bot kapıda 403 alırsa robots.txt’de ne yazdığının hiçbir önemi kalmaz. Her yapay zekâ botunu tek bir komutla test edin, sonra Cloudflare’de dört ayara bakın: eski “Block AI bots” düğmesi, yapay zekâ bot politikaları, yönetilen robots.txt ve Bot Fight Mode. Bu sayfa kitabımızın 6. bölümünü izliyor ve Cloudflare’in 15 Eylül 2026 tarihli açıklamasından bir güncelleme ekliyor. Botlarınızın hepsi zaten 200 alıyor ama ChatGPT sizi yine de anmıyorsa sebep başka yerde: ChatGPT markamı neden önermiyor?

Üç tür yapay zekâ botu

Her birini engellemenin bedeli farklı.

Kaynaklar: OpenAI botları, Anthropic botları.

Google-Extended ve Applebot-Extended bot değil, robots.txt’de kullanılan izin adlarıdır: kendi user-agent’ları yok, curl ile test etmek bir şey göstermez. Google, Google-Extended’ın Google aramasını etkilemediğini, ama Gemini eğitimini ve Gemini uygulamasındaki cevapların dayanağını kontrol ettiğini yazıyor (Google tarayıcıları). Googlebot, Bingbot ve Applebot ise hem arama hem eğitim için çalışıyor; 15 Eylül değişikliğinde bu ayrıntı önemli.

Cloudflare’de botları etkileyen ayarlar

Cloudflare’in kendi sayfaları: Block AI bots, yönetilen robots.txt, AI Labyrinth, Bot Fight Mode.

15 Eylül 2026’da ne değişti

Kitabımızın kaydettiği

• Temmuz 2025: Cloudflare’e eklenen her yeni alan adına, kurulum sırasında yapay zekâ botlarına izin verip vermeyeceği soruluyor. Kurulumu hızlı geçen biri bu soruyu fark etmeyebilir.
• 15 Eylül 2026 (1 Temmuz 2026’da duyuruldu): yeni alan adlarında Eğitim ve Ajan botları reklamlı sayfalarda engelli, Arama botları açık başlıyor (Cloudflare değişiklik kaydı).
• Aynı duyuruda: eğitimi engelleyen herkes (eski düğme dahil) hem arama hem eğitim için çalışan botları da engelleyecekti; Cloudflare örnek olarak Googlebot, Applebot ve Bingbot’u sayıyordu. 15 Eylül’den önce vazgeçme hakkı vardı.
• Duyuru, doğrulanmadı. Kitap 29 Eylül 2026’da baskıya girerken bu kısmın devreye girdiğini doğrulayan bir kayıt bulamamıştık. Doğruysa eski düğmeyi açık bırakmak Google’ı ve Bing’i de etkileyebilir.

Cloudflare’in kendi yazısı ne diyor

Cloudflare’in 15 Eylül 2026 tarihli blog yazısı (accountable mixed-use AI crawlers) değişikliği yürürlükte olarak anlatıyor. Eğitim için “Block” ve “Block on pages with ads” artık Googlebot, Bingbot ve Applebot gibi karma botlara da uygulanıyor; yani ikisi de aramayı etkiliyor. Eğitime hayır deyip aramada kalmak için Cloudflare yeni “Disallow AI Training” ayarını öneriyor; eski ayarlar yeni kontrollere taşınıyor. Etkisini canlı bir alan adında henüz kendimiz doğrulamadık. Pratik kural: Google ve Bing’den çıkmayı göze almıyorsanız Eğitim için asla “Block” seçmeyin.

Kendi sitemizde iki kez yaşadık

30 Ağustos 2026: yönetilen robots.txt

Denetim aracımızın ilk sürümü kendi sitemizde KRİTİK bir sorun buldu: Cloudflare’in yönetilen robots.txt’si GPTBot, ClaudeBot, Google-Extended, CCBot ve Bytespider’ı sessizce kapatıyordu. Kapattık (kendi ölçümümüz).

29 Eylül 2026: eski düğme

Kitabı yazarken yeniden test ettik. robots.txt’miz GPTBot’a izin veriyordu, ama eski “Block AI bots” düğmesi “yalnızca reklamlı sayfalarda” konumunda açıktı ve eğitim politikası “disallow” görünüyordu. katman.pro’da reklam yok; buna rağmen eğitim botları her sayfada 403 alıyordu (kendi ölçümümüz, user-agent ile test).

Sebep yalnızca eski düğmeydi. Onu kapattığımızda Cloudflare eğitim politikasını da kendiliğinden “disabled” yaptı; yani “disallow” ayrı bir karar değil, eski düğmenin iziydi. 20 saniye sonra on botun onu da 200 aldı.

Google tarafı

Search Console’un son 90 günlük tarama istatistiklerinde Googlebot isteklerinin %79’u 200, %10’u 404, %10’u 301 aldı; ayrı bir 403 kalemi yok. Ama 17 ve 21 Eylül 2026’da, bugün var olan sayfalara gelen 6 istek, sitenin kendi kodunun vermediği “diğer 4xx” hatasını almış. Sebep kesin değil; zamanlama 15 Eylül değişikliğiyle aynı döneme denk geliyor. Canlı testte Google sayfaları sorunsuz alıyor; tarama istatistiklerini izliyoruz.

Sitenizi nasıl test edersiniz

User-agent taklidi yalnızca user-agent’a bakan kuralları gösterir. Googlebot gibi IP’si doğrulanan botları taklit edemezsiniz; onlar için Search Console’a bakın.

# Her bot için durum kodu. 403 = kapıda engel.
for b in GPTBot/1.2 ClaudeBot/1.0 CCBot/2.0 OAI-SearchBot/1.0 Claude-SearchBot/1.0 \
         PerplexityBot/1.0 ChatGPT-User/1.0 Claude-User/1.0; do
  printf "%-22s %s\n" "$b" "$(curl -s -o /dev/null -w '%{http_code}' \
    -A "Mozilla/5.0 (compatible; $b)" https://siteniz.com/)"
done

Her satırda 200 görmelisiniz. Yapay zekâ bot kontrolü aracı aynı testi tarayıcıdan yapar.

Başka nereye bakılır

• Cloudflare → Security → Analytics → Events: hangi isteğin hangi kuralla engellendiği (ücretsiz planda son 24 saatin örneklenmiş kaydı).
• AI Crawl Control → Metrics: yapay zekâ botlarının istekleri ve durum kodları.
• Search Console → Ayarlar → Tarama istatistikleri → Yanıta göre: Googlebot’un aldığı 403 ve “diğer 4xx” yanıtları, adres ve tarihiyle.
• Yanıt başlıkları: cf-mitigated: challenge, Cloudflare’in içeriğiniz yerine bir doğrulama sayfası gösterdiği anlamına gelir (Cloudflare).
• Kendi sunucu kayıtlarınız: bot adlarını arayın. Hiç görünmüyorlarsa kapınız kapalı olabilir.

CDN engeli, vibe-coded siteleri görünmez yapan altı tuzaktan yalnızca biri; diğer beşi ChatGPT vibe-coded sitemi görmüyor sayfasında. Katman kullanıyorsanız katman_audit_site her denetimde bu bot testini yapar ve değiştirilmesi gereken Cloudflare ayarını söyler.

Nasıl düzeltilir

Panelden

1. Cloudflare → alan adınız → Security → Settings: “Block AI bots” düğmesini kapatın.
2. Aynı yerde yapay zekâ bot politikaları: Arama ve Ajan için “izin ver”. Eğitim için “izin ver” ya da eğitime hayır deyip Google ve Bing’de kalmak istiyorsanız “Disallow AI Training”.
3. Yönetilen robots.txt, AI Labyrinth ve e-posta gizlemeyi kapatın; Bot Fight Mode botları durduruyorsa onu da.
4. Testi tekrar çalıştırın. OpenAI, robots.txt değişikliklerinin ChatGPT aramasına yaklaşık 24 saatte yansıdığını yazıyor.

API ile

Aynı ayarlar alan adınızın bot yönetimi yapılandırmasında (Cloudflare API). Önce okuyun ve bir kopyasını saklayın:

curl -s "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/bot_management" \
  -H "Authorization: Bearer $CF_API_TOKEN"

Sonra eski düğmeyi kapatın ve arama ile kullanıcı botlarını engellemeyi bırakın. ai_training değerini kararınıza göre seçin; bizim alan adımızda politika engellemeyi bırakınca API “disabled” gösterdi.

curl -s -X PUT "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/bot_management" \
  -H "Authorization: Bearer $CF_API_TOKEN" -H "Content-Type: application/json" \
  --data '{"ai_bots_protection":"disabled","ai_search":"disabled","ai_user":"disabled","ai_training":"disabled"}'

GET isteğini tekrar çalıştırıp doğrulayın, sonra curl testini yineleyin. API anahtarının Bot Management’ı düzenleme izni olmalı.

Eğitim botlarına izin vermeli misiniz?

İzin verirseniz modeller sizi kendi cümlelerinizle öğrenebilir; asistan web’e bakmadan cevap verdiğinde de adınızı bilebilir. Örnek sitemiz bunu seçti: robots.txt’de ai-train=yes, Cloudflare’de bütün engeller kapalı. İlk haftada ClaudeBot 578, GPTBot 362 istek yaptı (kendi ölçümümüz, 21–27 Eylül 2026).

Engellerseniz içeriğiniz eğitim verisine girmez ve ChatGPT aramasında yine görünürsünüz. Yayıncılar ve ücretli içerik satanlar için mantıklı bir seçim olabilir.

Hangisini seçerseniz seçin üç şart var: arama ve kullanıcı botları açık kalmalı; robots.txt ile CDN aynı şeyi söylemeli; karar bilerek verilmeli, kurulum ekranında “ileri”ye basarken değil. Eğitim trafiğinin ChatGPT ziyaretçisine doğrudan etkisini ölçemedik: örnek sitenin ChatGPT ziyaretçileri arama botunun okuduğu sayfalardan geldi.

Yazan: Katman ekibi, Rnify Limited. Cloudflare, OpenAI, Anthropic ve Google sayfaları 30 Eylül 2026’da kontrol edildi.