Ücretsiz araç · yapay zekâ bot kontrolü

ChatGPT'nin botları sitenize girebiliyor mu?

Sitenizin adresini girin. Ana sayfanızı GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot ve PerplexityBot dahil 12 tarayıcının her biri olarak ve bir kez de normal tarayıcı olarak isteriz; CDN’inizin ya da güvenlik duvarınızın hangilerini geri çevirdiğini ve robots.txt’nizin neye izin verdiğini gösteririz. Ücretsiz, kayıt yok.

Sonuç nasıl okunur

HTTP durumu: Sunucunuzun ya da CDN’inizin o user-agent’a verdiği cevap. 200, sayfanın geldiği anlamına gelir.
Engellendi mi?: Engel: 401, 403, 429 ya da 503; bir Cloudflare meydan okuma başlığı (cf-mitigated) ya da “Just a moment…”, “Attention Required” gibi bir doğrulama sayfası.
/ için robots.txt: robots.txt’nizin o bota ana sayfayı almaya izin verip vermediği ve kararı hangi grubun verdiği: botu adıyla anan grup mu, * grubu mu.
Karşılaştırma: Aynı istek normal bir tarayıcı olarak. Tarayıcı da engelleniyorsa sonuç, yapay zekâ botlarından çok güvenlik duvarınız hakkında bir şey söylüyor.

Üç tür yapay zekâ botu, engellemenin üç farklı bedeli

Tür	Ne yapar	Botlar	Engellerseniz
Eğitim	Model eğitmek için sayfa toplar.	GPTBot, ClaudeBot, CCBot, Bytespider	Gelecek modeller sizi sitenizden öğrenemez. OpenAI’a göre GPTBot’u engellemek ChatGPT aramasını etkilemez; her ayar diğerlerinden bağımsız.
Arama	Asistanın arama dizinini doldurur; cevapta gösterilecek sayfalar buradan seçilir.	OAI-SearchBot, Claude-SearchBot, PerplexityBot	O asistanın aramasında çıkmazsınız. OpenAI’a göre OAI-SearchBot’u engelleyen site ChatGPT arama cevaplarında gösterilmez.
Kullanıcı (ajan)	Sohbet sırasında, kullanıcı istediği için sayfayı açar.	ChatGPT-User, Claude-User, Perplexity-User	Biri asistana linkinizi verdiğinde asistan sayfanızı okuyamaz. OpenAI bu bot için robots.txt kurallarının geçerli olmayabileceğini yazıyor.

Google-Extended ve Applebot-Extended bot değil, robots.txt’de kullanılan izin adlarıdır; onları user-agent ile test etmek bir şey göstermez. Googlebot, Bingbot ve Applebot hem arama hem eğitim için kullanılıyor.

Cloudflare’de nasıl düzeltilir

Cloudflare paneli → alan adınız → Security → Settings: “Block AI bots” düğmesini kapatın.
Aynı yerde AI bot politikaları: Arama ve Ajan için izin verin. Eğitim için kararınızı bilerek verin.
Yönetilen robots.txt, AI Labyrinth ve botları kapıda bırakıyorsa Bot Fight Mode: kapalı. E-posta gizlemeyi (Email Address Obfuscation) kapatın ki botlar adresinizi metin olarak okuyabilsin.
Bu kontrolü tekrar çalıştırın. OpenAI değişikliklerin kendi tarafına yaklaşık 24 saatte yansıdığını yazıyor.
Geliştiriciyseniz aynı ayarlar API’de: PUT /zones/<zone>/bot_management ile ai_bots_protection: "disabled" ve eğitim kararınıza göre ai_training.

Kural

robots.txt bir rica; CDN’in kararı kapıdır. Bir bot 403 alırsa robots.txt’de ne yazdığının hiçbir önemi kalmaz.

Kendiniz kontrol edin

Aynı test macOS ya da Linux terminalinde. User-agent testi yalnızca user-agent’a bakan kuralları gösterir; Google, Googlebot’u IP’den doğrular, Googlebot için Search Console’daki tarama istatistiklerine bakın.

Terminal

for b in GPTBot/1.2 ClaudeBot/1.0 CCBot/2.0 OAI-SearchBot/1.0 \
         Claude-SearchBot/1.0 PerplexityBot/1.0 ChatGPT-User/1.0 Claude-User/1.0; do
  printf "%-22s %s\n" "$b" "$(curl -s -o /dev/null -w '%{http_code}' \
    -A "Mozilla/5.0 (compatible; $b)" https://siteniz.com/)"
done

Botlar yalnızca ilk kapı

İçeri girmek birinci kapı. Katman MCP bu testi canlı sitenizin tam denetiminin içinde çalıştırır (JavaScript’siz metin, gerçek 404, canonical, sitemap, JSON-LD) ve yapay zekâ kod aracınıza neyi düzelteceğini söyler. Denetim Haftası, denetimi 7 gün boyunca açar; bir kez 3 $.

Denetim Haftası’nı başlat: 3 $ Katman MCP’ye bakın

Sık sorulan sorular

robots.txt izin veriyor ama bot yine de 403 alıyor. Neden?

Çünkü CDN’iniz ya da güvenlik duvarınız robots.txt okunmadan önce cevap veriyor. robots.txt bir rica; CDN’in kararı kapıdır. Cloudflare’de sebep çoğunlukla eski “Block AI bots” düğmesi ya da engelle konumundaki AI eğitim politikasıdır.

OAI-SearchBot giriyorsa GPTBot’un 403 alması sorun mu?

ChatGPT araması için değil. OpenAI’a göre her ayar diğerlerinden bağımsız; GPTBot’u engellemek yalnızca sayfalarınızı eğitim verisinin dışında tutar. Pahalı olan OAI-SearchBot’u engellemek: onu engelleyen siteler ChatGPT arama cevaplarında gösterilmez.

Bu araç Googlebot’u gerçekten test edebilir mi?

Hayır. Googlebot’un user-agent’ını göndeririz ama Google, Googlebot’u IP adresinden doğrular; güvenlik duvarı gerçek tarayıcıya farklı davranabilir. Googlebot’un gerçekte aldığı yanıtlar için Search Console → Ayarlar → Tarama istatistikleri’ne bakın.

Kontrol çalıştırınca neyi saklıyorsunuz?

Kontrol ettiğiniz alan adını, sonucu (bot başına durum kodu, CDN, robots.txt kararları) ve zamanı. Hız sınırı için IP adresinizin geri döndürülemez bir özetini (hash) de tutarız; 24 saat sonra silinir. Sonuçları 12 ay saklar ve yalnızca, kaç sitenin yapay zekâ botlarını engellediğine dair anonim istatistik için kullanırız.

Ne sıklıkla çalıştırabilirim?

Bir bağlantıdan saatte on kontrol.

Sitem bazı botları bilerek engelliyor. Bu yanlış mı?

Karar sizin. Kitabın kuralı: arama ve kullanıcı botları açık kalsın, robots.txt ile CDN aynı şeyi söylesin, eğitim botları kararı da kurulumda “ileri”ye basarken değil, bilerek verilsin.

Güncellendi 30 Eylül 2026 · Katman