robots.txt ve Yapay Zekâ Botları: GPTBot, ClaudeBot ve Diğerlerini Neden Ayırmalısınız

Müşterilerden iki zıt soru geliyor. Biri "içeriğimi yapay zekâ eğitiminde kullanmasınlar, hepsini kapatalım" diyor, diğeri "ChatGPT'de neden çıkmıyoruz" diye soruyor. Çoğu zaman ikisinin kaynağı aynı dosya: sitenin kökündeki robots.txt. Bu yazıda hangi botun ne yaptığını, vendor dokümanlarına dayanarak ve rakam uydurmadan anlatıyoruz.

Kısa Cevap

Eğitim botlarını (GPTBot, ClaudeBot, Google-Extended) engellemek mümkün ve bu, arama görünürlüğünüzü kendiliğinden düşürmüyor. Arama ve yanıt botlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot) engellerseniz, ilgili yapay zekâ aramalarında yer almanız zorlaşır. Her botun amacı farklı olduğu için tek bir "hepsini kapat" satırı iki işi birden bozabilir.

Üç tür bot var

Yapay zekâ şirketlerinin tarayıcıları aynı işi yapmıyor. Dokümanlardan çıkan ayrım şu:

• Eğitim botları: İçeriği, üretken yapay zekâ modellerini eğitmek için toplayabilir.
• Arama botları: Sitenizi o şirketin arama özelliğinde gösterebilmek için sayfaları indeksler.
• Kullanıcı botları: Biri yapay zekâya bir soru sorduğunda, o anda sayfayı açıp okur.

OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User

OpenAI'ın bot sayfasına göre GPTBot, üretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içeriği tarıyor. GPTBot'a izin vermemek, içeriğinizin eğitimde kullanılmaması gerektiği anlamına geliyor. OAI-SearchBot ise ChatGPT'nin arama özelliklerinde siteleri göstermek için çalışıyor ve OpenAI, robots.txt'de buna izin verilmesini öneriyor. Bu botu engelleyen siteler ChatGPT arama yanıtlarının dışında kalıyor, en fazla gezinme linki olarak görünebiliyor.

Üçüncü bot ChatGPT-User. Kullanıcı ChatGPT'ye bir soru sorduğunda sayfayı ziyaret edebiliyor. OpenAI bu ziyaretleri kullanıcı başlattığı için robots.txt kurallarının uygulanmayabileceğini yazıyor. Yani bu bot için robots.txt tek başına güvenilir bir fren değil.

Bir de zamanlama notu: OpenAI, robots.txt güncellemesinden sonra sistemlerin uyum sağlamasının yaklaşık 24 saat sürebileceğini söylüyor. Dosyayı değiştirip aynı gün sonuç aramayın.

Anthropic: ClaudeBot, Claude-SearchBot, Claude-User

Anthropic'in destek sayfası da aynı üçlü yapıyı kullanıyor. ClaudeBot, eğitimde kullanılabilecek web içeriğini topluyor. Claude-SearchBot arama sonuçlarının doğruluğunu iyileştirmek için içerik analiz ediyor; engellenirse arama için indekslenmiyorsunuz ve görünürlüğünüz düşebilir. Claude-User ise biri Claude'a soru sorduğunda siteye giriyor, engellenirse kullanıcı sorularında içeriğiniz getirilemiyor.

Anthropic ayrıca IP adresine göre engellemeyi önermiyor. Gerekçesi şu: IP engeli botun robots.txt dosyanızı okumasını da kesiyor, dolayısıyla tercihiniz doğru biçimde görülmeyebiliyor.

Perplexity ve Google-Extended

Perplexity'nin dokümanında PerplexityBot, siteleri Perplexity arama sonuçlarında göstermek için tanımlanıyor ve temel yapay zekâ modellerinin eğitimi için içerik taramadığı belirtiliyor. Perplexity bu bota izin verilmesini öneriyor. Perplexity-User ise kullanıcı bir soru sorduğunda sayfaya gidiyor ve kullanıcı isteğiyle çalıştığı için genellikle robots.txt kurallarını dikkate almıyor.

Google tarafında kafa karıştıran isim Google-Extended. Google'ın dokümanına göre bu, ayrı bir kullanıcı aracısı değil, yalnızca robots.txt'de kullanılan bir ürün token'ı. İçeriğinizin gelecekteki Gemini modellerinin eğitiminde ve grounding için kullanılıp kullanılmayacağını yönetiyor. Aynı sayfada Google-Extended'in Google Arama'daki yer almayı etkilemediği ve sıralama sinyali olmadığı açıkça yazıyor. Yani engellemek, klasik Google sıralamanızı bozmuyor. AI Overviews'in bu token'la nasıl ilişkilendiğini ise ilgili dokümanda göremedim, o konuda kesin bir şey söylemiyorum.

Pratik bir robots.txt örneği

Hedef "eğitimde kullanılmayayım ama yapay zekâ aramalarında görüneyim" ise dosya şuna benzer:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://alanadiniz.com/sitemap.xml

Bu bir şablon, birebir kopyalamadan önce kendi durumunuza bakın. Haber veya özgün araştırma yayınlayan bir site eğitimi kapatmak isteyebilir. Hizmet satan bir işletme ise çoğunlukla yapay zekâ yanıtlarında adının geçmesini ister, eğitimde kullanılması onun için ikinci planda kalabilir. Bu bir hukuki ya da ticari tavsiye değil, bir tercih ve her iki seçenek de meşru.

robots.txt'nin sınırı

robots.txt bir güvenlik duvarı değil, uyan botlara bırakılmış bir not. Büyük şirketler kendi botlarının buna uyduğunu söylüyor, ama kuralı yok sayan üçüncü taraf kazıyıcılar var. Kullanıcı isteğiyle çalışan botlar için de kural uygulanmayabiliyor. Dosyaya bir şey yazmak, içeriğinizin başka yollardan da kullanılamayacağını garanti etmiyor. Daha önce eğitim verisine girmiş içerik de geri alınmıyor.

Altyapı tarafında bir ek: Cloudflare, Temmuz 2025'te barındırdığı sitelerde yapay zekâ botlarını varsayılan olarak engellemeye başladığını duyurdu ve yeni alan adı sahiplerine yapay zekâ tarayıcılarına izin verip vermeyeceklerini sormayı planladığını açıkladı (MIT Technology Review haberi). Siteniz Cloudflare arkasındaysa robots.txt'de ne yazdığınızdan bağımsız olarak botlar daha sitenize ulaşamıyor olabilir. Yapay zekâda görünmek istiyorsanız panelden bu ayara bakın.

Kontrol listesi

1. Alan adınızın /robots.txt adresini açın ve kalıntı "Disallow: /" satırı olup olmadığına bakın. Eklenti ya da test ortamından kalması sık görülüyor.
2. CDN veya güvenlik katmanınızda (Cloudflare gibi) yapay zekâ botu engeli açık mı kontrol edin.
3. Karar verin: eğitim kapalı, arama açık mı; yoksa hepsi açık mı?
4. Dosyayı güncelleyin, bir gün bekleyin ve sunucu loglarında bot isteklerini izleyin.
5. Yanıtlarda markanızın geçip geçmediğini AI visibility ölçümüyle takip edin.

Botlar sitenizi okuyabildikten sonra sıra okunacak şeyin düzenli olmasında. Bunun için llms.txt iyi bir ikinci adım.

Sık Sorulanlar