robots.txt'te AI tarayıcı erişimini denetlemek

robots.txt dosyanız AI tarayıcılarına ne söylüyor? Örnek bir dosya üzerinden kuralları okumayı, belgelenmiş tarayıcı adlarını ve istenmeden kapatılan erişimi bulmayı öğrenin.

Öğrenme hedefleri

robots.txt'teki kural gruplarını ve "*" grubunun ne zaman geçerli olduğunu açıklar.
AI sağlayıcılarının belgelediği tarayıcıları amaçlarına göre (eğitim, arama, kullanıcı isteği) ayırır.
Örnek bir robots.txt'te bilinçli kararla istenmeden kapatılmış erişimi ayırt eder.

Bu derste

Modül 3'te AI cevaplarının hangi kaynaklara dayandığını gördük. Kendi sitenizin bu kaynaklar arasında olabilmesi için önce okunabilmesi gerekir. Bu modül, sitenizin AI sistemlerine ne kadar açık ve okunur olduğuyla ilgili. İlk adım robots.txt.

robots.txt nedir?

robots.txt, sitenizin kökünde duran düz bir metin dosyasıdır (örneğin acmespor.example/robots.txt). Tarayıcılara sitenin hangi bölümlerine girebileceklerini söyler. Kuralları her tarayıcı kendisi uygular. Dosya bir güvenlik önlemi değildir ve sayfaları erişime kapatmaz.

Dosya gruplardan oluşur. Her grup bir ya da birkaç User-agent: satırıyla başlar, ardından Disallow: ve Allow: kuralları gelir.

Okurken en çok gözden kaçan kural şudur: Kendi adıyla bir grubu olan tarayıcı yalnız o grubu uygular. User-agent: * grubu yalnız adıyla grubu olmayan tarayıcılar için geçerlidir. Bu kural robots.txt standardında (RFC 9309) tanımlanmıştır. Sonuç olarak * grubuna yazdığınız bir yasak, kendi grubu olan tarayıcıya uygulanmaz.

İki ayrıntı daha:

Disallow: / sitenin tamamını kapatır. Disallow: /sepet/ yalnız o yolu kapatır.
robots.txt her alan adı ve alt alan adı için ayrıdır. magaza.acmespor.example'ın kendi dosyası olması gerekir.

Belgelenmiş AI tarayıcıları (Ekim 2026 itibarıyla)

Aşağıdaki adlar sağlayıcıların kendi belgelerinden alınmıştır. Adlar ve görevleri değişebilir. Karar vermeden önce her zaman sağlayıcının güncel belgesine bakın.

OpenAI

GPTBot: OpenAI'ın modellerini eğitmekte kullanılabilecek içeriği tarar.
OAI-SearchBot: Siteleri ChatGPT'nin arama özelliklerinde göstermek için tarar. OpenAI'ın belgesine göre bu tarayıcıyı engelleyen siteler ChatGPT arama cevaplarında gösterilmez; yalnız gezinme bağlantısı olarak görünebilir.
ChatGPT-User: Bir kullanıcı ChatGPT'de bir şey istediğinde sayfayı ziyaret eder. Kullanıcı başlattığı için robots.txt kuralları geçerli olmayabilir.

Anthropic

ClaudeBot: Model eğitimine katkıda bulunabilecek içeriği toplar.
Claude-SearchBot: Arama sonuçlarının kalitesini iyileştirmek için tarar.
Claude-User: Bir Claude kullanıcısının sorusu için sayfayı getirir.

Perplexity

PerplexityBot: Siteleri Perplexity arama sonuçlarında göstermek ve bağlantı vermek için tarar. Perplexity'nin belgesine göre model eğitimi için kullanılmaz.
Perplexity-User: Kullanıcı isteğiyle sayfa getirir. Belgeye göre genellikle robots.txt kurallarını dikkate almaz.

Google

Google-Extended: Ayrı bir tarayıcı değil, robots.txt'te kullanılan bir kontrol adıdır. İçeriğin gelecekteki Gemini modellerinin eğitiminde ve bazı grounding (cevabı kaynağa dayandırma) kullanımlarında kullanılıp kullanılamayacağını yönetir. Google'a göre Google Arama'ya dahil olmayı ve sıralamayı etkilemez.
AI Overviews gibi Arama içindeki AI özellikleri için Google, Googlebot'un normal Arama taraması kurallarını gösterir.

Pratikte tarayıcılar üç amaçla ayrılır: eğitim, arama ve kullanıcı isteği. Hangisini açıp hangisini kapatacağınız bir iş kararıdır. Bu eğitim size "hepsini açın" demez. Önemli olan, kararın bilinçli verilmesidir.

Örnek dosya (temsilî)

Aşağıdaki dosya kurgusaldır. "Acme Spor" kurgusal bir markadır.

User-agent: *
Disallow: /sepet/
Disallow: /hesabim/

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /magazalar/

Sitemap: https://acmespor.example/sitemap.xml

Satır satır okuma

* grubu: Sepet ve hesap sayfaları kapalı. Bu yaygın ve makul bir ayardır.
GPTBot ve ClaudeBot: Art arda yazılan iki User-agent: satırı aynı grubu paylaşır. İki eğitim tarayıcısına da site tamamen kapalı. Bu, Modül 1'deki eğitim verisi yolunu etkileyen bir tercihtir. Bilerek verildiyse sorun değildir.
OAI-SearchBot: Site tamamen kapalı. OpenAI'ın belgesine göre bu, sitenin ChatGPT arama cevaplarında gösterilmemesi demektir (yalnız gezinme bağlantısı olarak görünebilir). Büyük olasılıkla istenmemiş bir sonuçtur. Bu tür satırlar çoğu zaman bir yerden kopyalanan "bütün AI botlarını engelle" listelerinden gelir.
PerplexityBot: Yalnız mağazalar sayfası kapalı. Kök engeli olmadığı için bir denetim aracı bunu "engel" olarak saymayabilir. Yine de "Kadıköy'deki mağazanın adresi" gibi bir soruda en önemli sayfa kapalıdır. Ayrıca PerplexityBot'un kendi grubu olduğu için * grubunu uygulamaz. Sepet ve hesap sayfaları ona açıktır.
Claude-SearchBot: Kendi grubu yok, bu yüzden * grubunu uygular. Sepet ve hesap dışındaki her yer açıktır.
Google-Extended: Kendi grubu yok; * grubu geçerli, sepet/hesap dışı izinli.

Dosyanın kendisi açılıyor mu?

Kurallar kadar dosyanın kendisinin nasıl açıldığı da önemlidir. RFC 9309'a göre:

robots.txt bulunamazsa (4xx yanıtı) tarayıcılar siteye serbestçe girebilir.
robots.txt sunucu hatası verirse (5xx yanıtı) tarayıcılar siteyi tamamen kapalı saymalıdır.

Bir de robots.txt dışındaki engeller var: güvenlik duvarı ya da bot koruması gibi ayarlar, robots.txt'te izin verdiğiniz bir tarayıcıyı da engelleyebilir. Teknik ekibinize bu ayarları da sorun.

Düzeltilmiş taslak

Acme Spor'un yalnız eğitim tarayıcılarını kapatmak, arama tarayıcılarına ise açık kalmak istediğini varsayalım. Taslak şöyle olabilir:

User-agent: *
Disallow: /sepet/
Disallow: /hesabim/

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: PerplexityBot
Disallow: /sepet/
Disallow: /hesabim/

Sitemap: https://acmespor.example/sitemap.xml

Bu bir örnektir. Kendi kararınıza göre uyarlayın ve uygulamadan önce teknik ekibinizle kontrol edin.

Sağlayıcı belgeleri: OpenAI, Anthropic, Perplexity, Google.

Özet

robots.txt gruplardan oluşur. Kendi grubu olan tarayıcı * grubunu uygulamaz.
AI tarayıcıları üç amaca ayrılır: eğitim, arama, kullanıcı isteği. Hangisini kapatacağınız bilinçli bir iş kararı olmalıdır.
Arama tarayıcısını kapatmak, o motorun arama cevaplarında görünmemenize yol açabilir.
Yalnız kök engeline bakmayın. Önemli bir sayfaya konan alt yol engeli de görünürlüğü etkiler.
Adlar değişebilir. Her zaman sağlayıcının güncel belgesine bakın.
5xx veren bir robots.txt ve bot koruması gibi ayarlar da tarayıcıları engelleyebilir.