Robots.txt Testi
Canlı veya yapıştırılmış robots.txt kurallarını test edin; bir URL’nin izinli mi engelli mi olduğunu görün.
Aracı nasıl kullanırsınız?
Sonuçları yorumlamak ve sonraki adımı belirlemek için kullanım rehberi.
Bir robots.txt dosyasını açabilmek, istediğiniz sayfanın seçtiğiniz bot için serbest olduğunu göstermez. Önce kontrol edilecek URL’yi ve botu belirleyin; sonra eşleşen kuralı okuyun. Canlı dosya ile yapıştırılmış deneme metninin hangi durumda kullanıldığını raporda ayırın.
Kendi robots.txt dosyamızdan bir başlangıç örneği
2026-11-07 tarihindeki doğrudan HTTP kontrolünde https://gorunurluk.com/robots.txt 200 döndürdü. Dosyada User-agent: *, Allow: / ve Sitemap: https://gorunurluk.com/sitemap.xml satırları vardı. Bu bir dosya kaydıdır; araç API’sinden alınmış sonuç veya indekslenme kanıtı değildir.
Denemeyi kendi dosyanızla yaparken üç bilgiyi yan yana kaydedin:
- Hedef URL: örneğin
https://gorunurluk.com/hizmetler/teknik-seo/. - Seçilen bot: varsayılan grubu incelemekle Googlebot gibi belirli bir botu test etmek aynı girdi değildir.
- Kural kaynağı: yayımlanmış dosya mı, henüz sunucuya koymadığınız deneme metni mi?
Kurgusal bir mağazada /sepet/ yolunu engellemek isterken bütün / yolunu kapatan kural yazmak mümkündür. Böyle bir değişikliği önce yapıştırılan dosya modunda sınayın; uygun sonucu gördükten sonra yayımlanmış dosyayla tekrar test edin. Robots izni, sayfada noindex bulunmadığını veya Google’ın sayfayı kaydettiğini söylemez. Bu ayrım için Noindex Kontrolü ve Google’da görünmeme rehberini kullanın.
Robots.txt kaynağını ve URL’yi seçin
Web sitenizin şu anda sunduğu herkese açık dosyayı okumak için Canlı site modunu kullanın. https://example.com adresini, /products/item yolunu ve kontrol etmek istediğiniz botu girin. Görünürlük /robots.txt dosyasını ister; test edilen sayfayı getirmez ve sitenin tamamını taramaz.
Henüz yayınlanmamış bir taslak için Robots.txt yapıştır modunu kullanın. Yapıştırılan metin, yüklenmeden tarayıcınızda analiz edilir. Testin hedef URL’yi oluşturabilmesi için web sitesi adresini bağlam olarak girin.
Protokolü ve alan adını doğru girin: https://example.com, http://example.com ve https://www.example.com farklı kaynak adresleridir. Yalnızca alan adı girildiğinde HTTPS kullanılır. Tam test URL’si, web sitesi girdisiyle aynı kaynağa ait olmalıdır; yol ise bu adrese göre tamamlanır. / testi yalnızca ana sayfa yolunu kontrol eder. Başka bir URL’yi kontrol ederken gerçek büyük-küçük harf kullanımını ve sorgu parametrelerini koruyun.
Hazır bir bot seçin veya tam tarayıcı user-agent başlığı yerine ExampleBot gibi özel bir bot adı girin.
Robots.txt test sonucunu okuyun
Durumu, özellikle eşleşen grup ve vurgulanan satır olmak üzere, dayandığı bilgilerle birlikte okuyun.
| Durum | Anlamı | İncelenecek bilgi |
|---|---|---|
| İzin verildi — yeşil | Eşleşen bir Allow kuralı bu URL’ye izin verir. | Geçerli yönerge ve satır. |
| Engellendi — kırmızı | Eşleşen bir Disallow kuralı bu URL’yi engeller. | Yolun ve botun amaçladığınız seçimler olup olmadığı. |
| Varsayılan olarak izin verildi — mavi | Bu URL’yi kısıtlayan geçerli bir yol kuralı yoktur. | Seçilen grup ve kullanılabilir bir canlı dosya dönüp dönmediği. |
| Belirlenemedi — sarı | Canlı kontrol bir kural kararı verememektedir. | Kaynak yanıtı veya dosyayı getirme uyarısı. |
Canlı kontrolde önce robots.txt URL’sini ve HTTP durumunu inceleyin. Bu araç, 404, 403 ve 429 dışındaki diğer 4xx yanıtlarını yayınlanmış kısıtlama yokmuş gibi değerlendirir. Hız sınırlaması, sunucu hatası veya çözülemeyen yönlendirme kararı belirsiz bırakır; zaman aşımı ise sonuç yerine hata gösterebilir. Bunlar açık bir Disallow kuralını kanıtlamaz. Gerçek botlar önbellekteki bir dosyayı kullanabilir veya hataları farklı ele alabilir; Google kendi yanıt kurallarını belgelendirir.
Beklenmedik bir varsayılan sonuca güvenmeden önce ayrıştırma uyarılarını inceleyin. Yanlış yazılmış yönerge veya eksik iki nokta, amaçlanan kuralın kullanılmamasına neden olabilir. Görünürlük en fazla ilk 500 KiB’yi işler ve içeriğin kesildiğini belirtir. İçerik kesilmişse karar işlenen bölüm için geçerlidir; sonraki kurallar kontrol edilmemiştir.
Hangi robots.txt kuralının geçerli olduğunu anlayın
Bota özel grup, User-agent: * grubundan önceliklidir; bu iki grubun kuralları birlikte devralınmaz. Geçerli grup içinde en uzun eşleşen yol kuralı kazanır. Aynı ayrıntı düzeyindeki Allow ve Disallow kuralları eşleşirse Allow kazanır. Aynı özel bot için eşleşen gruplar birleştirilebilir; bu nedenle tekrarlanan grupları da inceleyin. Bu ilkeler Robot Dışlama Protokolü’nde açıklanır.
Bu örnek politikayı yapıştırıp aşağıdaki testleri karşılaştırın:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Bot | Test edilen yol | Beklenen sonuç | Neden |
|---|---|---|---|
| Bingbot | /private/report | Engelli | Genel /private/ kuralı eşleşir. |
| Bingbot | /private/help/guide | İzinli | Daha uzun /private/help/ istisnası kazanır. |
| Googlebot | /private/report | Varsayılan olarak izinli | Özel grubunda eşleşen kural yoktur; genel engel devralınmaz. |
| Googlebot | /preview/page | Engelli | Özel /preview/ kuralı eşleşir. |
Örnek, güvenli bir özel alanı değil, kural eşleşmesini gösterir. Yollar büyük-küçük harfe duyarlıdır: /Private/ ve /private/ farklıdır. Yol desenlerinde * bir karakter dizisini eşleştirir, $ ise sonu işaretler. Örneğin Disallow: /*.pdf$, /guide.pdf ile eşleşir ama /guide.pdf?download=1 ile eşleşmez. Yakın URL çeşitlerinin aynı sonucu vereceğini varsaymak yerine kullandığınız tam URL’yi test edin.
Arama ve yapay zekâ botlarını ayrı test edin
Seçilen bot adı hangi kuralların uygulanacağını değiştirir. Konu arama motoru taramasıysa Googlebot ve Bingbot’u ayrı kontrol edin. Yapay zekâ botlarında tek bir kuralın hepsini kapsadığını varsaymak yerine arama, model eğitimi ve kullanıcı isteğiyle dosya getirme amaçlarını ayırın.
Örneğin OAI-SearchBot, ChatGPT aramasına hizmet ederken GPTBot, model eğitiminde kullanılabilecek içerikleri tarar. ChatGPT-User bazı kullanıcı tarafından başlatılan işlemleri yürütür ve OpenAI’ın bot belgelerine göre robots.txt kuralları bu isteklere uygulanmayabilir.
Hazır bot seçmek, o belirteci dosyadaki kurallara göre değerlendirir. Canlı kontrol seçilen botun kimliğini taklit etmez, isteklerini doğrulamaz veya gösterilen politikaya uyduğunu kanıtlamaz. Kullanıcının tetiklediği bir belirteç için engelli sonucu, kural yorumudur; isteklerin duracağını garanti etmez.
Kuralı düzeltip canlı dosyayı yeniden test edin
İlgili kuralda mümkün olan en küçük değişikliği yapın; ardından hem amaçlanan kısıtlamayı hem korumak istediğiniz istisnayı kontrol edin.
- Mevcut dosyayı yapıştırma moduna kopyalayın ve aynı URL ile botu kullanarak beklenmedik sonucu yeniden oluşturun.
- Eşleşen yönergeyi veya grubu düzeltin. Etkilenen yolu ve izinli ya da engelli kalması gereken yakın bir URL’yi test edin.
- İlgili her bot için tekrarlayın. Başarılı bir Googlebot kontrolü, Bingbot veya GPTBot sonucunu ortaya koymaz.
- Dosyayı kendi web sitenizde yayınladıktan sonra canlı moda geçip kontrolleri tekrarlayın. Dönen dosyanın ve eşleşen satırın değişikliği yansıttığını doğrulayın. Araçtan alınan güncel yanıt, gerçek botun önbellekteki kopyasını yenilediğini kanıtlamaz.
Amaç arama sonuçlarından kaldırmaksa Disallow tek başına yeterli değildir. Google’ın noindex yönergesini okuyabilmesi için sayfayı tarayabilmesi gerekir. Gizli içeriği robots.txt ile değil, kimlik doğrulamayla koruyun. Google, tarama engellemenin sınırlarını açıklar. Sayfanın HTML ve HTTP yönergelerini, kaynaklarını ve Google web aramasına uygulanıp uygulanmadıklarını incelemek için Noindex Kontrolü aracını kullanın.
Rapor Sitemap: bildirimlerini de listeler; bir adresin bulunması XML’ini doğrulamaz veya indekslenmeyi kanıtlamaz. Ayrı kontrol için adresi Sitemap Kontrolü ile inceleyin. Bot erişimi doğruysa ama sayfa hâlâ araştırılmalıysa sayfa düzeyindeki SEO sinyallerini incelemek için On-Page SEO Analizi kullanın. AI botlarının tarama kurallarını karşılaştırmak için AI Bot Erişim Testi aracını kullanın. Bu kontrol yalnızca robots.txt politikasını inceler; gerçek bot erişimini, indekslemeyi veya kaynak gösterilmesini doğrulamaz.
Robots.txt testi ne yapar?
Robots.txt testi, bir botun user-agent adını ve URL’yi robots.txt dosyasındaki kurallarla karşılaştırır. Taramanın izinli olup olmadığını, hangi user-agent grubunun uygulandığını ve varsa tam eşleşen kuralı gösterir.
Robots.txt bir sayfanın indekslenmesini engeller mi?
Tek başına engellemez. Robots.txt taramayı, indekslemeyi değil kontrol eder. Engelli bir URL bağlantılarla yine keşfedilebilir ve tam snippet olmadan görünebilir. Amaç arama sonuçlarından kaldırmaksa taranabilir sayfada uygun bir noindex yönergesi kullanın.
“Varsayılan olarak izinli” ne anlama gelir?
Testin URL’yi engelleyen geçerli bir kural bulamadığı anlamına gelir. Eşleşen user-agent grubu olmayabilir, grubun ilgili kuralı olmayabilir veya kullanılabilir bir robots.txt dosyası bulunmayabilir.
Yapay zekâ tarayıcılarını Googlebot’tan ayrı test edebilir miyim?
Evet. Arama motoru botları, yapay zekâ arama botları, model eğitimi botları ve kullanıcı isteğiyle sayfa getiren botlar farklı bot adları kullanabilir ve farklı kurallara tabi olabilir. Uygulanan politikayı görmek için her botu ayrı seçin.
Robots.txt içinde * ve $ ne anlama gelir?
Yıldız, URL yolundaki bir karakter dizisini eşleştirir. Dolar işareti, deseni URL’nin sonuna sabitler. Araç en özel geçerli kuralı bulurken her iki deseni de destekler.
Robots.txt 404 veya 403 döndürürse ne olur?
Başlıca arama motoru botları genellikle çoğu 4xx yanıtını tarama kısıtlaması yayınlanmamış gibi ele alır. 429 farklıdır; geçici hız sınırlamasını gösterir. Bu nedenle araç canlı durumu belirsiz olarak raporlar.
5xx veya zaman aşımı sonucu neden belirsiz?
Geçici sunucu ya da ağ hatası bota izin verildiğini veya engellendiğini kanıtlamaz. Botlar istekleri duraklatabilir veya önceden önbelleğe alınmış bir robots.txt dosyasını kullanabilir; bu nedenle araç kesin karar sunmaz.
Form girdiğim bilgiler kaydediliyor veya yükleniyor mu?
Yapıştırılan robots.txt dahil form girdileri, formu yeniden doldurmak için bu tarayıcının localStorage alanına kaydedilir. Yapıştırılan içerik yerel olarak analiz edilir. Canlı modda kontrol için site, hedef ve tarayıcı gönderilir.
