AI Bot Erişim Testi
AI arama, eğitim ve kullanıcı isteğiyle gelen botlar için robots.txt kurallarını kontrol edin. Tam URL’nizle eşleşen kuralı görün.
Aracı nasıl kullanırsınız?
Sonuçları yorumlamak ve sonraki adımı belirlemek için kullanım rehberi.
Görünürlük’ün AI Bot Erişim Testi aracı, belirli bir URL için robots.txt kurallarını dokuz farklı bot ve içerik kullanım kontrolü açısından inceler. Yapay zekâ araması, model eğitimi ve kullanıcı isteğiyle yapılan ziyaretleri ayırarak amacınıza uygun kuralı değerlendirmenizi sağlar. Sonuç, yayımlanmış politikanın ne söylediğini gösterir; gerçek botun sayfaya ulaştığını, indekslediğini veya kaynak gösterdiğini kanıtlamaz.
Tam URL’yi ve kaynağını test edin
Bir alan adı veya tam, herkese açık HTTP/HTTPS URL’si girin. Yalnızca alan adı girerseniz sitenin ana dizini kontrol edilir; tam adresin yolu ve sorgusu kural değerlendirmesinde korunur. Ürün rehberini merak ediyorsanız ana sayfa sonucunun bütün sayfalar için geçerli olduğunu düşünmek yerine rehberin kendisini test edin.
Araç robots.txt dosyasını verdiğiniz URL’nin origin adresinden alır. Farklı alt alan adları ve HTTP/HTTPS origin adresleri farklı dosyalara sahip olabilir. Gerçekte yayımladığınız adresi kontrol edin. Kaynak ayrıntıları istenen robots.txt adresini, yönlendirmelerden sonraki son adresini ve kontrol zamanını gösterir. Kaynak için en fazla beş yönlendirme izlenir.
Sayfa URL’si burada içeriği analiz edilen sayfa değil, kuralların eşleştirildiği hedeftir. robots.txt dosyasının alınması, hedef makalenin erişilebilir veya okunabilir olduğunu göstermez. Değişiklik öncesi ve sonrası karşılaştırmada test ettiğiniz adresi sonuçla birlikte saklayın.
Arama, eğitim ve kullanıcı isteğiyle yapılan ziyaretleri ayırın
Eğitim botunun engellenmesi otomatik olarak aramada keşfedilme sorunu değildir. Her satırın yeşil olması gerektiğine karar vermeden önce amacını okuyun. Mevcut rapor dokuz kayıt içerir:
| Amaç | Rapordaki kayıtlar | Kategorinin anlamı |
|---|---|---|
| Yapay zekâ araması | OAI-SearchBot, Claude-SearchBot, PerplexityBot | İlgili AI aramasında bulunmak istiyorsanız bu satırları inceleyin |
| Model eğitimi | GPTBot, ClaudeBot | Model eğitimini engelleme tercihi bilinçli ve arama politikasından ayrı olabilir |
| Kullanıcı isteğiyle ziyaret | ChatGPT-User, Claude-User, Perplexity-User | Davranış notunu okuyun; üçü robots.txt dosyasını aynı şekilde değerlendirmez |
| İçerik kullanım kontrolü | Google-Extended | Ayrı bir tarama botu değildir; içeriğin hangi amaçla kullanılabileceğini belirler ve Google sıralamasını kontrol etmez |
OpenAI’ın bot belgesi, OAI-SearchBot ile GPTBot’u ayırır ve kullanıcı tarafından başlatılan ChatGPT-User isteklerinde robots.txt kurallarının uygulanmayabileceğini söyler. Aramaya izin verip eğitimi engellemek bu nedenle çelişkili sonuç değil, ayrı bir politika tercihidir.
Anthropic’in bot rehberi, Claude’un arama, eğitim ve kullanıcı isteği araçlarını ayırır; botların robots.txt kurallarına uyduğunu belirtir. Perplexity’nin bot rehberi, arama için PerplexityBot’u, kullanıcı isteğinde genellikle robots.txt kurallarını yok sayan Perplexity-User’dan ayırır.
Google’ın Google-Extended belgesi, içerik kullanım kontrolünü anlatır ve belirtecin Google Arama’ya dahil olmayı veya sıralamayı etkilemediğini belirtir. Bu satırı Googlebot veya bütün Google yapay zekâ arama özelliklerinin testi saymayın. Bot amaçları ve davranışları değişebilir; uzun süre kullanılan politikayı incelerken bu resmî kaynaklara dönün.
Uygulanan grubu ve eşleşen kuralı okuyun
Sonuçlarda bot adı, uygulanan kural grubu, eşleşen Allow veya Disallow kuralı ve bu kuralın dosyadaki satırı gösterilir. Bota özel bir grup varsa genel (*) gruba göre öncelikli uygulanır. Geçerli kurallar arasında daha uzun eşleşen yol öncelik alır; iki kural aynı düzeyde eşleşiyorsa Allow uygulanır. Eşleşen kısıt yoksa araç bu hedef için uygulanan politikada Disallow bulmamıştır. Açıkça Allow yazmanın zorunlu olduğu anlamına gelmez.
Örnek bir OAI-SearchBot grubunda /private/ için Disallow ve daha özel /private/public-guide/ için Allow bulunduğunu düşünün. public-guide yolu izinli olurken /private/report/ engelli kalabilir. Bütün yolları engelleyen ayrı GPTBot grubu eklemek OAI-SearchBot kararlarını değiştirmez. Bu bir eşleştirme örneğidir; sitenize yapıştırmanız önerilen politika değildir.
“Bilinmiyor”, “engelli” demek değildir. Kaynağa erişilemiyorsa, belge geçersizse veya sınır aşılmışsa politika kesinleşmez. Kaynak sınırı 512 KiB’dir. robots.txt için 404 veya 410 alınması bu dosyada kısıt bulunmadığını belirtir; kimlik doğrulama ve diğer kontrollerin kalktığını göstermez. Değişiklikten önce kaynak uyarılarını ve satır açıklamalarını okuyun. Özel bir user agent veya daha ayrıntılı kural incelemesi için Robots.txt Testi kullanın.
Yalnızca değiştirmek istediğiniz politikayı değiştirin
Amaç yapay zekâ aramasında keşfedilmekse arama botlarıyla başlayıp eşleşen kısıtı inceleyin. Her Disallow satırını silmek yerine bilinçli eğitim ve özel yol kısıtlarını koruyun. İlgili origin adresindeki dosyayı düzenleyip yayımlayın ve aynı tam URL’yi tekrar test edin. Fazla geniş değişikliği yakalamak için engelli kalması gereken bir URL’yi de kontrol edin.
İzinli politika gerçek erişim testi değildir. Araç dokuz botun hepsi adına istek göndermez, trafik kayıtlarını incelemez veya kimlik doğrulama ve sunucu erişim kurallarını doğrulamaz. İzinli satır toplamı görünürlük puanı, eksik dosya da sınırsız erişim garantisi değildir.
HTTP yanıtını Toplu HTTP Durum Kodu Kontrolü ile ayrıca inceleyin; onun isteği de her gerçek botun ne aldığını kanıtlayamaz. Sayfa düzeyindeki indeksleme yönergeleri için Noindex Kontrolü kullanın. Robots politikası, sayfanın başarıyla alınması, indeksleme ve kaynak seçimi ayrı konulardır. Bir kuralı değiştirmek trafik, önerilme veya kaynak gösterimi garanti etmez.
Bu araç gerçek AI bot erişimini doğrular mı?
Yalnızca robots.txt kuralları kontrol edilir. Gerçek bot erişimi, indeksleme veya kaynak gösterilmesi doğrulanmaz.
Her AI botunun engelini kaldırmalı mıyım?
Eğitim botunu engellemek bilinçli bir tercih olabilir. Bu, otomatik olarak SEO sorunu değildir. AI aramada bulunmak istiyorsanız değiştirmeden önce eşleşen Disallow kuralını inceleyin.
Sonuç neden bilinmiyor olabilir?
Erişilemeyen yanıt, geçersiz belge veya aşılan sınırda sonuç bilinmiyor olur. 404 veya 410 döndüren eksik dosya, robots.txt kısıtlaması bulunmadığı anlamına gelir.
AI arama botları ile eğitim botları arasındaki fark nedir?
Arama botları arama deneyimleri için içerik keşfeder; eğitim botları eğitim verisi toplar. Robots.txt kuralları farklı olabilir, bu yüzden her botu ayrı inceleyin.
