Nasıl kullanılır?
- 1Sitenizin adresini yazın; robots.txt dosyası otomatik getirilir.
- 2Dilerseniz dosyayı kutuda düzenleyerek değişiklikleri önceden deneyin.
- 3Test edilecek yolu (örn. /sepet) ve botu (Googlebot, Bingbot, GPTBot…) seçin.
- 4Sonucu ve eşleşen kuralı inceleyin; dosyadaki sitemap satırlarını kontrol edin.
robots.txt nedir?
robots.txt, sitenin kök dizininde (ornek.com/robots.txt) bulunan ve arama motoru botlarına hangi bölümleri tarayabileceklerini söyleyen düz metin dosyasıdır. User-agent satırı kuralların hangi bota uygulanacağını, Disallow taranmaması gereken yolları, Allow ise istisnaları belirtir. Dosyada ayrıca Sitemap satırlarıyla site haritasının adresi bildirilir.
Google kuralları nasıl eşleştirir?
Araç Google’ın uyguladığı mantıkla çalışır: bot önce kendisine en özel User-agent grubunu seçer, sonra yola uyan kurallar arasından en uzun (en spesifik) olanı uygular. Allow ve Disallow kuralları eşit uzunluktaysa Allow kazanır. * karakteri herhangi bir karakter dizisiyle, satır sonundaki $ ise adresin bitişiyle eşleşir; örneğin "Disallow: /*.pdf$" tüm PDF dosyalarını engeller. Eşleşen kural sonuçta vurgulanır.
Sık yapılan robots.txt hataları
Test ortamından kalan "Disallow: /" satırı tüm siteyi Google’dan silebilir; site yayına alındıktan sonra mutlaka kontrol edin. CSS ve JS klasörlerini engellemek Google’ın sayfayı doğru görmesini engeller. Unutmayın, robots.txt taramayı engeller, dizine eklemeyi değil: başka sitelerden link alan engelli bir sayfa yine de sonuçlarda görünebilir. Bir sayfayı dizinden çıkarmak için noindex kullanılmalıdır.
Sık sorulan sorular
Kutuda yaptığım değişiklikler siteme kaydediliyor mu?
Hayır. Düzenleme yalnızca test içindir; değişiklikleri kendi sunucunuzdaki robots.txt dosyasına sizin aktarmanız gerekir.
ChatGPT’nin sitemi taramasını nasıl engellerim?
robots.txt dosyasına "User-agent: GPTBot" ve altına "Disallow: /" satırlarını ekleyin. Botu araçta seçerek kuralın çalıştığını test edebilirsiniz.
robots.txt dosyam yoksa ne olur?
Botlar sitenin tamamını tarayabileceklerini varsayar. Dosya zorunlu değildir ama sitemap adresini bildirmek ve gereksiz alanları (sepet, arama sonuçları vb.) kapatmak için önerilir.
Disallow ettiğim sayfa hâlâ Google’da görünüyor, neden?
robots.txt yalnızca taramayı engeller. Sayfanın sonuçlardan kalkması için noindex etiketi eklemeli ve Google’ın bunu görebilmesi için sayfayı engellememelisiniz.
Sonuçlar iç açıcı değil mi?
Hızlı, SEO uyumlu web siteleri, e-ticaret ve Google Ads yönetimi için Webin Agency ekibiyle görüşün.