XML Sitemap ve robots.txt: Doğru Yapılandırma
6 min
XML sitemap, öncelikli sayfalarınızı Googlebot'un keşfetmesini kolaylaştırmak için listeler. robots.txt dosyası robotun hangi bölümleri tarayabileceğini kontrol eder. Bu iki dosya birbirini tamamlar ve indeksleme hatalarını önlemek için güncel tutulmalıdır.
Sitemap ve robots.txt, en temel iki SEO yapılandırma dosyasıdır. Yanlış yapılandırılırlarsa anahtar sayfaları istemeden dışarıda bırakabilir veya gereksiz URL'lerde tarama bütçesi harcayabilirler.
XML Sitemap: Yapı ve En İyi Uygulamalar
Bir XML sitemap, isteğe bağlı meta verilerle (değişiklik tarihi, güncelleme sıklığı, öncelik) birlikte indekslenmesini istediğiniz URL'leri listeler. Google bu meta verileri okur ancak birebir uygulamaz.
50.000'den fazla URL'ye veya 50 MB'ın üzerinde boyuta sahip siteler için tematik sitemap dosyalarına (makaleler, ürünler, kategoriler) işaret eden bir sitemap dizini oluşturun.
- Yalnızca kanonik, indekslenebilir ve 200 kodu döndüren URL'leri ekleyin.
- noindex sayfaları, yönlendirmeleri ve parametreli sayfaları hariç tutun.
- Sitemap'inizi Search Console'da gönderin ve robots.txt'de referans verin.
- Her yeni yayında sitemap'i otomatik olarak güncelleyin.
robots.txt Dosyası: Direktifler ve Sınırlamalar
robots.txt, alan adının kökünde bulunur ve user-agent başına basit Allow ve Disallow kural sözdizimini kullanır. Googlebot'a sitenin hangi bölümlerini taramaması gerektiğini bildirir; ancak indekslemenin dışlanmasını garanti etmez.
robots.txt ile engellenen bir sayfa, dış bağlantılar ona işaret ediyorsa hâlâ sonuçlarda görünebilir. Tamamen dışarıda bırakmak için robots.txt değil noindex etiketini kullanın.
- Yönetim, hazırlık ve test klasörlerini engelleyin.
- Binlerce varyasyon üreten dahili arama URL'lerini engelleyin.
- Sayfanın render edilmesi için gereken CSS ve JS dosyalarını asla engellemeyin.
- Sitemap URL'sine robots.txt'nin alt kısmında referans verin.
Kritik Hatalar ve Nasıl Önlenir
En ciddi hata: kötü temizlenmiş bir geçiş ya da hazırlık yapılandırmasının ardından robots.txt'e 'Disallow: /' ekleyerek tüm siteyi yanlışlıkla engellemek. Her dağıtım sonrasında bu dosyayı öncelikli olarak kontrol edin.
Sitemap'e hata döndüren URL'ler (404, 301) eklemek, Google'a özen eksikliğini sinyaller ve mevcut olmayan kaynaklar üzerinde tarama bütçesini harcayan yaygın bir hatadır.
SEO denetimlerinde sitelerin %15-40'ı, genellikle site güncellemelerinden sonra yetersiz bakım nedeniyle ortaya çıkan sitemap ile gerçekten indekslenebilir sayfalar arasında tutarsızlıklar barındırır.
2025-2026 teknik SEO denetimleri sektörel araştırmaları
FAQ
Sitemap'te öncelik ve sıklık belirtmek gerekir mi?
Bu etiketler (priority ve changefreq) Google tarafından büyük ölçüde görmezden gelinir; Google tarama sıklığını tahmin etmek için kendi sinyallerini kullanır. Varlıkları zararlı değildir; yoklukları da sorun teşkil etmez.
Google gönderilen bir sitemap'i okumak için ne kadar bekler?
Search Console'da gönderildikten sonra Google sitemap'i genellikle 24-72 saat içinde okur. Yeni URL'lerin keşfedilmesi ve gerçek indekslemesi ise sitenin otoritesine bağlı olarak daha uzun sürer.
robots.txt tüm arama motorları için işe yarar mı?
Standarda uyan tüm robotlar robots.txt'e uyar. Ancak kötü niyetli robotlar (veri kazıyıcılar, uyumsuz tarayıcılar) bunu görmezden gelir. Bu nedenle robots.txt bir güvenlik aracı değil, tarama yönetim aracıdır.