Crawl Budget (Tarama Bütçesi), bir arama motoru botunun (örn. Googlebot) belirli bir zaman diliminde bir sitede tarayacağı sayfa sayısı ve harcayacağı sunucu kaynaklarının toplamıdır.
Crawl budget iki bileşenden oluşur:
- Crawl Capacity Limit: Site sunucusunun bot trafiğini kaldırma kapasitesi.
- Crawl Demand: Botun bu siteyi taramaya duyduğu istek (popüler ve sık güncellenen siteler için yüksek).
Crawl budget özellikle aşağıdaki durumlarda kritik hale gelir:
- Sayfası çok olan büyük siteler (e-ticaret, forum, haber)
- Filtreleme/sıralama parametreleri olan sayfalar
- Sık içerik güncellemesi yapılan siteler
Crawl budget israfını önlemek için robots.txt ile gereksiz URL’leri engelleyin, canonical etiketleriyle duplike içeriği yönetin ve noindex etiketlerini doğru kullanın.
İpucu: Search Console’daki “Crawl Stats” raporu, Googlebot’un sitenizi nasıl taradığını gösterir. Tarama hatalarını ve gereksiz tarama trafiğini buradan tespit edebilirsiniz.