Crawl bütçesi (crawl budget) büyük sitelerde nasıl optimize edilir?

Crawl bütçesi nedir? Crawl capacity limit ve crawl demand bileşenleri

Google’ın Aralık 2024’te güncellediği resmi crawl budget dokümantasyonuna göre tarama bütçesi iki temel bileşenden oluşur: crawl capacity limit ve crawl demand. Crawl capacity limit, Googlebot’un sitenizin sunucu sağlığına ve kendi altyapı kapasitesine bağlı olarak belirli bir sürede tarayabileceği maksimum URL sayısını ifade eder; sunucu yavaş yanıt verirse Googlebot bu limiti otomatik olarak düşürür. Crawl demand ise Google’ın bir sayfayı ne sıklıkla taramak istediğini belirler: popülerlik, tazelik sinyalleri ve güncelleme sıklığı bu talebi artırır. İki bileşenin kesiştiği nokta, sitenizin fiili crawl bütçesini oluşturur.

Crawl bütçesi küçük ve orta ölçekli siteler için nadiren sorun oluşturur; Googlebot genellikle on binlerce URL’yi kolayca tarayabilir. Ancak yüz binlerce URL eşiğini aşan e-ticaret platformlarında, milyonlarca makale barındıran haber portallarında ve yoğun kullanıcı içeriği olan forumlarda tarama bütçesi günlük teknik öncelik haline gelir. Bu noktada Googlebot değerli sayfaları taramak yerine değersiz filtre URL’lerine, yinelenen parametrelere veya yavaş yanıt veren sayfalara kaynak harcıyorsa yeni içerikler indeksleme kuyruğunda günlerce bekleyebilir. Crawl bütçesi terimlerini SEO sözlüğümüzde inceleyin.

Crawl bütçesi ile indeksleme hızı arasındaki ilişki doğrudandır: Googlebot günlük tarama kapasitesini tükettiğinde yeni yayımlanan içerikler bir sonraki tarama döngüsünü beklemek zorunda kalır. Hızlı ürün döngüsüne sahip bir e-ticaret sitesinde bu gecikme, flash indirim veya stok güncellemesinin arama sonuçlarına yansımaması anlamına gelebilir. Bu yüzden büyük siteler için crawl bütçesi optimizasyonu, doğrudan gelir etkisi olan teknik bir SEO önceliğidir.

Log dosyası analizi ile crawl bütçe israfını tespit edin: araç karşılaştırması

Crawl bütçesinin nereye harcandığını anlamanın en güvenilir yöntemi sunucu log dosyalarını analiz etmektir. Screaming Frog Log Analyser, URL bazlı Googlebot istek dağılımını, yanıt kodlarını ve ziyaret sıklığını görselleştirir; büyük siteler için URL segmentasyonu (ürün, kategori, filtre, statik dosya) imkânı sunar. GSC Tarama İstatistikleri ise ücretsiz ve entegre bir alternatiftir: günlük istek sayısını, yanıt kodu dağılımını ve bant genişliği kullanımını özetler, ancak URL düzeyinde granüler kırılım sağlamaz. SEMrush’ın log analizi özelliği de benzer detay sunar fakat ek maliyet içerir.

GSC Tarama İstatistikleri raporunu açtığınızda önce günlük istek trendine bakın: önceki 90 güne kıyasla ani düşüş sunucu hatası veya robots.txt değişikliğine işaret edebilir. Yanıt kodu dağılımında 4xx oranının yüzde beşi aşması alarm eşiğidir. Bant genişliği grafiği ise Googlebot’un ağır dosyaları ne sıklıkla çektiğini gösterir ve sayfa ağırlığı optimizasyonu için önemli ipuçları sağlar.

100.000’den fazla URL barındıran bir Türk e-ticaret sitesinde gerçekleştirilen log analizinde, Googlebot’un tarama süresinin yüzde kırkından fazlasını değersiz filtre sayfalarına harcadığı ortaya konuldu. Renk, beden ve fiyat filtrelerinin kombinasyonu, hiçbiri organik trafik almayan binlerce URL üretmişti. Bu URL’lerin büyük çoğunluğu canonical etiketiyle ana kategoriye işaret etmesine karşın Googlebot onları defalarca taramaya devam ediyordu. Robots.txt disallow ve canonical kombinasyonu uygulandıktan altı hafta sonra GSC Tarama İstatistikleri değişimleri yansıttı ve yeni ürün sayfalarının ortalama indekslenme süresi 12 günden 4 güne indi.

Bütçe israfının en yaygın uyarı sinyalleri şunlardır: yüksek 4xx oranı (Googlebot var olmayan URL’leri taramaya devam ediyor), yavaş ortalama yanıt süresi (her istekte bütçe boşa harcanıyor), Googlebot istek dalgalanmaları (crawl capacity limit’e takıldığınıza işaret eder) ve değersiz parametre URL’lerinin toplam istekler içindeki orantısız payı.

Faceted navigation ve parametre URL patlaması için karar ağacı

Faceted navigation, e-ticaret sitelerinde filtre kombinasyonlarının üstel biçimde büyüyen bir URL havuzu üretmesine yol açar. On renk seçeneği, sekiz beden ve beş fiyat aralığı kombinasyonu teorik olarak 400 farklı URL oluşturabilir; gerçek bir katalogda bu sayı on binleri aşar. Bu URL’lerin büyük çoğunluğu özgün içerik taşımaz ve yalnızca Googlebot zamanını ile crawl bütçesini tüketir. Mekanizma basittir: arama motorları bağlantı bulduğu her URL’yi taramaya çalışır ve iç sayfalardaki filtrelenmiş ürün listeleri arasındaki köprüler Googlebot’u bu parametre labirentine çeker.

Hangi tekniği uygulayacağınıza karar vermek için şu karar ağacını kullanın:

• Bu filtre kombinasyonu benzersiz ürün grubu oluşturuyor ve organik trafik alıyor mu? Evet ise indekslenebilir bırakın ve sitemap’e ekleyin.
• Trafik yok, ancak harici backlink var mı? Canonical etiketiyle ana kategoriye işaret edin; robots.txt’e dokunmayın, çünkü disallow link equity aktarımını da engeller.
• Ne trafik ne backlink var; içerik kopyalanmış mı? Noindex ile başlayın; yüksek hacimli senaryolarda robots.txt disallow daha verimlidir, çünkü noindex sayfalar hâlâ taranır, yalnızca indekslenmez.
• Oturum ID, sıralama, iz veya reklam parametreleri mi? Robots.txt ile tamamen engelleyin.

E-ticaret filtre sayfaları için robots.txt kuralı yazarken tüm kombinasyonları tek tek sıralamak yerine desen tabanlı kurallar kullanın. Örneğin Disallow: /kategori/*?renk= biçiminde bir kural, renk parametresi içeren tüm kategori URL’lerini tek satırda engeller. Google’ın URL parametresi aracını 2022’de kaldırmasından bu yana parametre yönetimi tamamen bu yaklaşıma ve canonical stratejisine dayanmaktadır. Her kuralı yazdıktan sonra Google Search Console URL Denetleme Aracı ile test ederek hedef sayfaların hatalı engellenmediğini doğrulayın.

Crawl bütçesi optimizasyonunun 6 adımı: büyük siteler için pratik uygulama rehberi

Crawl bütçesi optimizasyonu tek seferlik bir çalışma değil, sürekli izleme gerektiren bir süreçtir. Aşağıdaki altı adım, büyük sitelerin bütçeyi sistematik biçimde yönetmesi için kanıtlanmış bir çerçeve sunar. Mevcut log analizinizin gösterdiği en kritik sorundan başlayın ve her değişiklikten sonra GSC Tarama İstatistikleri ile ilerlemeyi izleyin.

1. Düşük değerli sayfaları kapsam dışı bırakın. Etiket sayfaları, dahili arama sonuçları, oturum parametreli URL’ler ve yönetim paneli yolları için robots.txt disallow veya noindex uygulayın. Yüksek hacimli, trafiksiz ve backlinksiz sayfalarda robots.txt daha verimlidir; link equity söz konusuysa noindex tercih edin.
2. XML sitemap’i temizleyin. Sitemap’te yalnızca canonical, 200 durum kodlu ve gerçek indeksleme değeri taşıyan URL’ler yer almalıdır. 4xx, 301 veya noindex sayfaların sitemap’te bulunması Googlebot’u yanıltır. Google’ın Aralık 2024 crawl budget dokümanı sitemap’i Googlebot için bir öneri listesi olarak tanımlar; bu listenin kalitesi, tarama önceliklerini doğrudan etkiler.
3. İç linkleme hiyerarşisini düzleştirin. Öncelikli sayfaların ana sayfadan en fazla 3 tıklama uzaklığında olmasını sağlayın. Yetim sayfaları tespit edip kategori sayfaları veya ana menüden bağlantı verin. Derin hiyerarşideki sayfalar daha nadir taranır; bütçe her zaman erişilebilir sayfaları önceliklendirmez.
4. TTFB değerini 200ms altına çekin. Google for Developers belgelerine göre Googlebot yavaş yanıt veren sunucularda tarama hızını otomatik olarak düşürür. CDN kullanımı, sunucu taraflı önbellekleme ve altyapı kapasitesi artışı bu hedefe ulaşmanın temel yollarıdır; aynı crawl bütçesiyle daha fazla sayfa taranmış olur.
5. Canonicalization hatalarını ve duplicate URL’leri giderin. HTTP/HTTPS, trailing slash tutarsızlıkları ve www/non-www uyumsuzlukları Googlebot’un aynı içeriği defalarca taramasına neden olur. Her URL için tek bir canonical belirleyin ve 301 yönlendirmelerle tutarlılığı sağlayın.
6. JavaScript render maliyetini minimize edin. SPA ve React/Vue tabanlı sitelerde Googlebot içeriği iki turda tarar: ilk tur HTML’yi alır, ikinci tur JavaScript render bekler. Bu çift tarama crawl bütçesini fiilen ikiye katlar. SSR veya dynamic rendering ile içeriği ilk HTTP yanıtında sunun; render maliyetini Googlebot’a değil sunucuya taşıyın.

Sayfa türü, günlük organik trafik ve backlink sayısını bir önceliklendirme matrisi olarak kullanın: bu üç metrikte yüksek puan alan sayfalar bütçe korumasının merkezinde olmalı, düşük puanlılar kısıtlama kapsamına girmelidir. Bu matris, crawl bütçesini nereye yatıracağınızı nesnel biçimde belirlemenizi sağlar.

2026’da AI botları (GPTBot, Claude-Web, PerplexityBot) ve crawl bütçesine ek yük

2024-2025 döneminde GPTBot, Claude-Web ve PerplexityBot gibi yapay zeka tarama botları büyük sitelerin sunucu loglarında belirgin biçimde görünür hale geldi. Bu botlar Googlebot’tan farklı bir amaçla çalışır: LLM eğitim verisi veya gerçek zamanlı bilgi toplama amacıyla içerikleri işler ve indeksleme sinyali üretmezler. Ancak sunucu kapasitesi üzerinde oluşturdukları yük gerçektir; yoğun AI bot trafiği sunucu yanıt sürelerini olumsuz etkileyebilir ve dolaylı yoldan Googlebot’un crawl capacity limit’ini düşürebilir. Yapay zeka görünürlük analizini takip edin ve hangi botların sitenizi ne sıklıkla taradığını düzenli olarak izleyin.

AI botlarını robots.txt ile yönetmek için üç temel yaklaşım mevcuttur. Tam engelleme: içeriğinizin yapay zeka sistemlerinde yer almasını istemiyorsanız GPTBot, Claude-Web ve PerplexityBot için ayrı User-agent blokları oluşturun ve Disallow: / kuralı ekleyin. Kısmi izin: belirli içerik türlerine (blog yazıları, kılavuzlar) izin verirken hassas alanları (fiyatlandırma, üye bölümü) engelleyebilirsiniz. İçerik türüne göre kural: editoryal içerikleri açık tutarken ürün kataloğunu ve fiyat verilerini kapatmak da mümkündür.

AI Overview döneminde Googlebot’un tarama öncelikleri de dönüşüm geçiriyor. 2025-2026 gözlemlerine göre yüksek E-E-A-T skoru olan sayfalar daha sık taranırken ince içerikli (thin content) sayfalar crawl bütçesinden ilk kesilen alanlar haline geliyor. Bu durum, içerik kalitesinin artık yalnızca sıralama puanını değil, Googlebot’un o sayfayı ne sıklıkla ziyaret edeceğini de doğrudan belirlediğini ortaya koymaktadır.

SEOYEN ile crawl bütçenizi izleyin ve öncelikli sayfaları koruyun

SEOYEN Site Sağlığı aracıyla tarama sorunlarını tespit edin: hatalı URL’leri, yinelenen canonical etiketlerini, yönlendirme zincirlerini ve bütçe israfı yaratan teknik hataları Türkçe arayüzde kolayca görüntüleyin. Büyük sitelerde teknik SEO denetimini yabancı dilde bir arayüzde yönetmek hem zaman kaybına hem de gözden kaçan hatalara zemin hazırlar; SEOYEN’in Türkçe arayüzü ve yerel destek ekibi bu engeli doğrudan ortadan kaldırır.

Ahrefs ve SEMrush, site audit ve crawl analizi konusunda güçlü araçlar sunar; ancak her ikisi de dolar veya euro bazlı fiyatlandırma uygular ve Türkiye pazarına özel yerelleştirilmiş destek sağlamaz. SEOYEN, crawl bütçesi analizini, site sağlığı izlemesini ve teknik hata denetimini tek bir platformda TL fiyatlandırmasıyla sunar. SEOYEN fiyat ve abonelik seçeneklerine bakın.

Crawl optimizasyonu sonuçları belirli bir zaman diliminde ölçülebilir: robots.txt ve sitemap değişiklikleri genellikle 2-4 hafta içinde GSC Tarama İstatistikleri’ne yansır; indeksleme artışı ve sıralama iyileşmesi 6-12 haftada anlamlı düzeye ulaşır. Tüm bu süreci tek bir panelden takip etmek için sıralama takibi ile optimizasyon sonuçlarını ölçün ve GSC entegrasyonuyla hangi sayfaların tarama sıklığının arttığını haftalık bazda doğrulayın.

Sıkça Sorulan Sorular