Hızlı Cevap
Tarama bütçesi boşa gidiyorsa önce düşük değerli ama çok taranan URL gruplarını optimize etmelisiniz: filtreli ve parametreli sayfalar, yinelenen varyasyonlar, sık taranan 404 ve soft 404 URL’ler, yönlendirme zincirleri ve zayıf içerikler. Ardından her kümede doğru sinyali seçin: noindex, canonical, robots.txt, 301, 404 veya 410.
Önemli Noktalar
- En önce çok taranan ama düşük değerli URL kümelerini bulun.
- Canonical, noindex ve robots.txt aynı işi yapmaz.
- Sık taranan 404 ve yönlendirme zincirleri öncelikli temizlenmelidir.
- Sitemap yalnızca önemli ve indekslenebilir URL’leri içermelidir.
- Başarıyı crawl requests değil, önemli URL görünürlüğü belirler.
Tarama bütçesi boşa gidiyorsa önce teşhis nasıl yapılır?
Tarama bütçesi boşa gidiyorsa hangi sayfalar önce optimize edilmelidir sorusunun doğru cevabı, tek tek URL bakarak değil URL kümelerini ayırarak bulunur. İlk adım, Googlebot’un gerçekten nereye zaman harcadığını görmektir. Bunun için Search Console Tarama İstatistikleri raporunda toplam istek, yanıt türü, ortalama yanıt süresi ve örnek URL kalıpları birlikte incelenmelidir.
Ancak Tarama İstatistikleri tek başına yeterli değildir. Çünkü bu rapor size eğilim verir, ama hangi dizinlerin veya parametre kalıplarının sürekli tarandığını ayrıntılı görmek için log analizi gerekir. En pratik yöntem, son 30 ila 90 gündeki Googlebot isteklerini export edip URL deseni bazında gruplayarak şu ayrımı yapmaktır: gelir veya görünürlük taşıyan kritik sayfalar, taranabilir ama düşük değerli sayfalar, teknik hata üreten sayfalar.
Bu aşamada önceliklendirme mantığı nettir: çok taranan, az trafik getiren ve indekslenmesi gerekmeyen URL kümeleri önce masaya alınır. Örneğin kategori filtreleri, iç arama sonuçları, oturum parametreleri veya aynı ürünü farklı kombinasyonlarla çoğaltan varyasyon URL’leri; önemli ürün, kategori ve rehber içeriklerden önce işlem görmelidir.
Ek olarak performans verisini de işin içine katın. Organik tıklama alan URL’lerle hiç görünürlük almayan ama yoğun biçimde taranan URL’leri karşılaştırdığınızda boşa giden tarama payı daha net görünür. Teknik ekip içinde kavramları hizalamak gerekiyorsa SEO terimleri sözlüğü bu ayrımları ortak dilde tanımlamak için faydalı bir referans olur.
Önce optimize edilmesi gereken düşük değerli sayfa türleri
En sık görülen kayıp alanı filtreli, parametreli ve faceted URL’lerdir. Renk, beden, fiyat, sıralama, stok durumu veya kampanya parametreleri aynı ana içeriğin yüzlerce varyasyonunu üretebilir. Bu URL’lerin her biri teoride taranabilir olsa da çoğu, yeni bir arama niyeti karşılamaz. Eğer bu sayfalar arama sonucu üretmiyor, link almıyor ve ayrı bir talep taşımıyorsa öncelikli optimizasyon adayıdır.
İkinci grup sepet, oturum, favori, karşılaştırma ve kullanıcıya özel durum sayfalarıdır. Bu URL’ler genelde indekslenmek için değil, deneyimi sürdürmek için vardır. Googlebot bunlara düzenli olarak ulaşıyorsa sorun çoğu zaman dahili link yapısı, yanlış canonical uygulaması veya kontrolsüz parametre üretimidir. Özellikle e-ticaret sitelerinde aynı ürünün varyasyon URL’leri ile ana ürün URL’si arasındaki ilişki net değilse tarama yükü hızla büyür.
Üçüncü grup zayıf veya işlevsiz içerik sayfalarıdır. İnce içerikli etiket arşivleri, boş yazar sayfaları, sonuç vermeyen dahili arama URL’leri ve neredeyse hiç talep almayan eski kampanya sayfaları bu kümeye girer. Burada amaç her şeyi topluca kapatmak değil, sayfa türünü şu üç soruyla elemek olmalıdır: ayrı bir arama talebi var mı, benzersiz içerik değeri var mı, kullanıcıya ulaşan bir işlev görüyor mu?
Bu soruların çoğuna hayır cevabı veriliyorsa, o URL grubu önce optimize edilmelidir. Çünkü tarama bütçesi kaybı çoğu zaman tek bir kötü sayfadan değil, binlerce benzer düşük değerli URL’den doğar.
404, soft 404 ve yönlendirme zincirlerinde öncelik sırası
Her 404 aynı derecede önemli değildir. Arada bir ziyaret edilen eski bir URL ile her gün tekrar tekrar taranan bir 404 aynı önceliğe sahip olmaz. Önce sık taranan, dahili linklerle beslenen veya sitemap içinde yanlışlıkla kalan 404 URL’leri temizleyin. Eğer içerik kalıcı olarak kaldırıldıysa ve yakın bir eşdeğeri yoksa 404 veya 410 uygundur; yakın eşdeğeri varsa 301 düşünülmelidir.
Soft 404 tarafı daha sinsi bir problemdir. Sistem 200 döndürür ama sayfa fiilen boş, hatalı veya anlamsızdır. Boş arama sonuçları, stokta olmayan ürünlerin şablon sayfaları veya içeriksiz landing page’ler bu kategoriye girebilir. Bu tür sayfalar hem taramayı tüketir hem kalite sinyalini bulandırır. Çözüm, niyete göre gerçek 404/410 dönmek ya da sayfayı tekrar değerli hale getirmektir.
Yönlendirme zincirleri de öncelikli temizlik alanıdır. Bir URL’nin A’dan B’ye, B’den C’ye gitmesi her istek için ek maliyet üretir. Üstelik eski dahili linkler ve sitemap kayıtları zinciri sürekli canlı tutuyorsa Googlebot aynı hedefe ulaşmak için gereksiz istekler yapar. Bu yüzden zincirleri kümeler halinde bulun, en çok taranan giriş URL’lerinden başlayarak tek adımlı hedefe indirin.
Son olarak 5XX ve yavaş yanıt veren sayfalar gözden kaçırılmamalıdır. Tarama bütçesi yalnızca URL sayısıyla değil, sunucunun bu isteklere ne kadar stabil cevap verdiğiyle de ilgilidir. Sık hata veren veya ağır açılan URL grupları, önemli sayfaların daha az verimli taranmasına neden olabilir.
| URL grubu | Öncelikli aksiyon | Neden önce? |
|---|---|---|
| Filtreli ve parametreli URL’ler | Canonical veya kontrollü tarama engeli | Yüksek hacimde yinelenen istek üretir |
| Sık taranan 404 ve soft 404 sayfalar | 404, 410 veya uygun durumda 301 | Bot zamanı boşa harcanır, sinyal kirlenir |
| Yönlendirme zincirleri | Tek adımlı 301 yapısı | Her taramada gereksiz ek istek oluşur |
| Zayıf arşiv ve boş iç arama sayfaları | Noindex veya kaldırma | İndeks değeri düşüktür, bütçeyi tüketir |
Noindex, canonical, robots.txt ve sitemap arasında doğru seçim
Bu bölümde en kritik hata, araçları aynı amaç için kullanmaktır. Noindex, sayfanın dizine girmesini istemediğinizde kullanılır; fakat Google’ın bu sinyali görebilmesi için sayfanın taranabilir olması gerekir. Canonical, aynı veya çok benzer içeriğin temsilci URL’sini işaret eder. Robots.txt ise esas olarak tarama erişimini yönetir; indeks dışı bırakma aracı gibi düşünülmemelidir.
Pratik karar çerçevesi şöyle kurulabilir:
- Aynı içeriğin çok sayıda URL varyasyonu varsa canonical tercih edilir.
- Sayfa taranabilir kalsın ama sonuçlarda görünmesin istiyorsanız noindex uygundur.
- Tarama yükü çok yüksek ve sayfanın görülmesine gerek yoksa robots.txt değerlendirilebilir.
- Sayfa kalıcı kaldırıldıysa ve eşdeğer yoksa 404 veya 410; yakın eşdeğer varsa 301 seçilir.
Burada kritik nüans şudur: robots.txt ile engellenen bir sayfadaki noindex etiketi görülemez. Bu yüzden “önce engelle, sonra noindex” yaklaşımı sık yapılan bir hatadır. Benzer şekilde canonical, birbirinden tamamen farklı niyete sahip sayfaları birleştirmek için değil, gerçek yinelenmeleri konsolide etmek için kullanılmalıdır.
Sitemap tarafında da seçici davranın. Sitemap, önemli ve indekslenebilir URL’lerin kısa listesi olmalıdır; düşük değerli filtre sayfaları, yönlendiren URL’ler veya hata dönen sayfalar burada yer almamalıdır. Teknik ekipler düzenli site sağlığı denetimi ile sitemap, canonical ve yanıt kodu tutarlılığını birlikte izlediğinde tarama verimliliğini korumak daha kolay hale gelir.
E-ticaret ve büyük sitelerde pratik öncelik matrisi
Büyük kataloglarda en doğru yaklaşım, URL türlerini etki ve efor ekseninde sıralamaktır. Genelde en yüksek öncelik, yüksek hacimli filtre kombinasyonları, varyasyon çoğaltan ürün URL’leri, boş arama sonuçları ve dahili linklerle sürekli beslenen eski kampanya sayfalarıdır. Çünkü bu kümeler aynı anda hem çok sayıda URL üretir hem de bot davranışını bozar.
E-ticarette tipik öncelik sırası şu şekilde işler: önce faceted navigation kalıpları, sonra yönlendirme zincirleri ve sık taranan hata sayfaları, ardından zayıf arşiv ve kampanya URL’leri. Shopify, WooCommerce ve benzeri yapılarda özellikle koleksiyon filtreleri, tag arşivleri ve ürün varyasyon parametreleri yakından incelenmelidir. Her CMS farklı davranır ama karar mantığı değişmez: yeni talep üretmeyen varyasyonlar, ana ticari sayfalardan önce temizlenmelidir.
Buna karşılık kategori, ürün ve talep toplayan rehber içerikler tarama önceliği kazanmalıdır. Bunu desteklemek için dahili link mimarisi sadeleştirilmeli, gereksiz crawl path’ler azaltılmalı ve kanonik URL’lere daha net link verilmelidir. Amaç sadece gereksiz URL’leri kısmak değil, değerli URL’lerin keşif hızını artırmaktır.
İçerik ekipleri için de aynı prensip geçerlidir: düşük değerli arşivleri çoğaltmak yerine, birden fazla benzer sayfayı daha güçlü bir ana sayfada toplamak çoğu zaman daha verimli sonuç verir. Tarama bütçesi optimizasyonu yalnızca teknik SEO işi değil, yayın mimarisi işidir.
İyileştirme sonrası hangi KPI’lar izlenmeli?
İyileştirmenin başarılı olup olmadığını anlamak için yalnızca toplam crawl requests sayısına bakmak yeterli değildir. Asıl önemli KPI’lar şunlardır: waste URL share, önemli URL’lerin taranma sıklığı, ortalama yanıt süresi, Page Indexing raporunda gereksiz kümelerin daralması ve kritik sayfaların daha istikrarlı indekslenmesi. Yani hedef, daha az tarama değil; daha doğru taramadır.
Bu yüzden öncesi ve sonrası karşılaştırması yapın. Örneğin filtre URL’lerinin toplam istek içindeki payı düştü mü, ürün ve kategori sayfalarının taranma oranı arttı mı, soft 404 kümesi küçüldü mü, yönlendirme zinciri sayısı azaldı mı? Organik görünürlük tarafında da önemli sayfaların keşif ve güncellenme süresi kısalıyorsa doğru yönde ilerliyorsunuz demektir.
Araç katmanında ihtiyaç, gösterişli rapordan çok düzenli izleme disiplinidir. Bu noktada Türkçe arayüz ve TL bazlı paket yapısı nedeniyle SEOYEN, ekiplerin tarama ve teknik SEO çıktılarıyla daha rahat çalışabildiği yerel bir izleme akışı sunabilir. Benzer şekilde Ahrefs alternatifi veya SEMrush alternatifi araştıran ekipler için kritik olan nokta, bu KPI’ları düzenli takip edip kararları URL grubu bazında verebilmektir.
Sonuç olarak tarama bütçesi boşa gidiyorsa hangi sayfalar önce optimize edilmelidir sorusunun cevabı şudur: en önce çok taranan ama iş değeri düşük URL kümeleri. Ardından hatalı yanıtlar, zincirler ve yanlış sinyaller gelir. Ölçüm netse, öncelik de nettir.
Kaynaklar
Sıkça Sorulan Sorular
Tarama bütçesi, Googlebot’un bir siteye belirli dönemde ayırdığı tarama kapasitesini ifade eder. Bu kapasite sabit bir sayı değildir. sitenin teknik sağlığına, sunucu yanıt hızına, URL hacmine ve Google’ın o sitedeki içerik talebine göre değişir. Sorun, bu kapasitenin düşük değerli URL’lere harcanmasıdır. Filtre kombinasyonları, yönlendirme zincirleri, soft 404’ler veya yinelenen sayfalar yoğun biçimde taranıyorsa önemli ürün, kategori ve içerik sayfaları daha geç keşfedilebilir veya daha seyrek güncellenebilir. Bu yüzden tarama bütçesi konusu özellikle büyük, sık güncellenen ve çok URL üreten sitelerde kritik hale gelir.
Tarama bütçesi optimizasyonu, önce gereksiz taranan URL kümelerini bulup sonra her kümeye uygun sinyali vermekle yapılır. Filtreli ve parametreli sayfalarda canonical veya kontrollü erişim. indekslenmemesi gereken ama erişilebilir kalması gereken sayfalarda noindex. kalıcı kaldırılan içeriklerde 404, 410 veya yakın eşdeğeri varsa 301 kullanılır. Buna ek olarak yönlendirme zincirleri kısaltılır, sitemap yalnızca önemli URL’leri içerir, dahili linkler kanonik hedeflere yöneltilir ve sunucu yanıt süreleri izlenir. Amaç toplam taramayı düşürmek değil, Googlebot’un zamanını daha değerli URL’lere kaydırmaktır.
Google’ın hangi URL’leri taradığını görmek için en pratik iki kaynak Search Console Tarama İstatistikleri raporu ve ham sunucu loglarıdır. Tarama İstatistikleri size toplam istek, yanıt türü, dosya tipi ve örnek URL grupları hakkında üst seviye görünüm verir. Log analizi ise hangi botun hangi path’i ne sıklıkta istediğini ayrıntılı biçimde gösterir. Bu iki veri birlikte okunduğunda filtre URL’leri, eski kampanya sayfaları, yönlendiren adresler, soft 404 kümeleri ve yüksek hata oranlı bölümler kolayca ayrıştırılabilir. Yalnızca indekslenen URL’lere değil, taranan tüm varyasyonlara bakmak gerekir.
Tarama İstatistikleri raporu, Googlebot’un siteyi nasıl dolaştığını anlamak için başlangıç ekranıdır. Önce toplam crawl requests, average response time ve host status tarafına bakın. Sonra örnek URL listeleri ve response gruplarında hangi dizinlerin, parametrelerin veya hata türlerinin öne çıktığını ayırın. Eğer bir URL sınıfı yüksek hacimde istek alıyor ama iş açısından önemsiz görünüyorsa orası adaydır. Raporu tek başına nihai karar aracı gibi değil, log analizine yön veren bir teşhis aracı gibi kullanmak daha doğrudur. En iyi sonuç, URL deseni bazında kümelendirme yapıldığında alınır.
Filtreli ve parametreli URL’ler aynı listeleme veya ürün içeriğinin çok sayıda varyasyonunu üretir. Renk, beden, marka, fiyat, sıralama ve stok filtresi gibi seçenekler kontrolsüzse binlerce URL oluşabilir. Googlebot bu URL’lerin büyük kısmını yeni bir değer taşımasa bile tarayabilir. Sonuçta önemli kategori ve ürün sayfalarına ayrılacak istek payı bölünür. Sorun yalnızca sayının büyümesi değil, sinyalin dağılmasıdır. Eğer bu sayfaların ayrı arama talebi ve benzersiz değeri yoksa canonical, noindex veya tarama kontrolü seçenekleri değerlendirilmelidir. En kritik nokta, her parametreli URL’ye otomatik olarak aynı çözümü uygulamamaktır.
Evet, özellikle sık taranıyorlarsa boşa harcayabilirler. Normal 404 sayfalar tek başına bir ceza değildir. ancak dahili linklerde, sitemap’ta veya eski yönlendirme kurgularında yaşamaya devam ediyorlarsa Googlebot bu adreslere tekrar tekrar döner. Soft 404’ler daha problemli olabilir çünkü sunucu 200 döndürür ama sayfa fiilen boş veya hata niteliğindedir. Bu durum hem kullanıcı deneyimini hem de tarama verimliliğini bozar. Öncelik, en sık taranan hata URL’lerini bulup uygun durumda 404, 410 veya 301 ile netleştirmektir. Hedef, belirsiz sinyalleri ortadan kaldırmaktır.
Evet. Yönlendirme zincirlerinde Googlebot hedef URL’ye ulaşmak için birden fazla istek yapmak zorunda kalır. A’dan B’ye, B’den C’ye giden yapı. özellikle milyonlarca isteğin döndüğü büyük sitelerde ciddi verimsizlik yaratır. Ayrıca eski dahili linkler, sitemap kayıtları veya kampanya URL’leri zinciri sürekli besliyorsa bu problem kalıcı hale gelir. En doğru yaklaşım, en sık taranan giriş URL’lerinden başlayarak zincirleri tek adımlı hedefe indirmektir. Böylece hem tarama maliyeti düşer hem de bot önemli içeriğe daha hızlı ulaşır. Loop’lar ve gereksiz geçişler her zaman öncelikli temizlik alanıdır.