Tarama bütçesi kısıtlı sitelerde hangi URL grupları temizlenmeli?

Tarama bütçesi kısıtlı sitelerde hangi URL grupları önce aday olur?

İlk adım, tek tek URL bakmak değil URL envanterini kümeler halinde okumaktır. Google for Developers’ın 19 Aralık 2025 tarihli crawl budget rehberi, bu konunun özellikle 1 milyon+ benzersiz URL barındıran, günlük değişen 10 bin+ sayfalı veya Search Console’da yoğun Discovered – currently not indexed sinyali veren sitelerde kritikleştiğini söylüyor. Yine de daha küçük sitelerde de aynı mantık geçerlidir: Botun sürekli düşük değerli adreslerde oyalanması, önemli sayfaların keşfini yavaşlatır.

Bu yüzden envanteri klasör, şablon, parametre ve durum kodu bazında ayırın. Ürün listeleme, filtre, sıralama, arama, etiket, tarih arşivi, boş sayfa, kaldırılmış içerik ve yönlendirilmiş eski URL kümeleri ayrı satırlarda görülmelidir. Kavramı ekip içinde ortaklaştırmak için crawl budget terimi için sözlük sayfası iyi bir referans olur; asıl karar ise hangi kümenin çok tarandığı halde az değer ürettiğini bulmaktır.

• Yüksek bot hit payı: Googlebot aynı klasörü veya parametreyi orantısız biçimde sık ziyaret eder.
• Düşük organik değer: URL kümesi trafik, dönüşüm veya index kalitesi üretmez.
• Sürekli çoğalan yapı: Parametre, arama veya varyasyon mantığı yeni URL’ler üretmeye devam eder.

Önceliklendirme yapılırken aşırı engelleme en büyük hatadır. Gelir getiren kategori varyasyonları, aranma talebi taşıyan filtre kombinasyonları, ana ürün sayfaları ve stratejik landing page setleri ayrı işaretlenmelidir. Bir URL kümesi kopya görünüyor diye otomatik kapatılmaz; arama talebi, dönüşüm katkısı, benzersiz içerik ve dahili link desteği birlikte değerlendirilir. Kısacası aday liste, sadece gereksiz görünen URL’lerden değil, hangi kümelerin korunacağını açıkça tanımlayan bir matristen oluşmalıdır.

Parametreli, filtreli ve arama URL’leri neden ilk sırada temizlenir?

Çoğu sitede ilk sıraya parametreli, filtreli ve arama tabanlı URL’ler yerleşir; çünkü bunlar tek bir şablondan yüzlerce hatta binlerce kombinasyon çıkarabilir. Google for Developers’ın 18 Aralık 2025’te güncellediği faceted navigation dokümanı, query string tabanlı filtrelerin neredeyse sonsuz URL alanları üretebildiğini ve bunun hem overcrawling yarattığını hem de faydalı yeni URL’lerin keşfini yavaşlattığını açıkça vurguluyor. 10 Aralık 2025 tarihli pagination rehberi de filtre ve alternatif sıralama URL’lerinin ayrı yönetilmesi gerektiğini tekrar ediyor.

İlk temizlenecek gruplar genelde aynı listededir: renk, beden, marka, stok, fiyat ve sıralama parametreleri; site içi arama sonuçları; oturum kimliği taşıyan adresler; favori, hesap, sepet gibi geçici kullanıcı akışları; kampanya sonrası açık kalan query string varyasyonları. Bunların ortak problemi, aynı veya benzer içeriği yeni URL gibi göstermeleridir. Bot bu adresleri tek tek istemek zorunda kaldığı için önemli kategori, ürün ve içerik sayfaları daha geç taranabilir.

• Filtre kombinasyonları: Aranma değeri yoksa robots.txt ile sınırlandırın, önemli varyasyonları ise ayrı landing page mantığıyla koruyun.
• Site içi arama sonuçları: Organik değer üretmiyorsa taramayı ve indexlemeyi teşvik etmeyin; dahili linklerde bu sayfaları öne çıkarmayın.
• Sıralama URL’leri: price, newest, popular gibi query string varyasyonlarını ana liste URL’sine bağlayın.
• Session ID ve geçici yardımcı sayfalar: URL üretimini uygulama katmanında azaltın; botun bu varyasyonları keşfetmesini sınırlayın.

Burada kritik nüans şudur: Her filtre URL’si zararlı değildir. Aranma talebi olan ve satış getiren varyasyonlar korunabilir. Örneğin “erkek koşu ayakkabısı siyah” gibi kalıcı talep üreten filtre setleri, ayrı içerik, net canonical, güçlü iç link ve sitemap desteğiyle tutulabilir. Buna karşılık sonuç üretmeyen kombinasyonlarda Google’ın faceted navigation rehberi 404 döndürmeyi önerir; ayrıca mümkünse filtreleri query string yerine URL fragment ile çalıştırmak, tarama etkisini baştan azaltabilir.

Zayıf arşivler, soft 404’ler ve yönlendirme zincirleri nasıl temizlenir?

Parametre kümeleri ilk dalga ise, ikinci dalgada genellikle zayıf arşivler, soft 404 sayfalar ve redirect zincirleri vardır. İnce etiket sayfaları, boş tarih arşivleri, içeriksiz yazar arşivleri, artık değer üretmeyen varyasyon sayfaları ve boş pagination URL’leri bot için sürekli yeniden keşfedilen ama kullanıcı değeri düşük adreslerdir. Google’ın 19 Aralık 2025 tarihli crawl budget rehberi, kalıcı olarak kaldırılan URL’lerde 404 veya 410 kullanmayı ve soft 404 hatalarını ortadan kaldırmayı açık biçimde öneriyor.

Soft 404 sorunu özellikle yanıltıcıdır. Sunucu 200 döndürür ama sayfa gerçekte ürünsüz, sonuçsuz veya anlamsızdır; bu yüzden bot onu yaşamaya devam eden bir sayfa gibi görür. Aynı rehber, uzun redirect chain’lerin de taramayı olumsuz etkilediğini söyler. Pratikte şu hatalar öne çıkar: her silinmiş ürünü ana sayfaya yönlendirmek, üç-dört adımlı zincirler bırakmak, kırık dahili linklerle botu tekrar tekrar ölü sayfalara göndermek ve “ürün bulunamadı” şablonunu 200 durum koduyla servis etmek.

• Zayıf etiket ve tarih arşivleri: Güçlü içerik birikimi yoksa birleştirin, gerekirse kapatın.
• Boş veya anlamsız listeleme sayfaları: Gerçek karşılığı yoksa 404 ile sonlandırın.
• Soft 404 şablonları: Gerçek 404/410 üretin ya da sayfayı anlamlı içerikle güçlendirin.
• Eski URL zincirleri: Tek sıçramaya indirin; eşdeğer karşılık yoksa redirect yerine 404/410 düşünün.

Buradaki karar mantığı basittir: Eğer eski URL’nin açık, güçlü ve kullanıcı için mantıklı bir yeni karşılığı varsa tek adımlı redirect uygundur. Böyle bir karşılık yoksa kategorinin ya da ana sayfanın üstüne yığılmış yönlendirmeler çoğu zaman sadece tarama israfı üretir. Ayrıca kırık dahili linkler düzeltilmeden temizlik tamamlanmaz; çünkü botu ölü URL’lere taşıyan kaynak içeriden beslenmeye devam eder.

robots.txt, noindex, canonical ve 404/410 arasında karar nasıl verilir?

Bu dört yöntemi aynı şey sanmak, crawl budget tarafındaki en pahalı hatalardan biridir. robots.txt, taramayı yönetmek içindir; özellikle hiç keşfedilse bile fetch edilmesini istemediğiniz düşük değerli kümelerde işe yarar. Google Search Central’ın 10 Aralık 2025 tarihli robots.txt rehberi, bunun sayfayı Google sonuçlarından gizleme aracı olmadığını açıkça hatırlatır. Buna karşılık Google’ın 19 Aralık 2025 tarihli crawl budget rehberi, noindex kullanılan sayfaların yine istenebileceğini ve bu yüzden tek başına tarama tasarrufu sağlamadığını söyler.

Canonical, kopya veya çok benzer URL kümelerinde “asıl URL budur” sinyali verir; ama taramayı tamamen durdurmaz. Google Search Central’ın 27 Mart 2026 tarihli canonical dokümanına göre sitemap içindeki canonical bildirimleri yararlı olsa da rel=”canonical” kadar güçlü değildir; redirect ise yinelenen bir URL tamamen kullanımdan kaldırılırken daha kuvvetli bir işarettir. Bu yüzden yöntem seçimi daima URL’nin iş amacına göre yapılmalıdır.

• Hiç taranmasını istemediğiniz, değersiz filtre ve arama kümeleri: robots.txt ilk adaydır.
• Aramada görünmesin ama bir süre kullanıcıya açık kalsın istediğiniz sayfalar: noindex kullanılabilir, ancak tek başına crawl tasarrufu beklemeyin.
• Benzer veya kopya varyasyonlar: canonical ile asıl URL’yi işaretleyin.
• Kalıcı olarak kaldırılmış ve eşdeğeri olmayan adresler: 404 veya 410 döndürün.
• Gerçek yeni karşılığı bulunan eski adresler: tek adımlı 301 yönlendirme kullanın.

Karar ağacının son adımı her zaman sitemap, canonical ve dahili link tutarlılığı olmalıdır. XML sitemap içinde yalnızca indexlenebilir ve canonical URL’ler kalmalı; gereksiz parametreler, noindex sayfalar, redirect’ler ve 404 kümeleri orada yer almamalıdır. İç linkler başka bir URL gerçeği gösteriyor, sitemap başka bir seti taşıyor ve canonical üçüncü bir versiyona işaret ediyorsa temizlik yarım kalır.

90 günlük Crawl Stats ve loglarla önceliği nasıl doğrularsınız?

Teknik SEO denetimlerinde en net tabloyu, 90 günlük Search Console Crawl Stats ile ham sunucu loglarını aynı pencereye koyduğunuzda görürsünüz. Teoride herkes filtre URL’lerinden şüphelenir; pratikte ise botun gerçekten en çok hangi klasöre, hangi parametreye ve hangi durum koduna zaman harcadığını log verisi söyler. Bizim en faydalı gördüğümüz çalışma biçimi, önce temizlik öncesi klasör payını çıkarmak, ardından aynı kümeleri müdahale sonrası yeniden ölçmektir.

Bu doğrulama aşamasında sadece toplam tarama sayısına bakmak yetmez. Google Search Console Help içindeki Page Indexing raporu, Discovered – currently not indexed durumunu Google’ın URL’yi bulduğu ama taramanın siteyi zorlayacağını düşündüğü için ertelediği senaryo olarak açıklar. Bu yüzden ölçüm setinde klasör bazlı bot hit payı, durum kodu dağılımı, 404/soft 404 temizliği, kritik kategori ve ürün sayfalarının yeniden taranma hızı ve bu rapordaki sorun kümelerinin azalması birlikte izlenmelidir.

Bu görünürlüğü farklı araçlarda parçalamak mümkündür; Ahrefs, SEMrush, Moz, SE Ranking ve SEOptimer benzer sinyalleri farklı raporlarda sunar. SEOYEN ise site sağlığı aracı, sıralama takibi raporu, Türkçe arayüz, TL bazlı fiyatlandırma ve yerel Türkçe destek sayesinde bu takibi tek akışta toplamayı kolaylaştırır. Ekip içinde hangi planın uygun olduğunu görmek isterseniz paket detayları sayfası karar sürecini sadeleştirir.

Adım Adım Crawl budget için URL temizleme önceliklendirmesi

2026’da güvenli bir temizlik akışı, tek seferde her şeyi kapatmak değil; kümeleri ölçüp uygun müdahaleyi seçmek üzerine kurulmalı. Aşağıdaki sıra, tarama verimliliğini artırırken gelir üreten URL’leri korumaya odaklanır.

1. URL envanterini kümeleyin. Klasör, şablon, parametre ve durum kodu bazında tam liste çıkarın. Ürün, kategori, filtre, arama, etiket, arşiv, yönlendirme ve hata sayfalarını ayrı kümeler halinde görmek, dağınık URL tartışmasını net bir operasyon listesine dönüştürür.
2. İsraf sinyallerini sıralayın. Crawl Stats, Page Indexing ve ham log verisini birlikte okuyun. En çok taranan ama trafik, gelir veya index kalitesi üretmeyen kümeleri işaretleyin. Özellikle parametre artışı, boş sayfa ve tekrar eden 200 durum kodlu hata şablonlarına dikkat edin.
3. Parametre ve filtre aksiyonunu seçin. Hiç taranmasını istemediğiniz kümelerde robots.txt, benzer varyasyonlarda canonical, anlamsız veya sonuçsuz kombinasyonlarda 404 mantığını uygulayın. Aranma değeri olan filtre sayfalarını ise standart kategori gibi ayrı bir landing page stratejisiyle koruyun.
4. Ölü ve zayıf sayfaları kapatın. Soft 404 şablonlarını gerçek 404/410 davranışına taşıyın, redirect chain’leri tek adıma indirin ve eşdeğeri olmayan eski URL’leri zoraki redirect ile yaşatmayın. Kırık dahili linkleri düzeltmeden yapılan temizlik eksik kalır.
5. Sitemap ve canonical setini hizalayın. Sitemap içinde yalnızca indexlenebilir ve canonical URL’ler kalmalıdır. Redirect, 404, robots ile engellenmiş veya noindex durumundaki sayfalar sitemap’te görünüyorsa Google’a karışık sinyal gönderirsiniz.
6. Sonucu ölçüp geri dönüş eşiği koyun. Müdahale sonrası bot hit dağılımı, kritik sayfaların taranma hızı ve Discovered – currently not indexed yoğunluğu izlenmelidir. Gelir getiren bir varyasyon yanlışlıkla düşerse geri açma eşiğiniz ve istisna listeniz önceden hazır olmalıdır.

En doğru sıra, en gürültülü kümeyi önce susturup kritik sayfaların tarama payını artırmaktır. Bu yüzden çoğu projede ilk hamle filtre ve arama URL’leri olur; ikinci hamle soft 404, zayıf arşiv ve redirect temizlikleriyle devam eder. Ölçüm yapılmadan bloklama, genellikle sorunu çözmek yerine sadece görünmez hale getirir.

Sıkça Sorulan Sorular