Log Dosyalarında Bot Davranışı ve İndeksleme Riski Yorumlama

Log dosyalarında bot davranışı değişimi neyi gösterir?

Sunucu logları, arama motoru botlarının sitenizde gerçekte ne yaptığını gösteren en doğrudan veri kaynağıdır. Search Console size Google’ın raporladığı özetlenmiş bir görünüm sunarken, ham log dosyaları her isteği satır satır kaydeder: hangi bot, hangi saniyede, hangi URL’yi istedi ve sunucu nasıl yanıt verdi. Bu yüzden bir indeksleme sorununu erken yakalamak isteyen teknik SEO uzmanı için log, panel raporlarından daha keskin bir tanı aracıdır.

Tek bir log satırının anatomisi yorumlamanın temelidir: IP adresi, timestamp (zaman damgası), istek (URL ve HTTP metodu), durum kodu ve user-agent. Bu beş alanı okumayı bilmek, kalabalık bir log dosyasını anlamlı bir zaman serisine dönüştürmenizi sağlar. Kavramlara hızlı bakmak isterseniz SEO terimleri sözlüğü üzerinden crawl budget, orphan sayfa veya user-agent gibi başlıkları tazeleyebilirsiniz.

Bot davranışı değişiminin üç temel göstergesi vardır: tarama frekansı (birim zamanda gelen istek sayısı), taranan URL türü ve sayısı, ve hata desenleri (durum kodu dağılımı). Bu üçünden biri ani biçimde sapıyorsa, bu indeksleme tarafında bir değişimin habercisi olabilir. Çünkü temel ilke nettir: taranmayan bir sayfa indekslenemez. Tarama davranışı, indekslemenin ön koşuludur; dolayısıyla logdaki tarama sinyali, indeksleme sağlığının erken göstergesidir.

Tarama sıklığı artışı ve azalışı indeksleme açısından ne anlama gelir?

Tarama frekansındaki düşüş genellikle üç nedenden birine bağlanır: tarama bütçesinin daralması, sunucunun yavaşlaması (artan yanıt süresi) ya da Google’ın kalite/içerik sinyallerini yeniden değerlendirmesi. Google’ın büyük site sahiplerine yönelik tarama bütçesi rehberinde belirtildiği üzere, sunucu yavaş veya hatalı yanıt vermeye başladığında Googlebot tarama hızını otomatik olarak kısar. Logda Googlebot isteklerinin günlük sayısının belirgin biçimde gerilemesi, yeni veya güncellenen içeriğin geç indekslenmesi riskini doğurur.

Tarama frekansındaki artış ise tek başına olumlu değildir; bağlamı okumak gerekir. Yeni içerik yayını, sitemap güncellemesi veya site genelinde yapısal değişiklik meşru bir artış üretir. Ancak aynı yükselişin altında kötü niyetli bot trafiği ya da 2026’da hızla yaygınlaşan AI tarayıcı botları yatıyor olabilir. User-agent’ı ayrıştırmadan görülen “tarama arttı” verisi yanıltıcıdır; gerçek Googlebot mu, yoksa farklı bir bot mu sorusu kritik kalır.

Büyük sitelerde crawl budget (tarama bütçesi) kavramı tam da bu noktada devreye girer: Google’ın sitenize birim zamanda ayırdığı tarama kapasitesidir ve log üzerinden birim zamanda taranan istek sayısı, taranan URL derinliği ve tekrar tarama oranı ölçülerek izlenir. Yorumlamada en sık hata, her dalgalanmayı alarm sanmaktır. Sağlıklı yaklaşım bir temel çizgi (baseline) belirleyip, sapmanın bu çizginin standart aralığını aşıp aşmadığına bakmaktır. Tek günlük %10’luk oynama normal; haftalarca süren tek yönlü düşüş veya 5xx ile eş zamanlı sıçrama gerçek bir indeksleme uyarısıdır.

Durum kodu ve hata desenleri: 5xx/4xx artışı indekslemeyi nasıl riske atar?

Durum kodu dağılımı, tarama sağlığının en hızlı okunan göstergesidir. Sağlıklı bir logda istekler ağırlıkla 200 (başarılı) ve makul oranda 3xx (yönlendirme) döner. 4xx ve özellikle 5xx oranındaki yükseliş, tarama tarafında bir sorunun ilk imzasıdır. Sunucunuzun teknik durumunu uçtan uca görmek için düzenli bir site sağlığı taraması ile log bulgularını birleştirmek, hangi URL gruplarının hata ürettiğini netleştirir.

5xx artışı en kritik desendir: Googlebot ardışık sunucu hatalarıyla karşılaştığında, sunucuyu daha fazla yormamak için tarama hızını düşürür. Bu da daha az sayfanın taranması, dolayısıyla yeni içeriğin indekslenmesinin gecikmesi anlamına gelir. Kısa süreli 5xx dalgası genelde toparlanır; ancak günlerce süren yüksek 5xx oranı, hem tarama hem indeksleme tarafında kalıcı kayıp riski taşır.

4xx desenleri ise farklı bir hikaye anlatır: artan 404’ler kırık iç linkleri, yanlış yapılandırılmış soft 404‘ler ise içeriği zayıf veya yanlış yanıt veren sayfaları işaret eder. Logda hiç istek almayan ama sitemap’te bulunan URL’ler ise orphan (yetim) sayfa adayıdır; botlar bu sayfalara ulaşamıyorsa indekslenme şansı düşer. Yorumlama disiplini şu sırayı izler: anomaliyi gör (örneğin belirli bir dizinde 5xx patlaması), satır örneklerine inerek kök nedeni çıkar (örneğin bir API çağrısının zaman aşımına uğraması) ve düzeltmeyi uygula.

Sahte Googlebot ve AI botlarını ayırt etme: user-agent + IP doğrulaması

Log yorumlamanın en sık atlanan adımı kimlik doğrulamadır. User-agent string’i tek başına güvenilir değildir; herhangi bir bot kendini “Googlebot” olarak tanıtabilir. Google Arama Merkezi’nin Googlebot doğrulama belgesine göre gerçek Googlebot, reverse DNS sorgusu ve resmi IP aralığı kontrolüyle teyit edilmelidir. Bu iki adımı uygulamadan üretilen “tarama arttı/azaldı” yorumları, sahte trafiği gerçek Googlebot sanma hatasına açıktır.

2026’da logların yeni boyutu AI tarayıcı botlarıdır. GPTBot, ClaudeBot ve PerplexityBot gibi ajanlar artık sunucu loglarında belirgin bir paya sahip ve bunları Googlebot’tan ayrıştırmak ayrı bir yorumlama katmanı oldu. Markanızın bu botlar üzerinden yapay zeka yanıtlarında nasıl göründüğünü değerlendirmek için tarama verisini bir AI görünürlük analizi ile birlikte ele almak, hem sunucu yükünü hem AI arama görünürlüğünü tek çerçevede okumanızı sağlar.

Kötü niyetli bot trafiği iki yönlü zarar verir: sunucuyu gereksiz yere yorarak gerçek Googlebot’a ayrılan kapasiteyi daraltır ve yapay yük üzerinden dolaylı olarak tarama bütçesini aşındırır. Bu yüzden kimlik doğrulama, sadece güvenlik değil aynı zamanda indeksleme hijyeni meselesidir.

Adım adım doğrulama prosedürü

1. User-agent’ı ayrıştır: İddia edilen bot adını ve sürümünü log satırından çıkar.
2. Reverse DNS uygula: İsteğin IP’sine ters DNS sorgusu yaparak googlebot.com/google.com alan adına çözümlenip çözümlenmediğine bak.
3. İleri DNS ile teyit et: Dönen ana bilgisayar adını yeniden IP’ye çözüp orijinal IP ile eşleştir.
4. Resmi IP aralığıyla karşılaştır: Google’ın yayımladığı IP listesiyle doğrula; eşleşmeyenleri sahte olarak işaretle.

Vaka: tarama frekansı düştüğünde logu Search Console ile çapraz kontrol

Saha tarafında en öğretici örnek, bir e-ticaret sitesinde yaşadığımız önce/sonra senaryosudur. Logda Googlebot’un günlük istek sayısının belirli bir tarihten itibaren yaklaşık üçte bir oranında gerilediğini fark ettik. Aynı zaman aralığında durum kodu dağılımında 5xx oranının normalde tek haneli yüzde seviyelerinde seyrederken belirgin biçimde yükseldiğini gördük. İki sinyalin aynı tarihte örtüşmesi, rastlantı olmadığının en güçlü kanıtıydı.

İkinci adım çapraz kontroldü. Search Console Tarama İstatistikleri raporu dokümantasyonuna göre bu rapor, Google’ın tarafından görülen tarama hacmini ve yanıt durumlarını gösterir. Log zaman serisini aynı tarih aralığında Tarama İstatistikleri grafiğiyle yan yana koyduğumuzda, frekans düşüşü ve sunucu hatası artışının her iki kaynakta da aynı eğriyi çizdiğini doğruladık. Bu noktada bulgu artık bir hipotez değil, doğrulanmış bir teşhisti. Toparlanma sonrası sıralama etkisini izlemek için süreci bir sıralama takibi aracı ile birlikte takip etmek, düzeltmenin organik trafiğe yansımasını ölçmenizi sağlar.

Kök neden, belirli bir dizinde tetiklenen sunucu zaman aşımıydı; düzeltme sonrası 5xx oranı eski seviyesine indi ve birkaç gün içinde Googlebot tarama frekansı kademeli olarak toparlandı. Bu vaka, AI’nın jenerik biçimde üretemeyeceği türden, gerçek zaman serisine dayanan bir tanı anlatısıdır.

Erken uyarı sinyalleri checklist’i

• Crawl budget düşüşü: Günlük taranan istek sayısı temel çizginin altına sarkıyor.
• 5xx artışı: Sunucu hata oranı normal aralığını aşıyor.
• Orphan sayfa: Kritik URL’ler logda hiç istek almıyor.
• Taranmayan öncelikli URL: Gelir getiren sayfalar tarama listesinden düşüyor.

Log analizi araçları ve düzenli izleme rutini: Türkçe/TL seçenek karşılaştırması

Log analizini tek seferlik bir kriz müdahalesi değil, düzenli bir rutin olarak kurmak farkı yaratır. Pratik bir izleme panosu en az şu metrikleri günlük/haftalık takip etmelidir: Googlebot tarama frekansı, durum kodu dağılımı, taranan benzersiz URL sayısı, ortalama yanıt süresi ve doğrulanmış bot oranı. Bu metrikler bir temel çizgiye oturduğunda, anomaliyi gözle değil eşik değerleriyle yakalarsınız.

Araç tarafında çoğu yabancı log analiz çözümü güçlüdür; ancak Türk ekipler için iki sürtünme noktası kalır: dil bariyeri ve döviz bazlı fiyatlandırmanın getirdiği maliyet öngörülemezliği. Ahrefs ve SEMrush gibi platformlar geniş veri setleri sunar; SEOYEN ise bu yetenekleri Türkiye pazarına uyarlanmış, tüm araçları tek çatı altında toplayan bir yapı olarak sağlar. Log bulgularınızı eyleme dönüştürürken SEOYEN’in site sağlığı taraması, sıralama takibi ve AI görünürlük modülleri devreye girer: 5xx anomalisini teknik denetimle eşler, tarama düşüşünün sıralamaya etkisini izler ve AI botlarının görünürlüğünü ölçer.

SEOYEN’in temel avantajı tamamen Türkçe arayüz, TL bazlı şeffaf fiyatlandırma ve yerel Türkçe destektir; böylece teknik SEO ekibi raporları çevirmekle değil, bulguyu yorumlamakla zaman geçirir. Güncel paket seçeneklerini uygun fiyatlı paketler sayfasından inceleyebilir, log izleme rutininizi tek platformda kurgulayabilirsiniz.

Sıkça Sorulan Sorular