Hızlı Cevap
Robots.txt kaynaklı görünmez engeli bulmanın yolu şudur: önce gelir getiren URL kümelerini çıkarın, sonra doğru hosttaki canlı robots.txt dosyasını ve URL Denetleme sonucunu kontrol edin; ardından Search Console, sitemap diff ve log kayıtlarını birlikte okuyup yanlış Disallow veya kapsam hatasını netleştirin.
Önemli Noktalar
- Önce gelir ve iç link değeri yüksek URL kümelerini inceleyin.
- Yanlış host, protokol veya port çoğu teşhisi bozar.
- URL Denetleme tekil kanıttır, Tarama İstatistikleri ölçeği gösterir.
- Düzeltme sonrası robots.txt önbelleği ve render etkisini izleyin.
Robots.txt kaynaklı tarama kaybının ilk semptomları nasıl okunur?
Robots.txt hataları çoğu zaman bir anda trafik kaybı olarak değil, parça parça görünürlük kaybı olarak ortaya çıkar. İlk bakılacak yer Search Console’daki Sayfa Dizine Ekleme durumu, arama sonuçlarında açıklama veya sayfa bilgisi kaybı ve aynı şablona bağlı URL’lerde eş zamanlı düşüştür. Google’ın Robots.txt Dosyasına Giriş rehberi ile Google Arama Yönergeleri, robots.txt’nin taramayı yönettiğini; tek başına dizinden kaldırma aracı olmadığını net biçimde ayırır. Bu yüzden sorun bazen indeks kaybı gibi değil, eksik tarama ve zayıf snippet olarak görünür.
Pratikte en hızlı teşhis, tek tek URL bakmak yerine şablon bazlı kümeleri okumaktır. Kategori, ürün, blog, etiket, görsel veya filtre URL’lerinden hangisinde aynı anda düşüş başladıysa, robots.txt kuralı büyük olasılıkla tekil değil kümelidir. Özellikle gelir getiren kategori sayfaları, yüksek organik trafik alan içerikler ve güçlü iç bağlantı alan merkez sayfalar önce incelenmelidir. Google’ın teknik koşullar dokümanı 2025-12-18 güncellemesinde, bağlantıların taranabilir olmasının keşif için kritik olduğunu vurgular; bu nedenle hem tarama hem iç link akışı birlikte değerlendirilmelidir.
Öncelik sırası
- Gelir etkisi yüksek kategori ve ürün şablonları
- Organik trafik kaybı aynı gün başlayan URL kümeleri
- İç link değeri yüksek hub, koleksiyon ve rehber sayfalar
- Snippet veya sayfa bilgisi eksilen, ama tamamen silinmemiş URL’ler
Semptom okumada hata yapan ekipler genelde yalnızca tek bir rapora yaslanır. Oysa robots.txt sorunu, aynı anda arama görünümü, tarama erişimi ve şablon yayılımı üzerinden okunmalıdır. Bir URL hâlâ aramada görünüyor diye güvenli sayılmaz; Google sayfayı eski sinyallerle göstermeye devam ederken yeni içeriğe veya kaynaklara erişemiyor olabilir.
URL’yi hangi robots.txt dosyasının engellediği nasıl doğrulanır?
İkinci adım, ilgili URL’yi gerçekten hangi robots.txt dosyasının etkilediğini doğrulamaktır. Google’ın 2026-04-16 UTC güncellemeli robots.txt yorumlama dokümanı, kuralların yalnızca aynı ana makine, protokol ve bağlantı noktası için geçerli olduğunu açıkça söyler. Yani https://example.com/robots.txt, http://example.com veya https://m.example.com için otomatik olarak geçerli değildir. Ayrıca robots.txt dosyası kök dizinde olmalıdır; /folder/robots.txt geçerli kabul edilmez.
Burada en sık görülen hata, staging dosyasının prod’a taşınması veya farklı hosttaki kuralın yanlış varsayılmasıdır. Bir başka yaygın hata da Allow ve Disallow çakışmasıdır. Google aynı dokümanda, daha ayrıntılı eşleşmenin öncelikli olduğunu ve çakışan eşit kurallarda daha az kısıtlayıcı yaklaşımı uyguladığını örneklerle gösterir. Bu yüzden tek satırlık yanlış bir Disallow: /blog kuralı, fark edilmeden yüzlerce URL’yi kapatabilir. Terminolojiyi ekip içinde aynı çerçevede konuşmak için SEO terimleri sözlüğü gibi ortak bir referans kullanmak hata ayıklamayı hızlandırır.
Kaynak blokları da ayrı kontrol edilmelidir. Google’ın robots.txt giriş rehberi, önemli CSS ve JavaScript dosyalarının engellenmesinin sayfayı doğru analiz etmeyi zorlaştırabileceğini söyler. Yani HTML URL’si açık olsa bile temel stil veya script dosyaları kapalıysa, render tarafında görünmez bir SEO kaybı oluşabilir. RFC Editor’daki 2026-04-28 tarihli RFC 9309 errata kaydı da standardın yorum katmanında hâlâ netleştirilen noktalar olduğunu gösteriyor; bu nedenle teşhisi varsayımla değil, canlı dosya ve canlı URL üzerinden yapmak gerekir.
Search Console’da engellenen kritik sayfalar nasıl önceliklendirilir?
Search Console tarafında en doğru yaklaşım, raporları tek tek değil kanıt seviyesine göre okumaktır. URL Denetleme Aracı, seçtiğiniz tekil URL için en güçlü doğrulamayı verir. Sayfa Dizine Ekleme raporu, benzer URL kümelerinde örüntüyü gösterir. Domain seviyesindeki robots.txt raporu, Google’ın bulduğu en önemli host dosyalarını ve bunların getirilme durumunu gösterir. Tarama İstatistikleri raporu ise büyük resimde hangi yanıtların, hangi dosya türlerinin ve hangi hostların etkilendiğini anlamak için kullanılır.
Önceliklendirme yaparken kritik sitemap URL’lerinizi dışa aktarın ve engellenen örneklerle karşılaştırın. Eğer sorun kategori şablonunda ise önce ana kategori, sonra alt kategori, sonra filtre varyasyonlarına bakın. Eğer ürün tarafında ise ürün ayrıntı sayfaları ile görsel URL’lerini ayrı kümeler olarak ele alın. Search Console tek başına yeterli değildir; Tarama İstatistikleri raporu, örnek URL’lerin temsili olduğunu ve tüm istekleri bire bir listelemediğini söyler. Bu yüzden örnekler, kapsamın başlangıç noktasıdır; nihai liste değildir.
Teşhis sırası
- Tekil URL doğrulaması: Gelir değeri yüksek bir URL’yi URL Denetleme ile test edin.
- Şablon kontrolü: Aynı dizin veya kalıptaki 5-10 URL’de aynı durum var mı bakın.
- Host kontrolü: İlgili hostun canlı robots.txt dosyasını açın.
- Rapor çapraz okuma: Sayfa Dizine Ekleme, robots.txt raporu ve Tarama İstatistikleri arasında tutarlılık arayın.
Bu aşamada amaç yalnızca engel var mı sorusunu yanıtlamak değil, engel ne kadar yayılmış sorusunu yanıtlamaktır. Çünkü düzeltme önceliği, hatanın varlığından çok kapsamı tarafından belirlenir. Üç URL yerine üç bin URL etkileniyorsa, müdahale sırası ve iletişim tonu da değişmelidir.
Staging’den prod’a taşınan küçük hata: sitemap diff ve log analizi
Saha tarafında en sık gördüğümüz senaryo, staging ortamında güvenlik için eklenen bir kuralın prod’a taşınmasıdır. Kural çoğu zaman dramatik görünmez; örneğin bir klasör adı, wildcard ya da yanlış kök varsayımı yüzünden belirli URL kümeleri sessizce kapanır. İlk gün yalnızca birkaç URL örneği görünür, fakat birkaç gün sonra kategori, blog veya görsel kümesinde sistematik düşüş başlar. Search Console bunu işaret edebilir; ama büyük sitelerde tüm kapsamı tek başına saymaz.
Burada sitemap diff çok değerlidir. Son yayınlanan XML sitemap listesini, taranamayan veya azalan URL listesiyle karşılaştırdığınızda, sorunun hangi şablonda yoğunlaştığı netleşir. Ardından log kayıtlarında Googlebot isteklerini klasör, yanıt kodu, dosya türü ve zaman çizgisine göre ayırın. Tarama İstatistikleri raporunun son 90 güne yayılan görünümü, log tarafında yakaladığınız düşüşün tarihsel olarak ne zaman başladığını doğrulamak için iyi bir ikinci kanıttır.
Bu bölümde kritik nokta, Search Console’u tek hakem gibi kullanmamaktır. Log analizi size gerçek bot davranışını, sitemap diff ise beklenen URL evrenini verir. İkisini yan yana koyduğunuzda, hangi URL’lerin gerçekten keşif dışına düştüğü, hangilerinin yalnızca daha seyrek tarandığı ayrışır. Özellikle büyük e-ticaret sitelerinde bu ayrım, yanlış alarm ile gerçek erişim engelini birbirinden ayırır.
Düzeltme sonrası yeniden tarama, render, AI görünürlük ve SEOYEN izlemesi
Yanlış kuralı düzelttikten sonra iş bitmiş sayılmaz. Google’ın robots.txt yorumlama dokümanı, dosyanın genellikle 24 saate kadar önbellekte tutulabildiğini; bazı zaman aşımı veya 5xx durumlarında daha uzun kalabildiğini belirtir. Bu yüzden önce canlı dosyayı açın, sonra URL Denetleme ile kritik URL’leri yeniden test edin. Google’ın robots.txt oluşturma ve gönderme rehberi, tarayıcıların güncellenen dosyayı otomatik bulduğunu, acil durumlarda ise ilgili dosya için yeniden tarama isteğinin kullanılabildiğini açıklar.
Ardından render etkisini kontrol edin. Eğer sorun CSS veya JavaScript bloklarından kaynaklandıysa, yalnızca HTML’nin açılması yetmez; rendered HTML, başlık, açıklama ve ana içerik alanlarının doğru oluştuğunu doğrulamak gerekir. Arama sonucundaki snippet geri dönüşü ile sayfa bilgisinin toparlanması bazen aynı gün olmaz. Bu gecikme normaldir. 2026 iş akışında bu yüzden teknik düzeltme, recrawl ve görünürlük kontrolü ayrı aşamalar olarak ele alınmalıdır.
İzleme tarafında Ahrefs, SEMrush, Moz, SE Ranking ve SEOptimer benzeri araçlar farklı raporlarda sinyal verebilir; ancak SEOYEN aynı süreci Türkiye pazarına uyarlanmış bir akışla toplar. site sağlığı taraması ile teknik hatayı izlemek, AI görünürlük takibi ile görünüm etkisini izlemek ve ekip içinde Türkçe raporlamak daha pratiktir. Üstelik fiyat ve abonelik seçenekleri sayfası üzerinden güncel plan yapısını görmek mümkündür; böylece teknik kontrol ile operasyon maliyetini aynı karar çerçevesinde değerlendirebilirsiniz. SEOYEN’in Türkçe arayüzü, TL bazlı fiyatlandırması ve yerel Türkçe desteği özellikle küçük işletmeler ve yoğun çalışan SEO ekipleri için bu tür tekrar eden kontrol süreçlerini sadeleştirir.
Adım Adım: Robots.txt kaynaklı tarama kaybını bulma
Aşağıdaki akış, küçük bir kural hatasının görünmez kaldığı durumlarda en az hata payıyla ilerler. Amaç, önce kritik etkiyi görmek, sonra yanlış kuralı kesin kanıtla yakalamaktır.
- Kritik URL listesini çıkar ve kümelere ayır: Gelir, trafik, şablon ve iç link değerine göre ana kategori, ürün, blog ve görsel kümelerini ayırın. Tek tek URL bakmaya bu aşamada zaman harcamayın.
- Canlı robots.txt kapsamını host bazında doğrula: URL’nin bağlı olduğu host, protokol ve portu netleştirin. Ardından yalnızca o kök dizindeki canlı robots.txt dosyasını kontrol edin.
- Tekil URL’yi URL Denetleme ile test et: Önceliği en yüksek bir URL seçin ve robots.txt nedeniyle taranıp taranamadığını doğrulayın. Buradaki sonuç, varsayımları temizler.
- Search Console ve crawl stats örüntüsünü oku: Sayfa Dizine Ekleme, robots.txt raporu ve Tarama İstatistikleri içinde aynı gün veya aynı klasörde kümelenen belirtileri arayın. Tekil problem mi, şablon problemi mi ayrıştırın.
- Sitemap diff ve log ile kapsamı büyüt: Sitemap’teki beklenen URL listesini, azalan veya engellenen URL listesiyle karşılaştırın. Ardından log tarafında Googlebot hit’lerinin azaldığı klasörleri doğrulayın.
- Kuralı düzelt, yeniden tarat ve render kontrol et: Yanlış Disallow veya kapsam hatasını kaldırın. Sonra kritik URL’lerde yeniden test yapın, rendered HTML ve snippet dönüşünü izleyin.
Bu akışın gücü, yalnızca engeli bulmasında değil, yanlış düzeltme riskini azaltmasındadır. Özellikle robots.txt önbelleği, rapor gecikmesi ve temsilî URL örnekleri gibi sınırlamalar yüzünden, her aşamayı bir sonraki veri kaynağıyla doğrulamak gerekir.
| Kontrol alanı | Search Console | SEOYEN site sağlığı | Log/sitemap diff |
|---|---|---|---|
| Engellenen URL örneklerini bulma | URL Denetleme ve rapor örnekleriyle hızlı doğrulama | Teknik uyarıları Türkçe arayüzde kümeler | Beklenen ve taranan URL farkını somutlaştırır |
| Şablon veya dizin bazlı yayılımı görme | Örüntüyü gösterir ama her URL'yi vermez | Dizin ve sayfa tipi bazında izlemeyi sadeleştirir | Gerçek kapsamı klasör ve bot hit'leriyle açığa çıkarır |
| Canlı robots.txt ve kural kapsamı kontrolü | Rapor ve URL bazlı kanıt sağlar | Sürekli teknik kontrol akışına bağlanır | Canlı dosyayı değil sonuç etkisini doğrular |
| Render kaynak bloklarını fark etme | Tekil URL testinde işaret verebilir | Site sağlığı uyarılarını görünür kılar | Kaynak hit düşüşünü dolaylı olarak gösterir |
| Düzeltme sonrası tekrar doğrulama hızı | Recrawl ve URL Denetleme ile hızlı | Sürekli izleme ve ekip içi takip için pratik | Tarihsel toparlanmayı geriden ama net gösterir |
Kaynaklar
Sıkça Sorulan Sorular
Robots.txt, arama motoru botlarının hangi URL, klasör veya kaynakları tarayabileceğini yönetmek için kullanılır. Temel işlevi taramayı yönlendirmektir. yani bir botun nereye gireceğini veya girmeyeceğini söyler. Ancak bu dosya tek başına bir kaldırma aracı değildir. Bir sayfa zaten başka yerlerden biliniyorsa arama sonuçlarında bazı sınırlı sinyallerle görünebilir. Bu nedenle robots.txt, noindex ile aynı şey değildir. Doğru kullanım senaryosu. gereksiz kaynakları kısıtlamak, staging benzeri alanları kapatmak ve botların hangi içerik kümelerine öncelik vereceğini düzenlemektir.
En güvenilir yöntem, ilgili URL'yi Search Console içindeki URL Denetleme Aracı'nda test etmektir. Burada Sayfa Dizine Ekleme durumunda robots.txt engeli görünüyorsa sorun doğrulanmış olur. Sonra ilgili hostun canlı robots.txt dosyasını tarayıcıda açıp, URL'nin gerçekten o dosyanın kapsamına girip girmediğini kontrol etmelisiniz. Özellikle host, protokol ve port karışıklıkları çok yaygındır. Domain düzeyinde robots.txt raporu varsa, dosyanın getirilebildiğini ve hangi hostlar için görüldüğünü de kontrol ederek teşhisi güçlendirebilirsiniz. Tek bir rapora değil, canlı dosya ile URL sonucuna birlikte bakmak gerekir.
Önce URL'nin tam kökünü belirleyin: host, protokol ve gerekiyorsa port. Ardından o köke ait /robots.txt dosyasını açın. Örneğin https://www.ornek.com/sayfa adresini etkileyen dosya, genel olarak https://www.ornek.com/robots.txt olur. alt klasördeki bir robots.txt geçerli sayılmaz. Aynı şekilde http ile https birbirinin yerine geçmez, alt alan adları da kalıtım almaz. Resimler ve diğer kaynaklar için de mantık aynıdır. kaynak hangi hostta barınıyorsa onu etkileyen robots.txt dosyasına bakılır. Son aşamada ilgili kuralın Allow ve Disallow çatışması olup olmadığını incelemek gerekir.
Bu durum çoğu zaman Google'ın sayfayı veya sayfanın ihtiyaç duyduğu kaynakları tam tarayamamasıyla ilişkilidir. Robots.txt, HTML sayfasını ya da kritik CSS ve JavaScript dosyalarını engelliyorsa Google içeriği eksik anlayabilir. Sonuç olarak snippet, açıklama veya sayfa bilgisi zayıflayabilir ya da hiç görünmeyebilir. Ancak tek neden robots.txt değildir. içerik yapısı, kaynak erişimi ve geçici tarama sorunları da buna yol açabilir. Bu yüzden yalnızca arama sonucuna bakıp karar vermek yerine URL Denetleme, canlı robots.txt kontrolü ve gerekiyorsa rendered HTML doğrulaması birlikte yapılmalıdır.
Önce hangi kuralın engel oluşturduğunu kesin olarak bulmanız gerekir. Ardından yanlış Disallow satırını kaldırın, gerekiyorsa daha spesifik bir Allow kuralı yazın veya kapsamı yanlış belirlenmiş dizin kuralını düzeltin. Dosyayı güncelledikten sonra canlı robots.txt çıktısını kontrol edin. Sonrasında Search Console'da ilgili URL'yi yeniden denetleyin ve mümkünse robots.txt dosyası için yeniden tarama isteği gönderin. Burada sabırlı olmak önemlidir. robots.txt önbelleği ve rapor gecikmesi nedeniyle sonuç anında görünmeyebilir. Kritik kaynaklar da engellendiyse, sayfanın render tarafını ayrıca doğrulamak gerekir.
Tekil URL düzeyinde en net kanıt URL Denetleme Aracı'ndan gelir. Sayfa Dizine Ekleme raporu, benzer sorun yaşayan URL kümelerini görmenizi sağlar. Domain düzeyindeki robots.txt raporu, Google'ın hangi hostlardaki robots.txt dosyalarını bulduğunu ve dosyaların getirilme durumunu gösterir. Tarama İstatistikleri raporu ise daha geniş resimde tarama davranışını, yanıt türlerini, dosya tiplerini ve kullanılabilirlik sorunlarını okumanıza yardım eder. Bunların her biri farklı soruya yanıt verir: tekil URL engelli mi, sorun hangi şablona yayılmış, Google dosyayı görebiliyor mu ve tarama davranışı ne zaman değişmiş?