Hızlı Cevap
Robots.txt ve sitemap.xml doğru yapılandırma, arama motorlarının hangi alanları tarayacağını ve hangi URL’leri keşfedeceğini netleştirmektir. Robots.txt içinde kritik içerikleri yanlışlıkla engellememek, sitemap.xml içinde yalnızca kanonik ve 200 durum kodlu URL’leri listelemek ve ardından Search Console’da doğrulama yapmak temel adımdır.
Önemli Noktalar
- Robots.txt taramayı yönetir, sitemap.xml keşif sinyali sağlar.
- Sitemap içinde yalnızca kanonik ve indekslenebilir URL’ler bulunmalıdır.
- Disallow hataları doğru sitemap kurulumunu bile etkisiz bırakabilir.
- Search Console raporları, fetch ve kapsama sorunlarını hızlı gösterir.
- Türkçe arayüzlü düzenli izleme, teknik hata tekrarını azaltır.
Robots.txt ve Sitemap.xml neden birlikte ele alınmalı?
Robots.txt ve Sitemap.xml Doğru Yapılandırma Rehberi aynı anda düşünülmesi gereken iki temel teknik SEO unsuruna dayanır. Robots.txt arama motoru botlarına hangi yolları taramaması gerektiğini söyler; sitemap.xml ise keşfedilmesini istediğiniz URL’leri listeler. Yani biri tarama yönetişimi, diğeri URL bildirimi tarafında çalışır. Kavramları ekip içinde standartlaştırmak için teknik SEO terimleri sözlüğü benzeri kaynaklarla ortak dil oluşturmak faydalıdır.
Buradaki kritik nokta şudur: sitemap içinde yer alan bir URL, robots.txt tarafından engelleniyorsa Google bu URL’yi keşfetmiş olsa bile içeriği sağlıklı biçimde işleyemeyebilir. Bu nedenle “sitemap ekledim, sorun çözüldü” yaklaşımı eksik kalır. Tarama izni, kanonik sinyal, durum kodu ve indekslenebilirlik birlikte değerlendirilmelidir.
Özellikle orta ölçekli sitelerde filtreli sayfalar, yönetim dizinleri, test alanları ve parametreli URL’ler büyüdükçe bu iki dosya arasındaki uyum daha önemli hale gelir. Doğru kurgu, tarama bütçesini daha verimli kullanır; yanlış kurgu ise yeni içeriklerin geç keşfedilmesine, önemli sayfaların tarama dışında kalmasına ve indeksleme kaybına neden olabilir.
Robots.txt doğru yapılandırma adımları ve temel kurallar
Robots.txt dosyası alan adının kök dizininde yer almalıdır ve standart erişim adresi genellikle https://alanadiniz.com/robots.txt biçimindedir. Alt klasöre koyulan bir robots dosyası tüm site için geçerli sayılmaz. Bu yüzden ilk kontrol her zaman dosyanın canlı ortamda doğru URL’den açılıp açılmadığını doğrulamaktır.
Temel mantık User-agent, Disallow ve gerektiğinde Allow satırlarıyla çalışır. Güvenli bir WordPress başlangıcı için örnek yaklaşım şu mantıktadır: tüm botlara izin verilir, yönetim panelinin taranması sınırlandırılır, ancak ihtiyaç varsa belirli statik dosyalar erişilebilir bırakılır. Örneğin User-agent: *, ardından Disallow: /wp-admin/ ve gerekiyorsa Allow: /wp-admin/admin-ajax.php satırları sık kullanılan bir iskelet sunar.
Dikkat gerektiren alanlar admin, sepet, ödeme adımları, dahili arama sonuçları, test klasörleri ve staging kopyalarıdır. Burada amaç her şeyi engellemek değil, arama sonucunda değer üretmeyen veya teknik amaçlı alanları kontrollü biçimde yönetmektir. Özellikle Disallow: / gibi tek satırlık geniş engeller canlıya taşındığında tüm görünürlüğü etkileyebilir; bu nedenle yayın öncesi satır bazında son kontrol zorunludur.
- Güvenli başlangıç mantığı: Önce dar kapsamlı engelleme yapın, sonra gerçekten gerekli alanları genişletin.
- Sepet ve ödeme akışı: Kullanıcıya özel veya yinelenen URL’lerse dikkatle sınırlandırın.
- Staging ortamı: Canlıya alınan kuralları birebir kopyalamayın, ortam farkını kontrol edin.
Sitemap.xml nasıl hazırlanır ve hangi URL’ler eklenmelidir?
Sitemap.xml içinde yalnızca kanonik, 200 durum kodu dönen, indekslenmesi istenen ve organik görünürlük hedefi taşıyan URL’ler bulunmalıdır. Yönlendiren, noindex olan, kanoniği başka adrese işaret eden veya zayıf kalite sinyali taşıyan URL’leri sitemap’e koymak dosyanın güvenilirliğini düşürür. Sitemap bir envanter değil, arama motoruna verilen öncelikli URL listesi olarak düşünülmelidir.
Büyük sitelerde tek dosya yerine bölümleme daha sağlıklıdır. Kategori bazlı, ürün bazlı veya içerik türüne göre ayrılmış dosyalar bir sitemap index altında toplanabilir. Çok dilli yapılarda her dil versiyonu kendi tutarlı URL setiyle yönetilmelidir; alt alan adı kullanan yapılarda ise her host için ayrı sitemap mantığı çoğu zaman daha temizdir. E-ticaret sitelerinde stoktan kalkmış, yönlendirilmiş veya filtre parametreleriyle çoğalan URL’leri ayıklamak özellikle önemlidir.
Robots.txt dosyasına sitemap bildirimini eklemek de iyi bir uygulamadır. Format basittir: Sitemap: https://www.ornekalanadi.com/sitemap.xml. Eğer birden fazla sitemap varsa index dosyasını vermek genellikle daha yönetilebilir olur. Çok dilli veya alt alan adlı örneklerde https://www.ornekalanadi.com/sitemap_index.xml, https://blog.ornekalanadi.com/sitemap.xml gibi host bazlı net ayrım yapılmalıdır. lastmod alanı da gerçekten güncellenen URL’lerde anlamlıdır; otomatik ama gerçeği yansıtmayan tarih kullanımı fayda yerine gürültü üretebilir.
- Yalnızca kaliteli URL’ler: 200 dönen, kanonik ve indekslenebilir sayfaları ekleyin.
- Büyük sitelerde bölümleme: İçerik türüne göre sitemap index yapısı kurun.
- Robots bildirimi: Sitemap satırını robots.txt içine tam URL ile yazın.
En sık robots.txt ve sitemap.xml hataları: indeks kaybına yol açan senaryolar
En ağır hata, fark edilmeden canlıya çıkan geniş kapsamlı engellemelerdir. Disallow: / bunun en bilinen örneğidir ve botların tüm siteyi taramasını kesebilir. Staging ortamında mantıklı olan bu satırın prod ortama taşınması, birkaç gün içinde görünürlükte sert düşüşe yol açabilir. Bu yüzden canlıya geçiş kontrol listesinde robots dosyası ayrı bir madde olmalıdır.
İkinci yaygın sorun, robots ile engellenen URL’lerin sitemap içinde listelenmesidir. Bu çelişki, arama motoruna “bunu keşfet ama tarama” benzeri karışık sinyaller gönderir. Benzer biçimde noindex sayfaları, 301 ile başka adrese giden URL’leri, 404 dönen eski sayfaları veya zayıf filtre kombinasyonlarını sitemap’te tutmak kaliteyi bozar. Sitemap sayfaları gerçekten indekste yer almasını istediğiniz adresleri temsil etmelidir.
Üçüncü hata grubu, mimari karmaşadan gelir. Alt alan adı kullanan yapılarda yanlış host altında sitemap sunulması, çok dilli sitelerde eksik dil URL’leri, ürün kataloglarında gereksiz parametre çoğalması ve blog ile mağaza bölümlerinin tek dosyada kontrolsüz birleşmesi tanı koymayı zorlaştırır. Böyle durumlarda küçük ama net kümeler halinde sitemap üretmek ve her kümenin kapsamını ayrı izlemek çok daha sağlıklı sonuç verir.
- Canlıya taşınan staging kuralı: Önce robots dosyasını, sonra kapsama raporunu kontrol edin.
- Sitemap çakışması: Engellenen URL ile bildirilen URL aynı olmamalı.
- Düşük kalite sinyali: 404, 301 ve kanoniği farklı sayfaları temizleyin.
Google Search Console ile doğrulama ve sorun giderme akışı
Sitemap gönderimi için ilgili mülkü açın, Sitemaps bölümüne gidin ve sitemap URL’sini girin. Ardından ilk bakmanız gereken alan durum bilgisidir: dosya başarıyla okunmuş mu, fetch hatası mı var, yoksa biçim hatası mı dönüyor? Burada mülk eşleşmesi de kritiktir; https, http, www ve alan adı mülkü farkları yanlış değerlendirildiğinde doğru sitemap bile görünmeyebilir.
İkinci adımda detay sayfasında okunan URL sayısı ile sizin beklediğiniz kapsamı kıyaslayın. Sonra Page Indexing ve gerektiğinde URL Inspection tarafına geçip belirli URL’lerin neden dışarıda kaldığını inceleyin. Eğer “tarandı ancak dizine eklenmedi”, “engellendi” veya “alternatif kopya” gibi sinyaller görüyorsanız karar ağacı nettir: önce robots kuralını, sonra URL’nin durum kodunu, ardından kanonik etiketini ve sitemap içindeki varlığını kontrol edin.
Satır bazlı robots etkisini teyit etmek için makale akışına uygun noktada Robots.txt Test Aracı ile belirli yol kalıplarını gözden geçirmek pratik olur. Düzenli teknik izleme tarafında site sağlığı kontrolleri üzerinden robots ve sitemap kaynaklı sapmaları periyodik incelemek de tekrar eden hataları azaltır. Özellikle submit sonrası birkaç gün boyunca durumun Success kalıp kalmadığına, çocuk sitemap’lerin okunup okunmadığına ve kapsama tarafındaki dalgalanmaya bakmak gerekir.
- 1. adım: Sitemaps raporunda fetch ve parse durumunu kontrol edin.
- 2. adım: Beklenen URL sayısını okunan kapsamla karşılaştırın.
- 3. adım: Sorunlu URL’de robots, durum kodu ve kanoniği birlikte inceleyin.
Orta ölçekli siteler için pratik kontrol listesi ve SEOYEN ile izleme
Orta ölçekli sitelerde en verimli yaklaşım, yayın öncesi kısa ama disiplinli bir kontrol listesi kullanmaktır. Robots.txt kök dizinde mi, yanlışlıkla tüm siteyi engelleyen satır var mı, sitemap yalnızca indekslenmesi istenen URL’leri mi içeriyor, robots içinde sitemap bildirimi yazıldı mı ve Search Console mülkü doğru mu soruları her yayında tekrar edilmelidir. Bu kontrol, küçük ekiplerde hata maliyetini ciddi biçimde düşürür.
Düzenli izleme tarafında SEOYEN’in Türkçe arayüz, TL fiyat ve yerel destek avantajı operasyonu hızlandırır. Teknik ekip ile içerik ekibi aynı ekranları daha rahat yorumlayabildiğinde robots ve sitemap kaynaklı sorunlar daha erken fark edilir. Ahrefs ve SEMrush benzeri küresel platformlarda bulunan analiz yaklaşımının Türkiye odaklı daha erişilebilir bir karşılığını görmek isteyen ekipler için Ahrefs alternatifi ve SEMrush alternatifi karşılaştırmaları karar sürecine bağlam kazandırır.
Burada amaç aracı öne çıkarmak değil, teknik rutini sürdürülebilir hale getirmektir. Search Console’dan gelen uyarılar haftalık olarak gözden geçirildiğinde, sitemap kapsamı ile gerçek indeksleme arasındaki farklar daha erken yakalanır. Robots değişiklikleri, taşınan şablonlar ve yeni URL kalıpları düzenli incelendiğinde görünürlük kaybı yaşanmadan müdahale etmek çok daha kolay olur.
- Yayın öncesi kontrol: Robots, sitemap, kanonik ve durum kodu birlikte gözden geçirilmeli.
- Haftalık izleme: GSC uyarıları ile sitemap kapsamı düzenli karşılaştırılmalı.
- Süreç verimliliği: Türkçe arayüz ve yerel destek ekip içi koordinasyonu kolaylaştırır.
| Özellik | SEOYEN | Rakip |
|---|---|---|
| Arayüz ve operasyon dili | Türkçe arayüz ile ekip içi yorumlama daha hızlı | Küresel araçlarda kapsam geniştir, ancak yerelleştirme sınırlı olabilir |
| Fiyatlandırma yaklaşımı | TL fiyat yapısı bütçe planlamasını sadeleştirir | Yabancı para bazlı maliyet takibi daha değişken olabilir |
| Destek ve uygulama bağlamı | Yerel destek ile Türkiye pazarına uygun iletişim sunar | Genel dokümantasyon güçlüdür, yerel senaryolar daha az odaklı olabilir |
Kaynaklar
Sıkça Sorulan Sorular
Robots.txt, arama motoru botlarına sitenizde hangi yolları tarayabileceklerini ve hangilerinden uzak durmaları gerektiğini söyleyen metin dosyasıdır. Genellikle kök dizinde bulunur ve tarama davranışını yönlendirir. Ancak önemli ayrım şudur: robots.txt bir URL’nin kesin olarak dizine girmesini engelleyen garanti mekanizması değildir. daha çok bot erişimini yönetir. Bu yüzden kritik içerikleri yanlışlıkla engellememek gerekir. Özellikle yönetim panelleri, test alanları veya gereksiz parametreli URL’lerde dikkatli kullanıldığında teknik SEO tarafında düzen sağlar.
Sitemap.xml, arama motorlarına hangi URL’lerin keşfedilmesini istediğinizi bildiren XML dosyasıdır. Özellikle yeni açılan, derin mimariye sahip veya sayfa sayısı yüksek sitelerde URL keşfini hızlandırmaya yardımcı olur. Fakat sitemap bir kalite filtresi de taşımalıdır. yalnızca kanonik, 200 durum kodu dönen ve gerçekten indekslenmesini istediğiniz sayfalar burada yer almalıdır. Bu dosya arama motoruna güçlü bir keşif sinyali verir, ancak tek başına indeks garantisi sağlamaz. Doğru robots kuralları, kanonik işaretler ve temiz URL yapısı ile birlikte daha iyi sonuç üretir.
Robots.txt içine sitemap eklemek için ayrı bir satırda tam URL kullanılır. En yaygın format <strong>Sitemap: https://www.ornekalanadi.com/sitemap.xml</strong> şeklindedir. Birden fazla sitemap yönetiyorsanız çoğu durumda doğrudan sitemap index dosyasını belirtmek daha pratiktir. Bu bildirim, botların sitemap konumunu daha hızlı keşfetmesine yardımcı olur. Yine de Search Console üzerinden ayrıca gönderim yapmak raporlama açısından önemlidir. çünkü robots üzerinden keşfedilen sitemap’ler raporda her zaman görünmeyebilir. Ekledikten sonra dosyanın canlı ortamda erişilebilir ve doğru host altında olduğundan emin olun.
Robots.txt ile sitemap.xml farklı ama tamamlayıcı görevler üstlenir. Robots.txt, botlara hangi yolları taramamalarını veya hangi istisnalara izin vermelerini söyler. yani tarama yönetimi yapar. Sitemap.xml ise hangi URL’lerin keşfedilmesini istediğinizi listeler. yani URL bildirimi görevi görür. Biri engelleme ve yönlendirme mantığıyla, diğeri keşif sinyaliyle çalışır. Sorunlar genellikle bu iki dosya çeliştiğinde ortaya çıkar. Örneğin sitemap’e eklenen bir URL robots tarafından engellenmişse arama motoruna karışık sinyal gitmiş olur. Bu yüzden iki dosya birlikte planlanmalıdır.
Yanlış yapılandırılmış robots.txt, önemli sayfaların taranmasını kesebilir, yeni içeriklerin keşfini geciktirebilir ve ciddi indeksleme kaybına yol açabilir. En riskli örneklerden biri <strong>Disallow: /</strong> satırının canlı ortamda kalmasıdır. bu durumda botlar tüm siteye erişimde sorun yaşar. Daha ince ama yaygın sorunlar da vardır: kategori sayfalarını, ürün detaylarını veya blog dizinlerini yanlışlıkla engellemek gibi. Bu tür hatalar bazen hemen fark edilmez. görünürlük düşüşü, tarama azalması veya Search Console uyarılarıyla ortaya çıkar. Bu nedenle her yayın döngüsünde robots kontrolü ayrı bir adım olmalıdır.
Search Console’da ilgili mülkü açtıktan sonra <strong>Sitemaps</strong> bölümüne gidip sitemap URL’sini girerek gönderim yapabilirsiniz. Burada önemli olan doğru mülkü kullanmaktır. http, https, www ve alan adı mülkü farkları rapor görünümünü etkileyebilir. Gönderim sonrası durumun başarıyla okunup okunmadığını, dosyada fetch veya parse hatası bulunup bulunmadığını ve okunan URL sayısını takip edin. Ardından Page Indexing ve URL Inspection araçlarıyla önemli sayfaların gerçekten beklenen şekilde işlendiğini kontrol etmek gerekir. Böylece yalnızca dosya gönderilmiş olmaz, sonuçları da doğrulanmış olur.
Robots.txt içinde genellikle yönetim panelleri, dahili arama sonuçları, sepet ve ödeme akışları, test ortamları veya değersiz parametre kümeleri dikkatle değerlendirilebilir. Ama burada temel ilke “engellenebilecek her şeyi engellemek” değildir. Organik görünürlük hedeflenen kategori, ürün, hizmet, blog veya temel dönüşüm sayfaları yanlışlıkla kapsam dışına çıkmamalıdır. Özellikle WordPress ve e-ticaret kurulumlarında varsayılan kopya kuralları kontrolsüz kullanıldığında yararlı içerikler de engellenebilir. En sağlıklı yöntem, her kuralın hangi URL grubunu etkilediğini satır bazında test etmektir.
Sitemap.xml içinde yalnızca kanonik, indekslenebilir, 200 durum kodu dönen ve organik görünürlük hedeflenen kaliteli URL’ler yer almalıdır. 301 yönlendirmeli, 404 hatalı, noindex işaretli veya kanoniği başka URL’ye bakan sayfaları burada bulundurmak önerilmez. Aynı şekilde çok zayıf filtre kombinasyonları, kullanıcıya özel oturum sayfaları veya yinelenen varyasyonlar da sitemap kalitesini düşürür. Sitemap’i “sitedeki her URL’nin listesi” gibi değil, “arama motorunun öncelikle tanımasını istediğiniz temiz URL seti” gibi düşünmek gerekir. Bu yaklaşım hem rapor okumayı hem de hata teşhisini kolaylaştırır.