Robots.txt ve sitemap.xml, arama motoru botlarıyla sitenizin iletişim kurduğu iki temel protokol dosyasıdır. Robots.txt botlara nereye girmemeleri gerektiğini söylerken, sitemap.xml hangi sayfalarınızı taramak istediğinizi belirtir. Doğru yapılandırıldıklarında Googlebot’un crawl bütçenizi (crawl budget) verimli kullanmasını sağlar, yeni içeriklerin hızlı indexlenmesini hızlandırır ve rakip sitelerin önüne geçmenize yardımcı olur. Yanlış yapılandırma ise sayfalarınızın Google’dan tamamen silinmesine kadar gidebilen büyük sorunlara yol açar.
Bu rehberde robots.txt’in temel direktiflerini, sitemap.xml’in doğru yapısını, ikisi arasındaki ilişkiyi ve en sık karşılaşılan yapılandırma hatalarını ele alacağız. Geniş bir teknik SEO perspektifi için Teknik SEO Rehberi ana sayfamızı öneririz.
Robots.txt ve Sitemap.xml Nedir?
Robots.txt, sitenizin kök dizininde yer alan (https://ornek.com/robots.txt) düz bir metin dosyasıdır. Robots Exclusion Protocol (REP) standardına göre botların hangi dizin ve dosyaları taramaması gerektiğini belirtir. Googlebot bir siteye geldiğinde ilk iş olarak robots.txt’i okur ve kurallara uygun davranır. Temel direktifler şunlardır:
- User-agent: Kuralların hangi bota uygulanacağını belirtir. (*) tüm botlar, “Googlebot” sadece Google, “Bingbot” Bing için geçerlidir.
- Disallow: Botun tarayamayacağı yolu belirtir. (/) tüm siteyi, (/admin/) sadece admin dizinini engeller.
- Allow: Disallow kuralının istisnasını tanımlar. Örneğin /admin/ engelliyken /admin/public.html’e izin verebilir.
- Sitemap: Sitemap.xml dosyanızın tam URL’sini işaret eder. Birden fazla sitemap ekleyebilirsiniz.
Sitemap.xml, XML formatında bir dosyadır ve sitenizdeki URL’lerin listesini, son güncelleme tarihlerini, güncelleme sıklığını ve göreceli önemini içerir. Google, Bing gibi motorlar bu dosyayı kullanarak sitenizin yapısını anlar ve hangi sayfaları tarayacaklarına karar verir. Özellikle büyük sitelerde, derin dizin yapısına sahip kurumsal sayfalarda ve yeni yayınlanmış içeriklerde sitemap indexleme süresini ciddi şekilde kısaltır.
Neden SEO için Önemli?
Robots.txt ve sitemap.xml, crawl budget yönetiminin kalbidir. Google her siteye günlük olarak sınırlı sayıda istek yapar; büyük sitelerde bu sınır sizin için dar geliyorsa robots.txt ile gereksiz sayfaları (filtreli URL’ler, admin paneli, dahili arama sonuçları, pdf kopyaları) engelleyerek botun önemli sayfalarınıza odaklanmasını sağlarsınız. 1000+ URL’li sitelerde bu optimizasyon organik trafiği %30-50 artırabilir.
Sitemap.xml ise özellikle iki durumda kritik: Birincisi, yeni yayınlanmış içerik. Sitemap’teki lastmod tarihini güncellediğinizde Googlebot sayfayı normalden çok daha hızlı ziyaret eder. İkincisi, zayıf internal link yapısı. Bazı sayfalarınıza hiç veya az link varsa sitemap onları keşfedilebilir kılar. E-ticaret sitelerinde kategori ağacından kopmuş ürün sayfaları, blogda eskiden yazılmış ama link almamış postlar sitemap sayesinde indexe girer.
Yanlış yapılandırma tehlikesi de büyüktür. Yaygın bir senaryo: geliştirme ortamında kullanılan “Disallow: /” kuralı canlıya kopyalandığında siteniz tamamen Google’dan silinir. Bu tür riskleri en aza indirmek için canonical tag ve Core Web Vitals gibi tamamlayıcı teknik SEO kontrolleriyle birlikte düzenli denetim yapmanız gerekir.
Pratik Uygulama
İdeal bir robots.txt yapısı, kural setini açıkça tanımlar ama aşırı kısıtlayıcı değildir. Tipik bir WordPress sitesi için örnek:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /feed/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot
Disallow: /wp-admin/
Sitemap: https://ornek.com/sitemap.xml
Sitemap: https://ornek.com/news-sitemap.xmlBu örnekte admin paneli tüm botlara engellenir, dahili arama (?s=) indekslenmez, feed dizini kapatılır ancak admin-ajax.php’ye (bazı WP eklentilerinin çalışması için gerekli) izin verilir. Sitemap satırı iki ayrı XML dosyası bildirir.
Sitemap.xml için temel yapı şöyledir:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://ornek.com/makale/</loc>
<lastmod>2026-04-15</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>Sitemap boyutu 50 MB’ı veya 50.000 URL’yi aşıyorsa sitemap index dosyası (bir ana dosyanın alt sitemap dosyalarını listelediği yapı) kullanmalısınız. Büyük sitelerde URL türüne göre ayırmak (news-sitemap.xml, product-sitemap.xml, video-sitemap.xml) hem performans hem raporlama açısından avantaj sağlar. Sitemap dosyalarınızın durumunu Tüm Sorunlar aracı ile otomatik denetleyebilir, robot.txt yapılandırmanızı ise Site Sağlığı aracı üzerinden kontrol edebilirsiniz.
Adım Adım: Robots.txt ve Sitemap Yapılandırma
Yaygın Hatalar
Robots.txt ve sitemap.xml hatalarının çoğu geri dönüşü zor sonuçlar doğurur. En tehlikelisi “Disallow: /” kuralının canlıya taşınması. Geliştirme/staging ortamında siteyi botlardan gizlemek için kullanılan bu kural, üretime geçerken unutulursa siteniz birkaç güne kadar Google’dan tamamen silinebilir. Her deploy öncesi robots.txt’i mutlaka kontrol edin.
İkinci yaygın hata CSS ve JavaScript dosyalarının engellenmesi. 2015 öncesi bazı webmaster’lar wp-content/ veya scripts/ dizinlerini kapatıyordu. Bu artık ciddi bir hata çünkü Google sayfayı render ederken CSS/JS’e ihtiyaç duyar ve bu dosyalar engelliyse sayfanızı “içerik yok” olarak algılayabilir. Üçüncüsü, noindex sayfaları sitemap’e dahil etmek. Sitemap sadece indexlenmesini istediğiniz sayfaları içermeli; 301 yönlendiren, 404 dönen veya canonical başka bir URL’ye işaret eden sayfalar sitemap kirliliği yaratır ve crawl budget israfıdır.
Son olarak robots.txt ile noindex karıştırılması. Bir sayfanın robots.txt ile engellenmesi onu indexten çıkarmaz—sadece Googlebot’un içeriği okumasını engeller. Sayfanın indexten çıkması için meta robots noindex etiketi veya HTTP header kullanılmalı. Disallow edilmiş bir sayfa harici linkler üzerinden Google’a gelmiş olabilir ve “başlık yok” şeklinde sonuçlarda görünür. Bu yapıyı düzeltmek için önce noindex eklemeli, sayfa deindex edildikten sonra disallow kuralını koyabilirsiniz.
Sık Sorulan Sorular
Özet
Robots.txt ve sitemap.xml, teknik SEO’nun en temel iki araçıdır. Robots.txt Googlebot’u yönetmek için, sitemap.xml ise içeriğinizin hızla keşfedilmesi için. İkisinin uyum içinde çalışması, crawl budget’ınızı korur ve yeni yayınladığınız içeriklerin dakikalar içinde indexlenmesini sağlar. Yapılandırma sırasında en kritik nokta: CSS/JS’i asla engellemeyin, staging kurallarını canlıya taşımayın, noindex ile Disallow’u karıştırmayın. Geniş teknik SEO stratejisi için Teknik SEO Rehberi‘ni ve Canonical Tag kullanımı rehberimizi incelemenizi öneririz.