Hızlı Cevap
Robots.txt, arama motoru botlarının hangi URL’leri tarayabileceğini yönetir; robots meta etiketi ve X-Robots-Tag ise taranan içeriğin indekslenip indekslenmeyeceğini ve sonuçta nasıl gösterileceğini söyler. Kısacası robots.txt crawl kontrolüdür, meta robots ise index ve snippet kontrolüdür; birbirlerinin yerine geçmez ve yanlış kombinasyon indeks sorunları çıkarabilir.
Önemli Noktalar
- robots.txt taramayı sınırlar, tek başına deindex garantisi vermez.
- Meta robots HTML sayfalarda indeksleme ve snippet davranışını yönetir.
- PDF ve görsellerde noindex için X-Robots-Tag gerekir.
- Disallow ile noindex aynı URL’de düşüncesizce birleştirilmemelidir.
- Doğru yapılandırma Search Console ve loglarla doğrulanmalıdır.
Robots meta etiketi ile robots.txt arasındaki fark nedir? Kısa cevap
Kısa cevap: robots.txt, botların bir URL’yi tarayıp taramayacağını yönetir. Meta robots etiketi ve X-Robots-Tag ise içerik tarandıktan sonra indekslenip indekslenmeyeceğini, snippet alınıp alınmayacağını veya linklerin nasıl yorumlanacağını belirtir. Bu yüzden biri crawl kontrolü, diğeri index ve görünüm kontrolüdür. Temel kavramları aynı çatı altında görmek isterseniz SEO terimleri sözlüğü iyi bir başlangıç noktasıdır.
- Taramayı azaltmak istiyorsanız ilk aday çoğu zaman robots.txt olur.
- Bir HTML sayfayı dizinden çıkarmak istiyorsanız temel yöntem meta robots noindex’tir.
- PDF, görsel veya başka HTML dışı dosyaları dizinden çıkarmak istiyorsanız X-Robots-Tag gerekir.
Karar verirken tek soru şudur: Amacım botun sayfaya gelmesini engellemek mi, sayfanın Google dizininde görünmesini engellemek mi, yoksa arama sonucundaki snippet’i sınırlamak mı? Bu üç hedef birbirinden farklıdır. Robots.txt ile meta robots’ın en sık karıştırıldığı nokta da tam olarak budur.
Taramayı engellemek ile indekslemeyi engellemek neden aynı şey değildir?
Google’ın 24 Mart 2026’da güncellenen robots meta dokümanına göre meta robots ve X-Robots-Tag; noindex, nofollow, nosnippet gibi kurallarla içeriğin indekslenmesini ve gösterimini etkiler. Buna karşılık Google’ın 14 Nisan 2026’da güncellenen robots.txt yorumlama dokümanı, robots.txt’nin URL eşleşmesi ve crawl davranışı için kullanıldığını açıkça ayırır. Yani Google, bu iki sinyali aynı katmanda değerlendirmez.
Asıl kritik nokta şudur: Bir URL’yi robots.txt ile kapatırsanız bot o sayfayı göremeyebilir. Google Search Central aynı dokümanda, crawl engellenirse sayfadaki meta robots veya header’daki X-Robots-Tag bilgisinin de bulunamayacağını söylüyor. Pratik sonuç olarak, URL başka linklerden keşfedilmişse Google o adresi yine de URL düzeyinde değerlendirebilir; fakat siz noindex sinyalini okutmadığınız için beklediğiniz deindex davranışı oluşmayabilir.
- noindex: Sayfanın dizinde tutulmamasını ister.
- nofollow: Sayfadaki linklerin takip edilmemesi yönünde sinyal verir; deindex aracı değildir.
- nosnippet: Sonuçta açıklama/snippet gösterimini sınırlar.
RFC 9309, robots.txt’yi crawler erişimini yöneten bir protokol olarak tanımlar; aynı belge bunun bir güvenlik mekanizması olmadığını da özellikle vurgular. Ayrıca Google’ın robots.txt spec dokümanında belirtildiği gibi, allow ve disallow çakıştığında en spesifik eşleşme dikkate alınır; çakışan eşitliklerde ise daha az kısıtlayıcı kural tercih edilebilir. Bu, robots.txt’nin indeks kararından çok erişim yolu mantığıyla çalıştığını gösterir.
Hangi durumda robots.txt, meta robots veya X-Robots-Tag kullanılmalı?
Seçim kuralı varlık tipine ve hedefe göre yapılır. HTML sayfada tekil veya şablon bazlı indeks kontrolü istiyorsanız meta robots; PDF, görsel, video veya başka HTML dışı dosyalarda aynı ihtiyacınız varsa X-Robots-Tag; dizin, parametre veya desen bazlı crawl kontrolü istiyorsanız robots.txt daha doğru araçtır.
HTML sayfalar için meta robots
Meta robots etiketi operasyonel olarak çoğu ekipte HTML belgesinin head bölümünde, CMS SEO ayarlarında veya şablon katmanında yönetilir. MDN’in 4 Mayıs 2026’da güncellenen açıklamasına göre meta robots ile robots.txt farklı roller üstlenir. Google dokümanı teknik olarak bu etiketin body içinde de okunabildiğini söylese de, bakım ve hata ayıklama açısından en temiz yaklaşım head içinde merkezi yönetimdir.
HTML dışı dosyalar ve desen bazlı kurallar için doğru katman
X-Robots-Tag özellikle PDF dosyalarında, görsellerde ve sunucu yanıt başlığıyla yönetilen statik varlıklarda öne çıkar. Google’ın robots meta dokümanında PDF ve görseller için X-Robots-Tag örnekleri verilir. Robots.txt tarafında ise Google’ın 21 Kasım 2025 tarihli robots.txt oluşturma rehberi, dosyanın kök dizinde yer alması gerektiğini ve sadece bulunduğu host/protokol kapsamındaki URL’lere uygulandığını açıkça belirtir.
- Staging veya test alanı: Arama sonuçlarına girmesin istiyorsanız erişim kontrolü + noindex düşünün; yalnız robots.txt yeterli güvenlik sağlamaz.
- Filtre URL’leri ve sonsuz kombinasyonlar: Crawl bütçesini korumak için robots.txt uygundur.
- İç arama sayfaları: Çoğu senaryoda noindex daha nettir; gerekiyorsa crawl sınırı sonradan eklenir.
- PDF kataloglar veya görseller: Meta robots yerine X-Robots-Tag gerekir.
- Snippet’i kapatmak: nosnippet veya ilgili preview direktifleri meta robots ya da X-Robots-Tag katmanında verilir.
Bir sayfayı dizinden çıkarmak, taramayı azaltmaktan farklı bir iştir. Bu yüzden “tek araçla hepsini çözerim” yaklaşımı yerine, önce hedefi netleştirip sonra doğru katmanı seçmek daha güvenlidir.
Noindex ve disallow birlikte kullanılır mı? En sık hata senaryoları
Kısa cevap: Aynı URL’de noindex ve disallow birlikte kullanılabilir, ama çoğu zaman yanlış sırada kurulduğu için sorun çıkarır. Eğer robots.txt önce crawl’u kapatıyorsa bot sayfaya giremez; bot giremeyince noindex’i de okuyamaz. Sonuç olarak ekip “deindex ettim” sanırken URL hâlâ indeks sinyali üretmeye devam edebilir.
Sahada en sık görülen üç hata var. Birincisi, önce disallow verip sonra aynı sayfada noindex beklemek. İkincisi, canonical etiketini deindex aracı sanmak; canonical kopya tercihini anlatır, dizinden kaldırma komutu değildir. Üçüncüsü, nofollow’u indeks çözümü gibi kullanmak; oysa nofollow link davranışı sinyalidir, sayfanın dizinden çıkması için tasarlanmamıştır.
- Önce URL’nin bot tarafından gerçekten erişilebilir olup olmadığını kontrol edin.
- Erişim açıksa noindex veya gerekiyorsa X-Robots-Tag’i uygulayın.
- Ardından Search Console URL Inspection ile canlı sayfanın bu direktifi görüp görmediğini doğrulayın.
- Deindex tamamlandıktan sonra gerekiyorsa crawl sınırını ikinci aşamada yeniden değerlendirin.
Bu sıra önemlidir; çünkü teknik problem çoğu zaman “yanlış direktif” değil, doğru direktifin okunamaması olur. Özellikle büyük sitelerde bu ayrım indeksleme sorunlarının haftalarca sürmesine neden olabilir.
Mini deney: üç URL senaryosunda Google nasıl tepki verdi?
Bu farkı ekip içi denetimlerde anlatmanın en pratik yolu üç URL’li mini testtir. Aynı site yapısında, aynı içerik tipinde ama farklı robots kararlarıyla ilerlediğinizde davranış netleşir. Buradaki amaç laboratuvar kesinliği değil, hangi yöntemin hangi hedefe hizmet ettiğini görünür kılmaktır.
- Senaryo 1, yalnız robots.txt engeli: Botun erişimi kısıtlandı. Noindex okutulamadığı için deindex beklentisi güvenilir olmadı.
- Senaryo 2, yalnız meta noindex: Bot sayfayı gördü ve indeks dışına alma sinyali okunabildi. Bu, deindex hedefi için en temiz senaryoydu.
- Senaryo 3, önce crawl izni sonra noindex: Önce botun sayfayı görmesi sağlandı, sonra noindex okutuldu. Çakışma riski en düşük akış buydu.
Bu mini deneyde bakılması gereken üç ekran vardır: Search Console URL Inspection, canlı sayfa testi ve sunucu logları. URL Inspection size Google’ın sayfayı görüp görmediğini, canlı test güncel direktifin okunup okunmadığını, loglar ise Googlebot’un gerçekten istek atıp atmadığını gösterir. Teknik SEO denetimlerinde en sık atlanan bölüm log tarafıdır; çünkü kural yazılmış olsa da botun o kurala gerçekten temas edip etmediği ancak logla netleşir.
Özgün değer tam burada oluşur: robots.txt, meta noindex ve ikisinin birlikte kullanımını teorik olarak değil, aynı URL mantığında yan yana karşılaştırdığınızda ekip içinde karar vermek çok daha kolaylaşır. Google dokümanlarının anlattığı ayrım, bu testte sahada da aynı desenle görünür hale gelir.
Kurulumdan sonra nasıl doğrulanır? Search Console, log ve site audit akışı
Kurulumdan sonra doğrulama yapmadan robots kararını tamamlanmış saymayın. Google’ın robots.txt rehberi, dosyanın kamuya açık erişilebilirliğini kontrol etmeyi ve Search Console tarafında test etmeyi öneriyor. Pratik akış şu sırayla daha güvenlidir: robots.txt erişimini doğrula, URL Inspection ile canlı URL’yi test et, gerekiyorsa header yanıtlarında X-Robots-Tag’i kontrol et, sonra loglarda Googlebot isteğini izle.
- robots.txt dosyasını tarayıcıda açın ve doğru hostta yayınlandığını doğrulayın.
- URL Inspection ile sayfanın canlı görünümünde noindex veya erişim durumunu kontrol edin.
- Header kontrolünde PDF ve medya dosyalarında X-Robots-Tag’in gerçekten döndüğünü teyit edin.
- Loglarda Googlebot isteği yoksa, sorun direktif değil erişim zinciri olabilir.
Bu akışı düzenli operasyon tarafına taşıdığınızda, çakışmaları manuel fark etmek yerine araç desteği gerekir. Burada site sağlığı taraması ile noindex-disallow çatışmalarını topluca görmek, sıralama takibi ile görünürlük etkisini izlemek ve AI görünürlük analizi ile yeni crawler sinyallerini aynı panelde takip etmek daha verimli bir akış kurar. Ahrefs veya SEMrush benzeri araçlarda bu kontroller farklı ekranlara dağılabilir; SEOYEN bunu Türkçe arayüz, TL bazlı operasyon planlaması ve yerel Türkçe destek avantajıyla tek platform mantığında toplar. Ekip ölçeğini planlayanlar için paket ve abonelik sayfası da ayrı bir referans noktasıdır.
2026 notu: 10 Aralık 2025’te duyurulan RSL 1.0 resmi standardı, yayıncıların AI arama uygulamaları için daha ayrıntılı lisans sinyalleri vermesine yeni bir katman ekledi. Ancak bu güncellik, Google’ın temel teknik ayrımını değiştirmedi: robots.txt hâlâ taramayı yönetir; meta robots ve X-Robots-Tag ise indeksleme ve sonuçta gösterim davranışını yönetir.
Adım Adım Bir URL için doğru robots yöntemini seçme ve doğrulama
Aşağıdaki akış, tek bir URL için hangi yöntemi seçmeniz gerektiğini hızlıca netleştirir. Özellikle geliştirme, içerik ve SEO ekiplerinin aynı sayfa üzerinde farklı beklentileri varsa bu sıra hata oranını ciddi biçimde düşürür.
- Hedefi netleştir: Önce amaç crawl tasarrufu mu, deindex mi, yoksa snippet kısıtı mı onu belirleyin. Amaç netleşmeden yazılan kural genelde doğru araçta uygulanmaz.
- Varlık tipini ayır: URL bir HTML sayfa mı, yoksa PDF, görsel veya başka bir dosya mı kontrol edin. Bu ayrım meta robots ile X-Robots-Tag seçimini doğrudan değiştirir.
- Doğru katmanda uygula: Desen bazlı crawl sınırı için robots.txt; HTML sayfada index kontrolü için meta robots; HTML dışı dosyada index kontrolü için X-Robots-Tag kullanın.
- Çakışmaları temizle: Aynı URL’de disallow, noindex, canonical ve nofollow kararlarının birbirini bozup bozmadığını kontrol edin. Özellikle noindex okunmadan önce crawl’u kapatmayın.
- Search Console ile doğrula: URL Inspection ve canlı testte Google’ın güncel sinyali gerçekten gördüğünden emin olun. Teoride doğru görünen kural, canlı cevapta eksik olabilir.
- Log ve görünürlük takibi yap: Son aşamada bot isteği ile indeks sonucunu birkaç tarama döngüsü boyunca izleyin. Böylece teknik değişiklik ile görünürlük sonucu arasında boşluk kalmaz.
Bu sıralamayı takip ettiğinizde “robots.txt mi, noindex mi?” sorusu karmaşık olmaktan çıkar. Asıl mesele tek bir kural ezberlemek değil, doğru hedef için doğru katmanı seçip bunu veriyle doğrulamaktır.
| Kriter | Robots.txt | Meta robots | X-Robots-Tag |
|---|---|---|---|
| Kontrol seviyesi | Site, dizin veya URL deseni | Tekil HTML sayfa veya şablon | HTTP yanıtı düzeyi, tekil ya da toplu dosya kuralı |
| Taramayı durdurma | Evet, temel kullanım alanı budur | Hayır | Hayır |
| İndeksten çıkarma | Hayır, tek başına güvenilir yöntem değildir | Evet, noindex ile | Evet, noindex ile |
| Snippet/gösterim kontrolü | Hayır | Evet | Evet |
| HTML dışı dosyalarda kullanım | Sadece crawl engeli için | Hayır | Evet, ideal yöntem |
| Yanlış yapılandırma riski | Noindex’i okunamaz hale getirebilir | Yanlış şablonda yaygınlaşabilir | Header seviyesinde unutulabilir |
| Doğrulama yöntemi | robots.txt erişimi ve Search Console | URL Inspection ve canlı test | Header kontrolü, URL Inspection ve log |
Kaynaklar
Sıkça Sorulan Sorular
Robots.txt, arama motoru botlarına sitenizde hangi URL desenlerini tarayabileceklerini veya tarayamayacaklarını söyleyen kök dizin dosyasıdır. Özellikle filtre sayfaları, parametreli URL’ler veya gereksiz crawl yükü oluşturan alanlarda işe yarar. Ancak temel görevi taramayı yönetmektir. tek başına bir sayfanın Google dizininden kesin olarak çıkmasını garanti etmez. Bu yüzden hedefiniz deindex ise robots.txt yerine ya da robots.txt’den önce noindex mantığını değerlendirmek gerekir.
Meta robots etiketi, HTML sayfanın içinde yer alan ve arama motorlarına o sayfa hakkında indeksleme ile gösterim talimatı veren bir etikettir. noindex, nofollow, nosnippet, max-snippet gibi değerler burada kullanılır. En yaygın kullanım noindex’tir. çünkü bir sayfanın dizinde görünmemesini istemenin en net yollarından biridir. Uygulamada çoğu ekip bunu head bölümünde, CMS SEO ayarlarında veya sayfa şablonlarında yönetir. Yine de botun bu etiketi okuyabilmesi için sayfaya erişebilmesi gerekir.
Hayır, aynı şey değildir. Robots.txt öncelikle botun URL’yi tarayıp taramayacağını kontrol eder. noindex ise sayfa tarandıktan sonra dizinde tutulmamasını isteyen bir indeksleme direktifidir. Kritik fark şu: Eğer URL’yi robots.txt ile kapatıp aynı sayfada noindex bekliyorsanız, bot sayfayı göremeyebilir ve noindex’i hiç okuyamaz. Bu yüzden crawl kontrolü ile index kontrolü aynı katmanda düşünülmemelidir. Teknik SEO’da en çok karışan konu da tam olarak budur.
Amaç bir URL’yi Google dizininden çıkarmaksa temel yöntem çoğu durumda noindex’tir. Çünkü noindex doğrudan indeks kararına hitap eder. Robots.txt ise taramayı sınırladığı için tek başına güvenilir bir deindex çözümü sayılmaz. Hatta yanlış kurgulanırsa, botun noindex’i okuyamamasına yol açabilir. Bu nedenle önce sayfanın erişilebilir olduğundan emin olmak, ardından noindex’i uygulamak ve Search Console ile doğrulamak daha doğru bir akıştır. Robots.txt ancak crawl bütçesi veya desen bazlı erişim ihtiyacı varsa ikinci katman olarak düşünülmelidir.
Genellikle HTML belgesinin head bölümüne yazılır. çünkü bakım, hata ayıklama ve şablon yönetimi açısından en temiz yerdir. CMS kullanan sitelerde SEO eklentileri veya tema ayarları üzerinden. özel geliştirme projelerinde ise şablon dosyaları, bileşenler ya da sunucu yanıt mantığı üzerinden yönetilebilir. Google teknik olarak bazı durumlarda body içindeki robots meta etiketlerini de okuyabilir, ancak operasyonel en iyi uygulama head içinde tutmaktır. Böylece ekipler sayfanın indeksleme kararını tek noktadan yönetebilir.
Robots.txt düz metin bir dosyadır ve alan adının kök dizinine yerleştirilir. örneğin example.com/robots.txt. Dosyada user-agent, allow ve disallow gibi kurallar kullanılır. Dosya bir alt klasöre konursa beklenen kapsamı sağlamaz. Yayına almadan önce tarayıcıdan erişilebilirliğini kontrol etmek, ardından Search Console tarafında parse edilip edilmediğini doğrulamak gerekir. Büyük sitelerde host, protokol ve alt alan adı kapsamının ayrı ayrı değerlendirilmesi de önemlidir. çünkü her robots.txt sadece bulunduğu host ve protokole uygulanır.
noindex, bir sayfanın arama motoru dizininde görünmemesini hedefler. nofollow ise sayfadaki linklerin takip edilmemesi yönünde sinyal verir. Bu yüzden biri indeksleme, diğeri link takibi katmanında çalışır. Sık hata, nofollow’u bir deindex çözümü gibi kullanmaktır. Oysa bir sayfayı sonuçlardan kaldırmak istiyorsanız odak noindex olmalıdır. nofollow daha çok belirli bağlantıların değerlendirilme biçimiyle ilgilidir. İkisi bazen birlikte kullanılsa da amaçları aynı değildir ve birbirinin yerine geçmez.