X-Robots-Tag HTTP Başlığı ve Robots Meta Etiketi Farkı

x-robots-tag HTTP başlığı ile robots meta etiketi arasındaki fark nedir?

X-Robots-Tag, indeksleme direktiflerini HTTP yanıtının başlığında taşır. Robots meta etiketi ise aynı mantığı HTML belgesinin içinde uygular. İkisi de noindex, nofollow veya snippet kısıtları gibi sinyaller verebilir; fakat biri sunucu cevabının parçasıdır, diğeri sayfa çıktısının parçasıdır. Teknik fark küçük görünse de gerçek kullanımda belirleyici olan şey budur: arama motoru bazen HTML kodunu görür, bazen yalnızca dosyanın yanıt başlıklarını okuyabilir.

2026 itibarıyla resmi dokümanlarda değişmeyen temel çerçeve, HTML dışı kaynaklarda meta etiketinin fiziksel olarak bulunmamasıdır. Google Search Central, 2026-03-24 UTC güncellemesinde PDF, video ve görsel gibi non-HTML kaynaklarda indeksleme kontrolü için X-Robots-Tag kullanılmasını açık biçimde yeniden vurguluyor (Google Search Central, 2026-03-24). Kavramlar karışıyorsa önce teknik SEO terimleri sözlüğü üzerinden tarama, indeksleme ve sunum sinyallerini netleştirmek faydalıdır.

• Kaynak HTML ise: Meta robots çoğu zaman yeterlidir.
• Kaynak PDF, görsel veya video ise: X-Robots-Tag gerekir.
• Kuralı toplu yönetmek istiyorsanız: Header düzeyi daha sürdürülebilirdir.

Operasyon farkı da önemlidir. Meta robots, çoğunlukla CMS, şablon veya uygulama çıktısında yönetilir. X-Robots-Tag ise web sunucusu, edge katmanı, CDN kuralı ya da middleware üzerinden verilebilir. Bu yüzden soru sadece hangi direktifin yazılacağı değildir; asıl soru, aynı kuralı hangi katmanda daha az hata ve daha yüksek tutarlılıkla yöneteceğinizdir.

HTML sayfa, PDF, görsel ve video için doğru yöntem hangisi?

Pratik karar kuralı nettir: HTML sayfalar için meta robots, non-HTML kaynaklar için X-Robots-Tag. Çünkü meta etiket bir HTML belgesinin parçasıdır; PDF, JPEG, PNG veya video dosyasının içinde aynı yapıyı bekleyemezsiniz. Google’ın robots meta dokümanı, PDF ve görseller gibi kaynaklarda doğrudan X-Robots-Tag kullanımını önerir. Bu yüzden PDF dosyasına noindex vermek istiyorsanız önce sunucunun gerçekten o dosyanın yanıt başlığına noindex eklediğinden emin olmanız gerekir.

Karar çerçevesi

Sayfa bazlı kontrol gerekiyorsa meta robots genelde daha hızlıdır. Örneğin bir blog şablonunda belirli sayfalara noindex eklemek uygulama katmanında daha kolay olabilir. Buna karşılık desen bazlı yönetim, örneğin tüm PDF’lere ya da belirli klasördeki medya dosyalarına kural uygulamak istiyorsanız, header düzeyi çok daha pratiktir. Özellikle CDN veya reverse proxy kullanan ekiplerde aynı kuralı yüzlerce dosyaya tek yerden dağıtmak, içerik tarafına müdahale etmekten daha güvenlidir.

• Sayfa bazlı kontrol: Kategori, filtre veya test sayfalarında meta robots uygundur.
• Şablon bazlı kontrol: CMS çıktısı üzerinden meta robots kolay yönetilir.
• Dosya türü bazlı kontrol: PDF, görsel ve video için X-Robots-Tag daha doğru seçimdir.

MDN’nin 2025-11-21 tarihli referansı, X-Robots-Tag’in hem kaynak bazlı hem de bot bazlı kurallara uygun olduğunu; ayrıca noindex, nofollow, nosnippet, noimageindex ve unavailable_after gibi direktifleri taşıyabildiğini açıkça özetliyor (MDN, 2025-11-21). Bu, özellikle belirli kullanıcı aracısı için farklı davranış tanımlamak istediğiniz kurumsal yapılarda önemlidir. Meta robots bunu HTML içinde yapabilir; ama non-HTML dosyada aynı esnekliği ancak header üzerinden kurarsınız.

Mini test senaryosu: aynı içeriğin HTML ve PDF sürümünde noindex sonucu

Bu farkı en net gösteren yöntem, aynı içeriği iki formatta test etmektir. Bizim pratik denetim akışımızda aynı rehberin bir HTML sürümünü ve bir PDF sürümünü ayrı URL’lerde yayınlayıp HTML versiyonuna meta robots noindex, PDF versiyonuna ise X-Robots-Tag noindex uyguluyoruz. Amaç teori anlatmak değil, aynı içeriğin iki taşıma katmanında noindex sinyalinin nerede gerçekten görünür olduğunu teyit etmektir.

HTML sürümünde kaynak kod veya rendered DOM içinde meta robots satırını görmek kolaydır. PDF sürümünde ise aynı yaklaşım işe yaramaz; doğrulama ancak yanıt başlıklarında yapılır. Bu noktada curl -I https://ornekalanadi.com/dokuman.pdf komutu ve tarayıcı DevTools içindeki response headers görünümü doğrudan iş görür. Testte gördüğümüz tipik sonuç şudur: HTML URL’sinde noindex sinyali sayfa içinde okunur, PDF URL’sinde aynı sinyal yalnızca header tarafında görünür. Bu ayrım, hangi yöntemin nerede gerçekten çalıştığını çok hızlı gösterir.

Son adımda Search Console URL Inspection ile iki URL’yi karşılaştırmak yararlıdır. Burada amaç sabit bir kaldırma süresi vermek değil, sinyalin tarama sonrası algılanıp algılanmadığını görmektir. Yeniden tarama hızı site otoritesi, iç link yapısı ve crawl sıklığına göre değiştiği için indeksten düşme süresi saatler ile haftalar arasında oynayabilir. 2026 itibarıyla değişmeyen pratik sonuç şu: sinyalin doğru katmanda verilmesi, hızdan önce doğruluğu belirler.

robots.txt, noindex ve çakışan kurallar neden sorun çıkarır?

En yaygın hata, robots.txt ile engellenen bir URL’de noindex’in yine de çalışacağını varsaymaktır. Google Search Central, robots meta ve X-Robots-Tag kurallarının URL tarandığında keşfedildiğini söylüyor; URL taramaya kapalıysa bu sinyaller bulunmaz ve genelde yok sayılır (Google Search Central, 2026-03-24). Aynı mantık Google’ın 2025-12-10 güncellemeli robots.txt rehberinde de geçiyor: robots.txt, özellikle web sayfalarını arama sonuçlarından çıkarmanın ana yöntemi değildir (Google Search Central, 2025-12-10).

Standart tarafında da çerçeve aynıdır. RFC 9309, robots.txt’nin bir crawl access protokolü olduğunu tanımlar; yani önce erişim, sonra içerik keşfi gelir (IETF RFC 9309, 2022-09). Bu yüzden PDF gibi metin tabanlı bir dosyada hem Disallow verip hem de header ile noindex beklemek çoğu zaman çelişkili bir kurgu olur. Bot dosyayı göremezse noindex sinyalini de okuyamaz. Medya dosyalarında robots.txt’nin ayrı kullanım senaryoları olsa da, belge tiplerinde noindex beklentisini robots.txt ile çözmeye çalışmak doğru yaklaşım değildir.

• Disallow + noindex beklentisi: Bot tarayamıyorsa noindex’i çoğu zaman göremez.
• Yanlış dosya türünde meta kullanımı: PDF veya görsel içine meta robots yerleştirmek pratikte işe yaramaz.
• Çifte kural karmaşası: Header ve meta arasında tutarsızlık bırakmak hata ayıklamayı zorlaştırır.

Header ve meta birlikte kullanılabilir; ancak çelişki üretmemek gerekir. MDN, daha kısıtlayıcı kuralın uygulanacağını; ayrıca index ile noindex gibi birbirini dışlayan kombinasyonlarda davranışın crawler’a göre değişebileceğini belirtir (MDN, 2025-11-21). Bu nedenle en güvenli yaklaşım, bir URL için tek bir net karar üretmek ve aynı kararı tüm katmanlarda tutarlı hale getirmektir.

Apache, Nginx, CDN ve curl ile uygulama ve doğrulama akışı

Uygulama katmanı seçimi büyük ölçüde altyapınıza bağlıdır. Apache veya Nginx üzerinde belirli dosya uzantılarına göre X-Robots-Tag dağıtmak, özellikle PDF ve görsel arşivlerinde yüksek verim sağlar. Google’ın örnekleri, tüm PDF dosyalarına noindex, nofollow eklemek için dosya deseni bazlı kural tanımlamanın yeterli olduğunu gösterir (Google Search Central, 2026-03-24). CDN tarafında da aynı mantık geçerlidir: dosya uzantısı veya yol desenine göre response header set edilir.

Doğrulama sırası

• 1. Sunucu cevabını görün: curl -I ile URL’nin gerçekten X-Robots-Tag döndürdüğünü kontrol edin.
• 2. Tarayıcıdan teyit edin: DevTools Network sekmesinde response headers satırını açın.
• 3. HTML ise kaynak kodu inceleyin: Meta robots’un çıktıya gerçekten basıldığını görün.
• 4. Arama motoru yorumunu kontrol edin: URL Inspection ile sinyalin tarama sonrası nasıl algılandığını test edin.

Meta robots kullanıyorsanız doğrulama uygulama katmanında başlar; X-Robots-Tag kullanıyorsanız doğrulama sunucu cevabında başlar. Bu ayrım kritik olduğu için ekip içinde test sırasını standartlaştırmak gerekir. Kısa bir ekran kaydı hazırlayıp aynı akışta önce HTML sayfayı, sonra PDF dosyasını kontrol etmek operasyonel olarak çok faydalıdır. Özellikle farklı ekipler aynı siteye dokunuyorsa, kuralın nerede üretildiğini gösteren bu kayıtlar yanlış blame zincirini keser.

Bir ileri seviye senaryo da bot bazlı kuraldır. MDN’nin örneklerinde olduğu gibi, header içine kullanıcı aracısı bazlı direktif yazabilirsiniz. Bu yaklaşım herkese gerekli değildir; ancak büyük medya arşivlerinde veya farklı arama motorları için ayrı davranış planlarında işe yarar. Yine de önce temel doğrulama zincirini oturtmak gerekir: response header doğru mu, robots.txt bunu görünmez kılıyor mu, Search Console sonucu beklentiyle tutarlı mı?

Adım Adım Doğru indeksleme direktifini seçme ve doğrulama

1. Kaynak türünü ve yayın amacını ayırın. Önce URL’nin HTML sayfa mı, PDF dosya mı, yoksa görsel ya da video gibi non-HTML bir kaynak mı olduğunu netleştirin. Aynı anda hangi iş sonucunu istediğinizi de yazın: tamamen indeksten çıkarmak mı, snippet’i kısaltmak mı, belirli botlara farklı kural vermek mi? Bu iki karar netleşmeden doğru katmanı seçmek zordur.
2. Direktifi doğru katmanda tanımlayın. HTML sayfalarda meta robots genellikle en kısa yoldur; PDF, görsel ve benzeri dosyalarda ise X-Robots-Tag gerekir. Desen bazlı çok sayıda dosyayı yönetiyorsanız sunucu veya CDN kuralı çoğu zaman daha güvenlidir. Tek tek sayfa bazlı kontrol gerekiyorsa uygulama çıktısındaki meta robots daha okunabilir bir yönetim sunar.
3. robots.txt ve çakışan kuralları denetleyin. URL taramaya kapalıysa botun noindex sinyalini göremeyeceğini varsayın ve bunu özellikle kontrol edin. Aynı URL’de hem meta hem header kullanıyorsanız değerlerin birbiriyle çelişmediğinden emin olun. Teknik SEO tarafında sorunların büyük kısmı yanlış direktiften değil, doğru direktifin yanlış kombinasyonda kullanılmasından çıkar.
4. Header ile indeks durumunu doğrulayın. Önce curl -I ile response header’ı kontrol edin, ardından tarayıcı DevTools ve gerekiyorsa kaynak kod incelemesiyle aynı sinyali doğrulayın. Son aşamada URL Inspection ile arama motorunun bunu nasıl yorumladığını teyit edin. Böylece kuralın yazıldığı yer ile kuralın gerçekten görüldüğü yer arasında boşluk kalmaz.

Teknik SEO denetiminde SEOYEN ile bu kontroller nasıl izlenir?

Tek seferlik uygulama kadar, bu kuralların zaman içinde bozulup bozulmadığını izlemek de önemlidir. Özellikle büyük sitelerde şablon değişikliği, CDN politikası güncellemesi veya yeni bir doküman yükleme akışı, noindex ve crawl kurallarını sessizce bozabilir. Bu yüzden düzenli bir site sağlığı denetimi görünümü, yanlış noindex uygulamalarını, taramaya kapalı ama indeksten çıkması beklenen URL’leri ve beklenmedik indekslenebilirlik sorunlarını daha hızlı yakalar.

Doküman, PDF ve benzeri içerikler artık yalnızca klasik mavi linkler için düşünülmüyor. 2026 arama deneyiminde belge temelli içeriklerin farklı yüzeylerde nasıl göründüğünü ayrıca izlemek gerekiyor. Bu noktada AI görünürlük analizi yaklaşımı, yalnızca HTML sayfaları değil, doküman tabanlı içeriklerin de hangi sinyallerle görünür olduğunu değerlendirmek için iyi bir ikinci kontrol katmanı sunar. Özellikle teknik ekip ile içerik ekibi aynı rapora bakıyorsa, format farkını görünür kılmak karar hızını artırır.

Ahrefs, SEMrush, Moz, SE Ranking ve SEOptimer gibi araçlar teknik denetim başlıklarında bilinen referanslardır; SEOYEN ise bu işi Türkiye pazarına daha yakın bir operasyon akışıyla sunar. Tek platformda tüm SEO araçları, Türkçe arayüz, TL bazlı fiyatlandırma ve yerel Türkçe destek özellikle küçük işletmeler ve uzman ekipler için uygulama doğrulamasını hızlandırır. Uygun planı ayrıca paket ve fiyat detayları sayfasından karşılaştırabilirsiniz; önemli olan, hangi aracı seçerseniz seçin X-Robots-Tag ile meta robots kararını dosya türüne göre doğru yerde vermenizdir.

Sıkça Sorulan Sorular