Hızlı Cevap
Robots.txt, arama motoru botlarının hangi sayfaları tarayıp tarayamayacağını belirler (tarama kontrolü). Meta robots etiketi — noindex, nofollow, nosnippet gibi direktiflerle — tarama gerçekleştikten sonra sayfanın dizine eklenip eklenmeyeceğini belirler (indeksleme kontrolü). Bir sayfayı arama sonuçlarından çıkarmak için yalnızca noindex kullanılmalı; robots.txt bu garantiyi vermez.
Önemli Noktalar
- Robots.txt taramayı, meta robots etiketi indekslemeyi kontrol eder — ikisi farklı adımlardır.
- Disallow ile noindex aynı anda kullanmak Google’ın noindex direktifini okumasını engeller.
- Bir sayfayı dizinden kaldırmak için yalnızca noindex yeterlidir; robots.txt bu garantiyi vermez.
- PDF ve statik dosyalar için meta etiketi değil X-Robots-Tag HTTP başlığı kullanılmalıdır.
- 2026 itibarıyla GPTBot ve ClaudeBot için ayrı robots.txt user-agent kuralları standart hale geldi.
Tarama mı, İndeksleme mi? Temel Farkı Anlamak
Googlebot bir URL’yi keşfettiğinde iki ayrı adım atar: önce tarar (crawl), ardından dizine ekler (index). Tarama aşamasında bot sayfanın HTML içeriğini indirir; indeksleme aşamasında bu içerik analiz edilerek arama motoru veritabanına kaydedilir. Biri olmadan diğeri gerçekleşmez: Googlebot önce taramalı, ardından indeksleyebilir.
Bu iki adımı karıştırmak pratikte ciddi hatalara yol açar. Pek çok site sahibi, bir sayfayı arama sonuçlarından gizlemek için robots.txt’e Disallow kuralı ekler; oysa bu yöntem yalnızca taramayı engeller, indekslemeyi değil. Dış bir siteden ilgili URL’ye bağlantı verilmişse Google o URL’yi hâlâ dizine ekleyebilir — üstelik sayfa içeriğini hiç görmeden. Teknik SEO terimlerini netleştirmek için sözlük kaynağına başvurarak bu ayrımı ekibinizle paylaşabilirsiniz.
Basit bir benzetme: robots.txt Googlebot’un kapıdan içeri girmesini engelleyen bekçidir. Meta robots etiketi ise Googlebot içeri girdikten sonra devreye giren ve “bu içeriği veritabanına ekleme” diyen direktiftir. Her ikisi de arama motoru erişimini yönetir; ancak farklı katmanlarda çalışırlar ve biri diğerinin yerini tutamaz.
Robots.txt Nedir? Tarama Kontrolünün Sınırları ve 2026 Güncellemeleri
Robots.txt, sitenin kök dizininde yer alan düz metin dosyasıdır — örneğin example.com/robots.txt. Üç temel direktifle çalışır:
- User-agent: Kuralın hangi bot için geçerli olduğunu belirtir; Googlebot, Bingbot veya * ile tüm botlar hedeflenebilir.
- Disallow: Erişimi kısıtlanan yolu tanımlar; klasör ya da dosya yolu olarak girilir.
- Allow: Disallow kapsamına rağmen erişilebilmesi gereken yollar için istisna tanımlar.
Bu yapı site geneli tarama kontrolü sağlar; ancak sayfa bazında veya içerik türüne göre ince ayar yapılamaz. Tüm /blog/ klasörünü engelleyebilirsiniz, ama yalnızca belirli bir etiket sayfasını hedef alamazsınız. Robots.txt’in en kritik sınırı bir protokol tavsiyesi olmasıdır — zorunlu bir standart değil. Google ve Bing bu dosyaya uymayı taahhüt eder; kötü niyetli botlar tamamen görmezden gelebilir. Bu nedenle robots.txt asla gizli verileri korumak amacıyla değil, yalnızca tarama bütçesini yönetmek için kullanılmalıdır.
2026 itibarıyla robots.txt yönetimi yeni bir boyut kazandı: AI görünürlüğünü ve yapay zeka tarayıcılarının sitenize erişimini yönetmek artık ayrı user-agent kuralları gerektiriyor. GPTBot (OpenAI), ClaudeBot (Anthropic) ve Google-Extended gibi yapay zeka tarayıcıları, sitenizin LLM eğitim verisi olarak kullanılıp kullanılmayacağını belirlemek üzere kendi satırlarıyla yönetilmelidir:
- User-agent: GPTBot / Disallow: / — OpenAI tarayıcısını engeller
- User-agent: ClaudeBot / Disallow: / — Anthropic tarayıcısını engeller
- User-agent: Google-Extended / Disallow: / — Google’ın AI eğitim tarayıcısını engeller
Google Search Central’ın 2025-2026 dokümantasyonuna göre bu botların ayrı satırlarla tanımlanması artık standart teknik SEO pratiğinin ayrılmaz parçasıdır. Genel Googlebot kuralları bu botları kapsamaz; ayrı satır yazılmadığında erişim kısıtlanmaz.
Robots Meta Etiketi Nedir? Noindex, Nofollow ve Tüm Direktifler
Meta robots etiketi, HTML belgelerinin <head> bölümüne eklenen ve arama motorlarına sayfa düzeyinde yönergeler veren bir elemandır. Doğru yazım formatı şöyledir:
<meta name="robots" content="noindex, nofollow">
Bu etiket çeşitli direktifleri destekler. Google Search Central’ın resmi spesifikasyonuna göre en yaygın kullanılanlar şunlardır:
- noindex: Sayfanın arama sonuçlarına eklenmesini engeller.
- nofollow: Sayfadaki bağlantıların PageRank iletmesini durdurur.
- nosnippet: Arama sonuçlarında metin özeti gösterilmesini engeller; AI Overview kutucuklarında içerik kullanımını da kısıtlar.
- max-snippet: Gösterilebilecek maksimum metin özeti karakter sayısını belirler.
- noarchive: Google’ın önbelleğe alınmış sayfa sürümünü kaldırır.
- noimageindex: Sayfadaki görsellerin arama indeksine eklenmesini engeller.
2025-2026 döneminde AI Overview kutucuklarının arama sonuçlarında yaygınlaşmasıyla birlikte nosnippet ve max-snippet direktifleri daha fazla önem kazandı. İçeriğinizin yapay zeka özetlerinde kullanılmasını sınırlamak istiyorsanız bu direktifler birincil araçlarınız olacaktır.
Meta etiketinin önemli bir sınırı vardır: yalnızca HTML dosyalarına eklenebilir. PDF’ler, görseller ve diğer statik dosyalar için X-Robots-Tag HTTP yanıt başlığı kullanılmalıdır. Bu başlık sunucu yapılandırması (Apache, Nginx) ya da CMS aracılığıyla eklenir. MDN Web Docs’a göre X-Robots-Tag, HTML dışı her kaynak türüne aynı direktifleri uygulamanızı sağlayan sunucu taraflı eşdeğerdir; teknik açıdan meta etiketiyle aynı sonucu üretir.
Disallow + Noindex Çakışması: Kendi Kendini Bozan Yapılandırma
Teknik SEO’nun en yaygın ve en maliyetli çakışma senaryosu şudur: robots.txt’te Disallow kuralı aktif, aynı sayfada noindex etiketi tanımlı. Teoride bu kombinasyon çift güvence gibi görünür; pratikte tam tersine çalışır.
Temel prensip: Google, noindex direktifini okumak için sayfayı taramak zorundadır. Disallow kuralı bu taramayı engellediğinde Google noindex etiketini hiçbir zaman göremez. Sayfa dış bağlantılar üzerinden öğrenilmişse içeriğine erişilmeden hâlâ indekslenebilir — başlık ve snippet olmadan.
Bunu doğrulayan bir site gözleminde şu durum tespit edildi: Hem robots.txt Disallow hem de noindex uygulanan URL’ler, Google Search Console’da «Keşfedildi ama dizine alınmadı» statüsünde kilitlendi. Bot URL’yi dış bağlantılardan öğrenmişti; tarayamadığı için noindex direktifini de göremiyordu. Disallow kuralı kaldırıldıktan sonra Google sayfayı yeniden taradı, noindex direktifini işledi ve URL birkaç gün içinde kapsam raporundan temizlendi. Bu süreç, çakışmanın somut maliyetini ve çözüm yolunu net biçimde ortaya koymaktadır.
Disallow ve noindex’in birlikte kullanılmasının meşru olduğu tek senaryo şöyle işler: önce noindex eklenerek Google’ın direktifi okuması beklenir; ardından tarama bütçesini korumak amacıyla Disallow eklenebilir. Bu sıralama zorunludur. Her iki kural aynı anda eklenirse noindex hiçbir zaman işlenmez ve istenen sonuç elde edilemez.
Hangi Durumda Hangisini Kullanmalısın? Pratik Karar Rehberi
Doğru aracı seçmek için amacınızı önce netleştirin. Aşağıdaki rehber teknik SEO’da en sık karşılaşılan dört senaryoyu kapsar:
- Sayfayı arama sonuçlarından tamamen kaldırmak istiyorsanız: Yalnızca noindex kullanın. Sayfanın Googlebot tarafından erişilebilir olması şarttır; robots.txt indeksleme garantisi vermez çünkü dış bağlantılar üzerinden öğrenilen URL’ler indekslenmeye devam edebilir.
- Yalnızca tarama bütçesini (crawl budget) korumak istiyorsanız: robots.txt Disallow kullanın. Dahili araç sayfaları, geliştirici ortamı veya yinelenen parametre URL’leri için bu tercih uygundur.
- PDF veya statik dosyayı kontrol etmek istiyorsanız: X-Robots-Tag HTTP başlığını sunucu yapılandırmasına ekleyin; meta etiketi bu dosya türlerine uygulanamaz.
- Yalnızca link otoritesini kesmek istiyorsanız: nofollow direktifini kullanın; noindex’e gerek yoktur ve sayfa arama sonuçlarında görünmeye devam eder.
SEOYEN’in site sağlığı taraması yaparak robots kuralı çakışmalarını otomatik tespit etme özelliği bu kararları vermeyi kolaylaştırır. Ahrefs veya SEMrush gibi uluslararası platformlar benzer sorunları raporlasa da SEOYEN bu analizi Türkçe arayüz ve TL bazlı güncel fiyatlandırma ile sunar; Disallow+noindex çakışmasını, «Keşfedildi ama dizine alınmadı» statüsündeki sayfaları ve yanlış yapılandırılmış URL’leri tek Türkçe rapordan görebilirsiniz.
Bir Sayfayı Google Dizininden Doğru Şekilde Kaldırma
- robots.txt’te Disallow kuralı varsa kaldırın: Google noindex direktifini okumak için sayfayı taramalıdır. Disallow aktifken bot sayfaya erişemez ve direktif işlenemez. Kuralı kaldırdıktan sonra Search Console robots.txt Test Aracı ile değişikliği doğrulayın; ancak onay aldıktan sonra sonraki adıma geçin.
- HTML head bölümüne noindex etiketini ekleyin: <meta name="robots" content="noindex"> etiketini sayfanın <head> bloğuna yerleştirin. WordPress kullanıyorsanız Yoast SEO veya Rank Math arayüzünden etkinleştirebilirsiniz. Etiketin hem masaüstü hem mobil sürümde doğru uygulandığını kaynak kodda kontrol edin.
- Google Search Console’da URL’yi denetleyin ve indeksletme talep edin: URL Denetleme aracını açın, ilgili URL’yi girin ve «Canlıda Test Et» seçeneğiyle noindex’in uygulandığını onaylayın. Ardından «Dizine Eklenmesini İste» düğmesiyle süreci hızlandırın. Google, 2025 güncellemesiyle bu aracın kapasitesini ve şeffaflığını artırdı.
- Kapsam raporundan düştüğünü doğrulayın: Birkaç gün içinde Search Console Kapsam raporunda sayfanın «Dizine alınmayan — noindex etiketi» kategorisinde görünmesi beklenir. Bu, direktifin başarıyla işlendiğinin ve sayfanın artık arama sonuçlarında yer almadığının göstergesidir.
Noindex Kaldırıldıktan Sonra Ne Olur? Yeniden İndekslenme Süreci
Noindex etiketi kaldırıldıktan sonra Google’ın sayfayı yeniden taraması ve dizine eklemesi otomatik olarak gerçekleşir; ancak bu süre değişkendir. Küçük ve sık taranan siteler için birkaç gün yeterli olabilirken büyük e-ticaret sitelerinde crawl bütçesi kısıtları nedeniyle haftalar sürebilir.
Süreci hızlandırmak için Google Search Console URL Denetleme aracını kullanın. Google’ın 2025’te yaptığı güncellemeyle anlık indeksletme talebi kapasitesi artırıldı ve süreç daha şeffaf hale getirildi. «Canlıda Test Et» seçeneğiyle noindex’in kaldırıldığını doğruladıktan sonra «Dizine Eklenmesini İste» seçeneğiyle süreci başlatın. Google Search Central’ın dokümantasyonuna göre bu talep, organik tarama beklemekten önemli ölçüde daha hızlı sonuç verir.
Büyük e-ticaret sitelerinde toplu noindex kaldırma stratejisi crawl budget yönetimiyle birlikte planlanmalıdır. Tüm URL’leri aynı anda serbest bırakmak yerine öncelikli kategori ve ürün sayfalarından başlanması önerilir; böylece Googlebot en değerli içerikleri önce işler. XML site haritasını güncelleyerek ve iç bağlantı yapısını güçlendirerek bu süreci destekleyebilirsiniz. (Kaynak: Google Search Central — Block Search Indexing with noindex, 2025)
| Özellik | robots.txt | Robots Meta Etiketi (noindex vb.) |
|---|---|---|
| Kontrol türü | Tarama engeli (crawling) | İndeksleme engeli (indexing) |
| Kapsam | Site geneli (klasör/yol bazlı) | Sayfa bazlı (her URL ayrı) |
| Google uyma garantisi | Evet (büyük arama motorları) | Evet (Google her zaman uygular) |
| PDF/statik dosya desteği | Evet | Hayır (X-Robots-Tag gerekir) |
| Kötü niyetli bota etkinlik | Düşük (protokol tavsiyesi) | Düşük (aynı kısıt geçerli) |
| 2026 YZ tarayıcı desteği | Evet (GPTBot, ClaudeBot satırları) | Evet (nosnippet direktifi ile) |
| Uygulama yeri | Sunucu kök dizini (/robots.txt) | HTML head veya X-Robots-Tag HTTP header |
| Yanlış kullanım riski | Disallow+noindex çakışması; dış link ile indeksleme | robots.txt olmadan crawl bütçesi israfı |
Kaynaklar
Sıkça Sorulan Sorular
Hayır, iki farklı mekanizmadır. Robots.txt Googlebot'un sayfayı taramasını engeller. noindex ise tarama gerçekleşse bile sayfanın dizine eklenmemesini sağlar. İkisi Googlebot'un farklı adımlarını kontrol eder ve birbirinin yerine kullanılamaz. Robots.txt'teki Disallow kuralı, sayfanın dizinden çıkarılmasını garanti etmez: dış bağlantılar üzerinden öğrenilen URL'ler hâlâ indekslenebilir. Kesin indeksleme kontrolü için yalnızca noindex direktifi — meta etiket veya X-Robots-Tag aracılığıyla — kullanılmalıdır.
Noindex kullanılmalıdır. Robots.txt ile engellenen sayfalar, Google'ın dış bağlantılardan öğrendiği URL'ler aracılığıyla hâlâ dizine eklenebilir. bu durumda sayfa başlık ve snippet olmadan arama sonuçlarında listelenir. Kesin dizin kaldırma için sayfanın Googlebot tarafından erişilebilir olması, ancak <.meta name=".robots". content=".noindex".>. etiketi taşıması gerekir. Robots.txt bu garantiyi hiçbir koşulda sağlamaz. yanlış araç seçimi sayfanın istemeden indekslenmiş kalmasına neden olur.
Evet, görünebilir. Google URL'yi dış bağlantılardan öğrenirse, sayfayı tarayamasa bile arama sonuçlarında listeleyebilir — başlık ve meta açıklama gösterilemeden yalnızca URL ve jenerik bir metin görünür. Bu durum, sayfanın dizine eklendiği ancak içeriğinin görüntülenemediği anlamına gelir. Robots.txt indeksleme garantisi vermez. bu nedenle gizleme ya da dizinden kaldırma amacıyla kesinlikle kullanılmamalıdır.
Teknik olarak kullanılabilir, ancak kendi kendini bozan bir yapılandırmadır. Google noindex etiketini okumak için sayfayı taramak zorundadır. Disallow kuralı bu taramayı engellediğinden noindex hiçbir zaman işlenmez. Sonuç: sayfa indekslenebilir kalır çünkü Google direktifi görememiştir. Nadir meşru senaryo şöyle işler: önce noindex eklenerek Google direktifi okur. ardından tarama bütçesini korumak amacıyla Disallow eklenebilir. Bu sıralama zorunludur, aksi hâlde sistem işlevsiz kalır.
X-Robots-Tag, HTTP yanıt başlığı olarak gönderilen bir indeksleme direktifidir. Meta etiketi eklenemeyen PDF, görsel ve diğer dosya türlerini kontrol etmek için kullanılır. Sunucu yapılandırması (Apache .htaccess veya Nginx conf) ya da CMS aracılığıyla eklenir. Meta robots etiketiyle aynı direktifleri — noindex, nofollow, nosnippet, noarchive vb. — destekler ve teknik açıdan eşdeğerdir. HTML dışı tüm kaynaklar için X-Robots-Tag, meta etiketinin yerine geçen zorunlu alternatiftir.
İkisi farklı şeyleri kontrol eder. Noindex, sayfanın arama sonuçlarına eklenmesini engeller — sayfa Google'ın veritabanında yer almaz. Nofollow ise sayfadaki bağlantıların PageRank (bağlantı otoritesi) iletmesini engeller — sayfa dizinde kalır ancak sayfadan çıkan bağlantılar oy taşımaz. İkisi birlikte kullanılabilir: <.meta name=".robots". content=".noindex, nofollow".>.. Yalnızca nofollow uygulandığında sayfa arama sonuçlarında görünmeye devam eder.
Büyük yapay zeka şirketlerinin tarayıcıları resmi olarak robots.txt'e uymayı taahhüt eder. OpenAI'ın GPTBot'u ve Anthropic'in ClaudeBot'u, web sitelerinin robots.txt dosyasında tanımlanan kısıtlamaları dikkate aldıklarını açıklamaktadır. 2025-2026 itibarıyla bu botları ayrı user-agent satırlarıyla yönetmek standart teknik SEO pratiği haline geldi. Ancak bu taahhüt gönüllülük esasına dayalıdır. kötü niyetli botlara karşı robots.txt yeterli değildir. İçerik lisanslama ve hukuki yollar ek önlem olarak değerlendirilebilir.