SEO Terimi

Robots.txt

Bir sitenin kök dizininde bulunan ve crawler'lara hangi URL'lerin taranmasına izin verildiğini bildiren standart metin dosyası.

Robots.txt, bir web sitesinin kök dizininde (örn. https://site.com/robots.txt) yer alan ve arama motoru bot’larına hangi URL’lerin taranmasına izin verildiğini bildiren standart metin dosyasıdır.

Tipik bir robots.txt yapısı:

User-agent: *
Disallow: /panel/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

Sitemap: https://site.com/sitemap.xml

Önemli kurallar:

  • Direktif değil tavsiyedir. Saygılı botlar uyar, kötü niyetli botlar görmezden gelir.
  • Disallow edilen sayfa indekslenmiyor değil, taranmıyor. Dış linkten gelirse Google URL’yi indeksleyebilir (içerik olmadan).
  • İndekslemeyi engellemek için noindex meta etiketi kullanın, robots.txt değil.
  • Sitemap URL’sini robots.txt’ye ekleyin (Search Console submit yerine değil, ek olarak).

Yaygın hatalar:

  • CSS/JS dosyalarını disallow etmek (sayfanın render olmasını engeller)
  • Tüm siteyi yanlışlıkla Disallow: / ile engellemek (geliştirme ortamından canlıya yanlışlıkla kopyalama)

İpucu: Robots.txt değişikliklerini Search Console’daki “robots.txt Tester” aracıyla doğrulayın. Tek bir hatalı satır tüm siteyi indeksten düşürebilir.

← Tüm sözlüğe dön