Bot (Robot), internette otomatik görevler gerçekleştiren yazılım programlarına verilen genel addır. SEO bağlamında bot terimi en sık crawler ile eş anlamlı kullanılır, ancak bot ekosistemi çok daha geniştir.
SEO’yu ilgilendiren bot kategorileri:
- Arama motoru botları: Googlebot, Bingbot, YandexBot. Sayfaları indekslemek için tarar.
- AI bot’ları: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended. AI eğitim verisi ve LLM cevapları için tarar.
- Sosyal medya botları: FacebookExternalHit, Twitterbot, LinkedInBot. Paylaşım önizlemesi (unfurl) için tarar.
- SEO araç botları: AhrefsBot, SemrushBot, MJ12bot. Backlink ve sıralama analizi için tarar.
- Spam ve kötü niyetli botlar: İçerik kazıma, brute-force giriş, form spam.
Modern SEO’da AI botlarına nasıl yaklaşılacağı stratejik bir karardır. AI eğitimine katılmak isterseniz erişim açık bırakılır, içeriğinizin kopyalanmasını istemiyorsanız robots.txt ile engellenir.
İpucu: Sunucu loglarını analiz ederek hangi botların sitenizi ne sıklıkta ziyaret ettiğini görün. Aşırı spam bot trafiği sunucu kaynaklarınızı tüketebilir.