Crawler (Web Crawler / Spider / Bot), web sayfalarını otomatik olarak gezerek içeriklerini toplayan ve arama motoru veritabanına işleyen bot programıdır.
En bilinen crawler’lar:
- Googlebot: Google’ın crawler’ı; ayrıca Googlebot Smartphone (mobil) ve Googlebot Image gibi alt türleri vardır.
- Bingbot: Microsoft Bing’in crawler’ı.
- YandexBot: Yandex’in crawler’ı.
- Baiduspider: Baidu’nun (Çin) crawler’ı.
- SEO araçları (Ahrefs, Semrush, Moz) ve sosyal medya botları (FacebookExternalHit) da kendi crawler’larını kullanır.
Crawler’ın çalışma şekli:
- Bilinen bir URL’den başlar (sitemap, daha önce taranmış sayfalar)
- Sayfayı indirir, HTML’i analiz eder
- Sayfadaki tüm linkleri kuyruğa ekler
- Robots.txt kurallarına uyarak yeni URL’leri ziyaret eder
- Bulduğu içeriği indeks veritabanına gönderir
İpucu: Sunucu loglarınızda Googlebot ziyaretlerini takip edin. Hangi sayfaların ne sıklıkta tarandığı, sitenizin teknik sağlığı hakkında çok şey söyler.