Googlebot

Googlebot
Тип

Пошуковий робот

Автор

Google

Сайт

GoogleBot FAQ

Googlebot - пошуковий робот компанії Google, використовуваний для сканування світової мережі і поповнення пошукового індексу системи Google. Робот починає сканування кожного окремого сайту з отримання списку URL-адрес веб-сторінок, створеного за результатами попередніх сеансів, і поповнює його даними з файлів Sitemap; переглядаючи сторінки, робот шукає посилання (SRC і HREF) і додає їх в список сторінок, що підлягають скануванню .

Веб-майстри можуть управляти роботом за допомогою команди у файлі robots.txt або мета-тега ; Google у списку своїх інструментів для веб-майстрів дає можливість перевірити "бачення" сайту роботом. IP-адреси бота час від часу змінюються.
При скануванні Googlebot вказує user-agent:

  • Googlebot/2.1 (+http://www.googlebot.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot-Image/1.0 (павук скануючий зображення)