Le robot Google (GoogleBot en Anglais), est le "programme informatique" (aussi appelé crawler) de Google qui parcoure le Web en permanence pour répertorier dans son index l’ensemble des pages et des modifications qui ont pu avoir lieu.
Le robot de Google permet au moteur de recherche de mieux classer vos pages selon les informations qu’elles contiennent et de les référencer dans les pages de résultats, appelées SERP.
Fréquence de Googlebot sur votre site
En général, un site Web est visité plusieurs fois par jour par le GoogleBot. Toutefois, les mises à jour effectuées peuvent mettre un peu de temps avant d’apparaître dans Google. Ce délai peut varier de quelques heures à quelques jours. Il est cependant possible de demander un passage forcé du GoogleBot sur son site via Google Webmaster Tools.
L'indexation d'un site via Googlebot
L’indexation d’un site par le GoogleBot peut être désactivée à l’aide du fichier robots.txt (utilisé par exemple pour les sites en construction).