Définition :
Les moteurs de recherche utilisent des logiciels pour parcourir internet et alimenter leurs bases. Ces logiciels sont appelés des " robots "
Ces outils " lisent " vos pages et les enregistrent, les indexent selon différents critères propres à chacun d'eux.

Comment les connaitre ?
Ces robots, en arrivant sur votre site, laissent une empreinte sur votre serveur dans le fichier log. Leur passage est repérable par une "signature" propre à chacun.

• Exemple : altavista a nommé entre autre " mercator " un de ses robots.
Pour inktomi c'est " slurp ", "googlebot" pour google, etc.

Qui utilise des robots ?
En premier lieu, les moteurs tels que Altavista, Google, fast, hotbot, Voila, ...
Mais nous remarquons désormais d'autres familles, telles que :
- les systèmes de veille (surveillance de pages)
- les robots universitaires en phase de tests
- des sociétés privés pour alimenter des extranet ou intranet
- des organismes publics, gouvernementaux de surveillance
- des robots aspirateurs d'adresses mail

Voici une liste non-exaustive des principaux robots connus :