C'est quoi un robot ?

Les moteurs de recherche utilisent des logiciels pour parcourir internet et alimenter leurs bases. Ces logiciels sont appelés des "robots".
Ces outils "lisent" vos pages, les enregistrent et les indexent selon différents critères propres à chacun d'eux.

Comment les connaitre ?

Ces robots, en arrivant sur votre site, laissent une empreinte sur votre serveur dans le fichier log. Leur passage est repérable par une "signature" propre à chacun.

-Exemples : Altavista a nommé entre autre "mercator " un de ses robots.
Pour Inktomi c'est " slurp ", "googlebot" pour Google, etc.

Qui utilise des robots ?

En premier lieu, les moteurs tels que Google, Altavista, Fast, Hotbot.
Mais nous remarquons désormais d'autres familles, telles que :
- les systèmes de veille (surveillance de pages)
- les robots universitaires en phase de tests
- des sociétés privées pour alimenter des extranet ou intranet
- des organismes publics, gouvernementaux, de surveillance
- des robots aspirateurs d'adresses mails.

Pour compléter : liste des principaux robots par moteurs / crawlers

Suite : Logiciels et applicatifs