L'utilité du fichier "robots"

Toutes les pages de votre site sont potentiellement "indexables". C'est-à-dire que toutes les urls peuvent être enregistrées.

Toutefois, avec des FRAMES, des pages DYNAMIQUES, du FLASH oudes sites marchands, il faut limiter le parcours des moteurs, leur interdire certaines pages.
Rien de plus pénalisant que d'arriver sur un fragment de page !
Exemple : absence de menu, absence de bandeau, absence d'image, ...
Le visiteur doit impérativement arriver par la porte d'entrée choisie

C'est quoi un fichier "robots"

Il se présente sous un format texte (d'où l'extension txt), pèse moins de 1 Ko.
Il se positionne à la racine du site, sur le serveur.
Exemple : www.adcom.fr/robots.txt.
Il n'en faut qu'un, inutile d'en mettre dans chaque répertoire.

Quel est le contenu de ce fichier ?

Il faut indiquer ici les pages qui ne doivent pas être visitées par les robots des moteurs. La syntaxe est :

# robots.txt pour le site http://www.adcom.fr
User-agent: *
Disallow: /noel/
Disallow: /prive/

La ligne "User-agent : *" indique que tous les moteurs sont concernés.
La ligne "Disallow : /noel/" interdit l'accès des moteurs à tout le répertoire noel, toutes les pages sous celui-ci ne seront pas indexées.

Quelques règles de base

Vous pouvez interdire l'accès à certaines pages.
Vous pouvez interdire l'accès à tout le site.
Cette commande permet donc de bloquer certains accès.
Un retour chariot est nécessaire en fin de ligne de commande.

Le texte original en anglais est disponible à l'adresse suivante :
www.robotstxt.org
Le site voilà de France Télécom donne aussi quelques explications à la page :
www.voila.fr/Informations/Moteur_guide/donnee_tech.html#four

Suite...