robots.txt : définition
Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots des moteurs de recherche.
Ce fichier robots.txt précise les pages qui peuvent ou non être indexées par les robots.
Ainsi tout robot de moteur de recherche commence l'exploration d'un site web en parcourant le fichier robots.txt présent à la racine du site.
robots.txt exemple
Vous pouvez consulter le fichier robots.txt du site CLEATIS.
Pour en savoir plus, vous pouvez consulter l'article dédié de Commentcamarche.