robots.txt

robots.txt
Est un fichier qui est / devrait être placé dans le dossier racine d’un site Web et fournit des directives pour les moteurs de recherche quant aux pages du site qui ne devraient pas être indexées.