-
Demander aux moteurs d’oublier vos contenus
- Se connecter à Google Webmaster Tools (nécessite un compte Google).
- S’identifier comme propriétaire du site
- Aller sur le formulaire de demande de suppression de contenu indexé
Yahoo
- Se connecter à Yahoo Site Explorer (nécessite un compte Yahoo).
- S’identifier comme propriétaire du site
- Sélectionner le site, puis naviguer vers Actions > Delete URLs
Bing
- Se connecter à Bing Webmaster Tools (nécessite un compte Microsoft : Hotmail, livemail, etc.). Note : l’outil est également accessible en https, mais leur certificat n’est pas valide.
- S’identifier comme propriétaire du site
-
Sélectionner le site, puis naviguer vers Référencement > Bloquer les URLs
-
Indiquer aux moteurs de ne plus indexer le site
Là, c’est beaucoup plus simple. Vous avez même le choix des armes : un
fichier robots.txt à la racine du site, ou un fichier .htaccess.
Robots.txt
Avant d’explorer un site, les robots demandent le fichier robots.txt. S’il le trouvent, ils respectent les instructions. On peut dire à un robot ou à tous s’ils doivent ignorer des dossiers ou fichiers, seulement suivre les liens, ou ne pas mettre en cache. Ce standard est documenté sur le site robotstxt.org. Vous trouverez également en pièce jointe un fichier robots.txt qui, placé à la racine de votre site, interdira à tous les robots d’accéder à votre site. A n’utiliser que si vous voulez que le site ne soit pas indexé !
.htaccess
Les instructions dans les fichiers .htaccess indiquent au serveur Apache
comment répondre aux demandes qui lui arrivent. A la différence du
fichier robots.txt, qui n’engagent que les robots “polis”, ces
instructions sont suivies par le serveur qui refusera donc de traiter
avec le robot.
Pour un site de recette, on bloque souvent toutes les adresses IPs sauf celles des développeurs et du client.
Attention cependant, une coquille dans ce fichier peut rendre le site totalement inutilisable…
4 commentaires