Comment supprimer un site des moteurs de recherche

Publié le 5 avril 2011

Tags : SEO Contenu dupliqué htaccess Google Bing Yahoo Technique

La plupart du temps, on cherche à être bien référencé dans les moteurs de recherche. Il arrive pourtant qu’on doive empêcher l’indexation d’un site complet (un site de recette par exemple). Voilà comment supprimer un site indexé par erreur, et empêcher les nouveaux contenus d’être indexés.

  1. Demander aux moteurs d’oublier vos contenus

Google

  1. Se connecter à Google Webmaster Tools (nécessite un compte Google).
  2. S’identifier comme propriétaire du site
  3. Aller sur le formulaire de demande de suppression de contenu indexé

Yahoo

  1. Se connecter à Yahoo Site Explorer (nécessite un compte Yahoo).
  2. S’identifier comme propriétaire du site
  3. Sélectionner le site, puis naviguer vers Actions > Delete URLs

Bing

  1. Se connecter à Bing Webmaster Tools (nécessite un compte Microsoft : Hotmail, livemail, etc.). Note : l’outil est également accessible en https, mais leur certificat n’est pas valide.
  2. S’identifier comme propriétaire du site
  3. Sélectionner le site, puis naviguer vers Référencement > Bloquer les URLs

  4. Indiquer aux moteurs de ne plus indexer le site

Là, c’est beaucoup plus simple. Vous avez même le choix des armes : un fichier robots.txt à la racine du site, ou un fichier .htaccess.

Robots.txt

Avant d’explorer un site, les robots demandent le fichier robots.txt. S’il le trouvent, ils respectent les instructions. On peut dire à un robot ou à tous s’ils doivent ignorer des dossiers ou fichiers, seulement suivre les liens, ou ne pas mettre en cache. Ce standard est documenté sur le site robotstxt.org. Vous trouverez également en pièce jointe un fichier robots.txt qui, placé à la racine de votre site, interdira à tous les robots d’accéder à votre site. A n’utiliser que si vous voulez que le site ne soit pas indexé !

.htaccess

Les instructions dans les fichiers .htaccess indiquent au serveur Apache comment répondre aux demandes qui lui arrivent. A la différence du fichier robots.txt, qui n’engagent que les robots “polis”, ces instructions sont suivies par le serveur qui refusera donc de traiter avec le robot.

Pour un site de recette, on bloque souvent toutes les adresses IPs sauf celles des développeurs et du client.

Attention cependant, une coquille dans ce fichier peut rendre le site totalement inutilisable…

4 commentaires

brice le 1 juin 2011

Je pense que tu devrais en parler à Karl et Marc pour leur petit livre sur le droit à l'oubli numérique.

Interessant le 13 septembre 2011

Merci pour les astuces, j'en connaissais déjà la plupart, le reproche que je ferai à google est d'être un peu long à évacuer les données que l'on veut effacer

Minh Chau le 13 octobre 2011

Bonjour,

Effectivement ce sont des choses à connaitre mais quelle est l'intérêt de travailler des heures sur un site pour supprimer ses URLS des moteurs de recherches ?

Référencement naturel le 14 octobre 2011

Je te tutoies hein?
Tu as également une autre façon qui est de mettre la meta dans le

qui peut être un complément ;)

Page précédente Page précédente Page suivante Page suivante