Flux rss

Présentation du fichier robots.txt

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site.

Format du fichier robots.txt

Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :

  • User-Agent: permet de préciser le robot concerné par les directives suivantes. La valeur * signifie "tous les moteurs de recherche".
  • Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".

Attention Le fichier robots.txt ne doit contenir aucune ligne vide !

Voici des exemples de fichier robots.txt :

  • Exclusion de toutes les pages : 
    User-Agent: *
Disallow: /
  • Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) : 
    User-Agent: *
Disallow:
  • Autorisation d'un seul robot  : 
    User-Agent: nomDuRobot
Disallow :
User-Agent: *
Disallow: /
  • Exclusion d'un robot : 
    User-Agent: NomDuRobot
Disallow: /
User-Agent: *
Disallow:
  • Exclusion d'une page : 
    User-Agent: *
Disallow: /repertoire/chemin/page.html
  • Exclusion de plusieurs page : 
    User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html
  • Exclusion de toutes les pages d'un répertoire et ses sous-dossiers : 
    User-Agent: *
Disallow: /repertoire/

Quelques User-Agents

Voici quelques exemples de User-Agents pour les moteurs de recherche les plus populaires :

Nom du moteur User-Agent
Alta Vista Scooter
Excite ArchitextSpider
Google Googlebot
HotBot Slurp
InfoSeek InfoSeek Sidewinder
Lycos T-Rex
Voilà Echo

Pour plus d'informations

The web robots page

Ce document intitulé « Robots.txt » issu de Comment Ça Marche (www.commentcamarche.net) est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.

Résultats pour Robots.txt

Robots.txt, un fichier important Sur votre site : le fichier robots.txt Sur votre site , vous essayez, dans la mesure du possible, de faire en sorte que vos pages soient indexées au mieux par les robots (spiders) des moteurs de recherche. Mais il peut également arriver que... www.commentcamarche.net/faq/sujet-10609-robots-txt-un-fichier-important
Questions Robots.txt sur OfficeLive (Résolu) Bonjour, Je viens de créer un domaine gratuit sur officeLive.com et je souhaiterais pouvoir le faire indexer dans Google, mais pour cela il me faut un fichier Robots.txt, je suis en débutant et j'avoue que je ne connais pas du tout le language... www.commentcamarche.net/forum/affich-4637690-questions-robots-txt-sur-officelive
ROBOTS.txt (Résolu) Bonjour, Pourriez vous me dire où puis-je trouver le fichier robots.txt pour référencer mon site? J'ai créé mon site avec le logiciel Dreamweaver et je me suis enregistrée auprés de google pour gérer mon site. J'ai vu qu'il était... www.commentcamarche.net/forum/affich-8060147-robots-txt

Résultats pour Robots.txt

[Webmaster] Empêcher l'aspiration de mon siteMéthode 1 : Le fichier robots.txt Ce fichier sert à donner des instructions aux robots des moteurs de recherche qui se baladent sur les sites. Vous pouvez leur indiquer les URL à suivre ou ne pas suivre. Vous pouvez même donner des directives... www.commentcamarche.net/faq/sujet-4274-webmaster-empecher-l-aspiration-de-mon-site
Les captchas sont infaillibles pour bloquer les robotsLes captchas sont des images contenant des lettres que l'internaute doit retaper pour prouver qu'il est bien un humain. Elles sont utilisées dans le but de bloquer les robots (logiciels automatisés). Mythe Les captchas permettent de bloquer 100% des... www.commentcamarche.net/faq/sujet-8250-les-captchas-sont-infaillibles-pour-bloquer-les-robots
[MS-Dos] Ecrire dans un fichier texte en batchPour écrire dans un fichier texte, il suffit d'utiliser une redirection ">" :echo texte_à_ecrire > fichier_de_sortie.txtPour écrire à la fin d'un texte existant (concaténation) :echo "ecriture a la fin du fichier ">> fichier_de_sortie.txt www.commentcamarche.net/faq/sujet-2695-ms-dos-ecrire-dans-un-fichier-texte-en-batch
1 2 3 Suivant

Résultats pour Robots.txt

Modif. d'un article CCM (Robots.txt) (Résolu)Bonjour ! Concernant l'article robots txt, il serait peut-être judicieux d'indiquer que s'il on souhaite exclure plusieurs pages de l'indexation pour un même robot, il suffit de créer autant de ligne Disallow que voulu à la suite... www.commentcamarche.net/forum/affich-3595538-modif-d-un-article-ccm-robots-txt
[robots] fichier robots.txt (Résolu)Bonjour, qui peut m'expliquer à quoi servent les fichiers robots.txt Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ? Merci d'avance. www.commentcamarche.net/forum/affich-1343987-robots-fichier-robots-txt
Robots.txt (Résolu)Bonjour,aidé moi a supperimer l'affichage de mon blog de la recherche google et je vous informe que mon blog et " guelmaz-zahana.dzblog.com " est ce qu'il ya une personne qui peuve me donner un exemple avec mon blog pour le pratiqué... www.commentcamarche.net/forum/affich-4229399-robots-txt
1 2 3 Suivant

Résultats pour Robots.txt

Télécharger Robot BenriLorsque vous n'êtes pas à la maison, vous pouvez contrôler ce qui s'y passe même à distance. Robot Benri est un outil permettant d'utiliser votre webcam ou autre capteur d'images en tant de caméra de surveillance. Il vous suffit de le brancher votre... www.commentcamarche.net/telecharger/telecharger-34056343-robot-benri
Télécharger RobotProgRobotProg est un logiciel, qui illustre un petit robot virtuel. Il permet d’apprendre les fonctions basiques de la programmation. Au début l’utilisateur dessine le parcours et l’action qui vont être adopté par le petit robot. Ensuite on peut... www.commentcamarche.net/telecharger/telecharger-34056019-robotprog
1 2 3 Suivant

Résultats pour Robots.txt

Microsoft mise sur les robotsDestinée aussi bien aux étudiants en robotique qu'aux professionnels du secteurs, la suite logicielle de Microsoft, réalisée en partenariat avec Lego MindStorms, se présente telle une trousse à outils permettant de contrôler une large gamme de... www.commentcamarche.net/actualites/microsoft-mise-sur-les-robots-2280130-actualite.php3
1 2 3 Suivant

Résultats pour Robots.txt

Fichier TXTFormat TXT Un fichier TXT est un fichier texte, c'est-à-dire un simple fichier contenant du texte au format ASCII. Pour ouvrir ou modifier un tel fichier, il suffit d'utiliser le bloc-notes ou un éditeur de texte traditionnel. www.commentcamarche.net/contents/fichier/txt.php3
1 2 3 Suivant