Lorsque les robots (comme le robot Googlebot) font l’exploration de votre site, ils commencent par demander http://example.com/robots.txt pour des instructions spéciales. Utilisez ce plugin pour créer et éditer votre fichier robots.txt dans Wordpress (en utilisant Options -> Robots.txt).
Chaque fois qu’un utilisateur (ou un robot, plus probablement) ajoute “robots.txt” à l’URL de votre blog (par exemple http://blog.example.com/robots.txt), ce module mettera en place le fichier robots.txt que vous créé dans le menu admin Wordpress.
Ce plugin devrait fonctionner avec la plupart des versions de Wordpress, mais il est particulièrement destiné à la installations MU , car elle permet à chaque WPMU blog d’avoir un unique fichier robots.txt.
Limitations
Notez que les robots ne font que de haut niveau des demandes de fichiers robots.txt. Si vous avez installé WordPress dans un sous-domaine (par exemple http://blog.example.com/) ou dans votre dossier racine (par exemple http://example.com/), ce plugin fonctionne comme prévu. Mais si vous avez installé WordPress dans un sous-répertoire (par exemple http://example.com/blog/), ce plugin ne sera pas faire grand-chose pour vous, car les moteurs de recherche ne sera pas trouver pour http://example.com / blog / robots.txt, mais seulement http://example.com/robots.txt.
Aussi, il faut utiliser une certaine forme de structure permalink. Si les liens vers les blogs ressemblent à des postes http://example.com/index.php?p=36, cela ne fonctionnera pas.
