WordPress : comment optimiser son fichier robots.txt pour les crawlers

[ 3 ] Commentaires
Share

Comme tout CMS, WordPress a besoin d’un certain nombre de fichiers de « fonctionnement », qu’il vaut mieux cacher des crawlers afin d’éviter qu’ils se retrouvent sur les moteurs de recherches, et que via une requête bien ficelée, des potentiels hackers trouvent facilement quels sites laissent ouverts certains de leurs dossiers.

Bien sûr, veillez à mettre ce fichier à la racine de votre blog : www.monsite.fr/robots.txt

User-agent: *
# On empêche l'indexation des dossiers sensibles
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
# On autorise l'indexation des images
Allow: /wp-content/uploads
User-agent: Googlebot
# On empêche l'indexation des fichiers sensibles
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
# Autoriser Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Autoriser Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# On indique au spider le lien vers notre sitemap
Sitemap: http://www.geekpress.fr/sitemap.xml

Source

Vous serez peut-être intéressé :

3 commentaires sur ce billet

  1. darknote dit :

    mais il ne faut pas oublier de maintenir à jour sa version de WordPress, ne pas rester avec une version vieillot, qui augmente le risque de se hacker, pirater considérablement, il faut à l’heure d’aujourd’hui si son hébergeur a PHP5.2, Mysql5 être sous WordPress 3.5, pareil pour les plugins toujours à jour , et si on ne veut pas se prendre la thème, un thème récent ainsi il sera bien compatible avec la version de WordPress, de plus aujourd’hui on a des thèmes responsives, idéal pour les visiteurs en smartphones ou tablettes numériques .
    S’occuper d’un site ne se limite pas à installer un CMS puis à faire des articles, si on n’a juste l’ambition d’écrire des articles alors on prend un blog chez worpdress.com cela suffit.

    RépondreRépondre
  2. darknote dit :

    je viens de voir que c’était une simple copie de l’article de geekpress.
    Le site SEOMIX avait donné aussi sa version de robots.txt
    http://www.seomix.fr/robots-txt-wordpress/
    et bien sûr ne pas oublier le codex
    http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization

    RépondreRépondre
  3. Louis dit :

    @darknote: C’est pour ça que y’a marqué « Source » en bas.

    RépondreRépondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *