WordPress : comment optimiser son fichier robots.txt pour les crawlers

Web

Comme tout CMS, WordPress a besoin d’un certain nombre de fichiers de « fonctionnement », qu’il vaut mieux cacher des crawlers afin d’éviter qu’ils se retrouvent sur les moteurs de recherches, et que via une requête bien ficelée, des potentiels hackers trouvent facilement quels sites laissent ouverts certains de leurs dossiers.

Bien sûr, veillez à mettre ce fichier à la racine de votre blog : www.monsite.fr/robots.txt

User-agent: *
# On empêche l'indexation des dossiers sensibles
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
# On autorise l'indexation des images
Allow: /wp-content/uploads
User-agent: Googlebot
# On empêche l'indexation des fichiers sensibles
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
# Autoriser Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Autoriser Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# On indique au spider le lien vers notre sitemap
Sitemap: http://www.geekpress.fr/sitemap.xml

Source

3 réflexions sur « WordPress : comment optimiser son fichier robots.txt pour les crawlers »

  2. mais il ne faut pas oublier de maintenir à jour sa version de WordPress, ne pas rester avec une version vieillot, qui augmente le risque de se hacker, pirater considérablement, il faut à l’heure d’aujourd’hui si son hébergeur a PHP5.2, Mysql5 être sous WordPress 3.5, pareil pour les plugins toujours à jour , et si on ne veut pas se prendre la thème, un thème récent ainsi il sera bien compatible avec la version de WordPress, de plus aujourd’hui on a des thèmes responsives, idéal pour les visiteurs en smartphones ou tablettes numériques .
    S’occuper d’un site ne se limite pas à installer un CMS puis à faire des articles, si on n’a juste l’ambition d’écrire des articles alors on prend un blog chez worpdress.com cela suffit.

Les commentaires sont fermés.