Le 05 janvier 2012, par Louis
WordPress : comment optimiser son fichier robots.txt pour les crawlers
Comme tout CMS, WordPress a besoin d’un certain nombre de fichiers de « fonctionnement », qu’il vaut mieux cacher des crawlers afin d’éviter qu’ils se retrouvent sur les moteurs de recherches, et que via une requête bien ficelée, des potentiels hackers trouvent facilement quels sites laissent ouverts certains de leurs dossiers.
Bien sûr, veillez à mettre ce fichier à la racine de votre blog : www.monsite.fr/robots.txt
User-agent: * # On empêche l'indexation des dossiers sensibles Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? # On autorise l'indexation des images Allow: /wp-content/uploads User-agent: Googlebot # On empêche l'indexation des fichiers sensibles Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.swf$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ # Autoriser Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Autoriser Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # On indique au spider le lien vers notre sitemap Sitemap: http://www.geekpress.fr/sitemap.xml
Vous serez peut-être intéressé :
Comment optimiser un blog WordPress quand on est sur un s…
Script shell de sauvegarde des fichiers associés à un blo…
Protégez-vous des agrégateurs et voleurs de flux RSS avec…
3 commentaires à WordPress : comment optimiser son fichier robots.txt pour les crawlers
Laisser un commentaire
Derniers billets
- 24 May 2013Apple "Every Day" : Music & Photos (3) Comments
- 28 April 2013HTC 8X : le test(7) Comments
- 27 April 2013Thailande 3 : Bangkok, la capitale !(0) Comments
- 27 April 2013Thailande 2 : Ayutthaya, ancienne capitale du Siam(0) Comments
- 27 April 2013Thailande 1 : La Rivière Kwai et les Cascades d'Erawan(4) Comments
- 27 April 2013Parsing de XML en Java : les élements DOM et la génération en String(2) Comments
- 26 April 2013Un journée pour voir quelques Châteaux de la Loire(1) Comments
- 26 April 2013Châteaux de la Loire : 1 - Le Château de Cheverny(0) Comments
- 26 April 2013Châteaux de la Loire : 2 - Le Château de Blois(1) Comments
- 26 April 2013Châteaux de la Loire : 3 - Le Château de Chambord(0) Comments
mais il ne faut pas oublier de maintenir à jour sa version de WordPress, ne pas rester avec une version vieillot, qui augmente le risque de se hacker, pirater considérablement, il faut à l’heure d’aujourd’hui si son hébergeur a PHP5.2, Mysql5 être sous WordPress 3.5, pareil pour les plugins toujours à jour , et si on ne veut pas se prendre la thème, un thème récent ainsi il sera bien compatible avec la version de WordPress, de plus aujourd’hui on a des thèmes responsives, idéal pour les visiteurs en smartphones ou tablettes numériques .
S’occuper d’un site ne se limite pas à installer un CMS puis à faire des articles, si on n’a juste l’ambition d’écrire des articles alors on prend un blog chez worpdress.com cela suffit.
je viens de voir que c’était une simple copie de l’article de geekpress.
Le site SEOMIX avait donné aussi sa version de robots.txt
http://www.seomix.fr/robots-txt-wordpress/
et bien sûr ne pas oublier le codex
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization
@darknote: C’est pour ça que y’a marqué « Source » en bas.