Raconte-moi le web!

Je l’avais déjà évoqué sur ces colonnes. Wordpress souffre d’un problème majeure : le "duplicate content". C’est à dire qu’un même contenu peut se retrouver dans plusieurs endroits. Par exemple, un billet peut se retrouver sur la page principale, sur la page de la catégorie correspondante,sur la page des archives, dans le feed RSS du site, etc.

Et Google n’apprécie pas de remplir son index par un même contenu, le web est assez grand comme ça. Le résultat est que certains de vos articles ne sont pas indexés, d’autres le sont mais sont placé dans le "supplemental index", qui est un index supplémentaire de Google contenant le web poubelle. Les pages placées dans le "supplemental index" sont toujours présentes dans Google mais ne s’affichent presque jamais dans les premières pages du classement Google.

Il est donc meilleur d’essayer d’éviter ce problème de "duplicate content" en empêchant Google d’indexer les pages non nécessaires. La solution est d’utiliser un fichier ROBOTS.TXT qui contient des instructions indiquant aux différents moteurs quelles sont les pages à indexer et les pages à éviter.

Je viens de créer un plug-in pour Wordpress qui permet d’éviter ce problème de "Duplicate Content" en servant automatiquement aux moteurs qui le demandent un fichier robots.txt personnalisé.

Téléchargement : cliquez ici pour télécharger Robots 0.5

Installation : placez ce fichier dans votre répertoire /wp-content/plugins/ puis activez ce plug-in dans l’onglet plugins de Wordpress. C’est tout ! Essayez maintenant de visiter la page http://www.votredomaine.com/robots.txt et voyez le résultat.