Malgré les mesures d’optimisation prises et tous les efforts investis, les rankings ne remontent pas. Cette situation ne vous est pas inconnue ? En effet, Il n’y a rien de plus frustrant pour un webmaster ou professionnel SEO.
Aucun de nous n'est parfait et il peut en effet arriver que tous les efforts d'optimisation aient été vains parce que nous n'avons pas pris en compte la forêt cachée derrière l'arbre, selon une expression ressassée.
Levons donc le nez du guidon et intéressons-nous, étape par étape et en compagnie de Ryte, aux possibilités évidentes empêchant l'indexation de notre site. Après avoir vérifié tous les points et entrepris les corrections nécessaires, nous vous assurons que plus rien ne s'opposera à une indexation réussie.
Une erreur qui peut arriver même aux consultants SEO les plus chevronnés, c'est l'éventuelle insertion, par mégarde ou malice, de la balise meta ”noindex, follow” sur les sous-pages ou encore l'oubli de leur suppression. L'utilisation de ce tag fait en sorte qu'une URL n’apparaisse pas dans l'index des moteurs de recherche. Il faut l'insérer dans la zone <head> (en-tête) de l'URL de la manière suivante :
<meta name=”robots” content=”noindex, follow”/>
L'utilisation de ce tag peut empêcher, entre autres, le duplicate content et s'emploie par exemple avant le transfert d'un domaine, lorsque qu'une page Web est testée avant son véritable lancement. Lors de la mise en ligne finale de la page, les balises noindex doivent évidemment être à nouveau supprimées.
Le module Website Success de Ryte permet de vérifier en quelques clics les pages qui sont absolument à indexer. Cliquez dans la zone « Indexabilité » sur le rapport « URL indexables »
.
Illustration 1 : Contrôle de l'indexabilité avec Ryte.
À l'aide du fichier robots.txt, il est possible de gérer activement l’exploration et l'indexation de la page Web en donnant des instructions concrètes au Googlebot sur les dossiers et URL de la page qu'il peut crawler ou non.
En configurant ce fichier, il peut toutefois arriver que des dossiers importants soient exclus de l’exploration ou même que toute la page soit bloquée pour les robots. Cela n'empêche pas directement l'indexation des URL, car le Googlebot pourrait effectivement les trouver depuis les backlinks d'autres pages Web, puis les crawler et les indexer. Mais avec un fichier robots.txt erroné, le Googlebot ne peut pas parcourir en profondeur toutes les zones lors du crawling régulier de la page. Il en résulte alors une absence d'indexation.
Pour contrer cela, contrôlez l’état de votre robots.txt, en particulier après les modifications suite aux erreurs. Profitez de la simplicité d’utilisation du logiciel Ryte : un petit clic sur la section « Indexabilité », puis sur le rapport « Robots.txt » suffit. Par la suite, notre tool affichent directement toutes les URL qui vont être exclues du crawling.
Illustration 2 : Contrôle du fichier Robots.txt avec Ryte.
Le fichier .htaccess peut également agir sur le fait que la page n'apparaisse pas dans les moteurs de recherche et que le crawl soit considéré non autorisé. Le .htaccess est un fichier de contrôle qui est archivé dans un dossier du serveur Apache.
Les exploitants de site Web l'utilisent entre autres aux fins suivantes :
Des règles concrètes se définissent par conséquent dans le .htaccess. Afin que ces règles puissent être exécutées par le serveur, le fichier doit cependant toujours être nommé avec exactitude comme tels :
les redirections ou réécritures d'URL :
RewriteEngine On
demander une réécriture avec :
RewriteBase /
définir la règle que le serveur doit exécuter :
RewriteEngine On
RewriteBase /
RewriteRule seitea.html seiteb.html [R=301]
Il peut évidemment arriver que le fichier ait été nommé de manière incorrecte et qu'il ne puisse pas réécrire ou rediriger des URL. Et pour conséquence : les utilisateurs ne peuvent pas consulter le site. De même, les moteurs de recherche ne peuvent pas explorer correctement la page et son indexation est entravée.
Une balise canonique ou canonical tag aide Google à trouver, en cas de plusieurs URL aux contenus identiques, l'URL d'origine pour l'indexer en priorité. Dans ce cadre, le canonical tag renvoie comme balise HTML à la page d'origine, l'URL « canonique ».
En plaçant les balises canoniques, plusieurs erreurs entraînant des problèmes d'indexation peuvent survenir.
Voici comment contrôler les balises canoniques avec Ryte :
Ryte propose son propre rapport sur les balises canoniques sous la section « Indexabilité ». Après avoir cliqué sur « Canoniques » et « Utilisation canonique », vous recevez rapidement un aperçu des conflits éventuels avec les balises canoniques implémentées.
Illustration 3 : Contrôle des balises canoniques ou canonical tag avec Ryte.
Une autre raison pour laquelle un site web ne parvient pas à l'index peut-être une défaillance du serveur. Il rend en effet toute consultation de page techniquement impossible.
Les serveurs jouent aussi un rôle prépondérant pour l’optimisation du référencement : afin d'obtenir un bon classement, un serveur rapide et performant est nécessaire. S'il réagit lentement, il y aura des retards de chargement d'une page Web, ce que les utilisateurs n'aiment pas du tout. Et la conséquence sera une courte durée de séjour et un taux de rebond élevé. Google classe de telles caractéristiques comme mauvais KPI en matière d'expérience utilisateur, ce qui a évidemment un impact négatif sur le SEO.
Avec le module Website Success de Ryte, vous pouvez contrôler régulièrement votre serveur. La surveillance des serveurs vous tient au courant des défaillances et des temps morts, de sorte que vous puissiez agir rapidement.
Illustration 4 : Surveillance des serveurs avec Ryte.
Astuce : s'occuper aussi des codes de statut HTTP de la page en vérifiant régulièrement si les redirections 301 fonctionnent correctement ou si les codes 404 existent. Les pages renvoyant ce statut sont introuvables pour des lecteurs et collecteurs Web potentiels. Les liens qui renvoient à de telles pages sont appelés des liens morts.
À cause de restructurations sur la page Web ou de l'ajout de nouvelles catégories, il peut arriver que les nouvelles URL ne soient pas référencées en interne. Si ces nouvelles URL ne sont en outre pas ajoutées au sitemap.xml et ne sont pas référencées par des sources externes, le risque d'absence d'indexation est grand. Les pages isolées (aussi appelées pages orphelines) sont donc absolument à éviter.
Découvrez rapidement les pages isolées dans Website. Cliquez sur le rapport « Pages sans liens entrants » dans la section « Liens ».
Illustration 5 : Trouver les pages sans liens entrants avec Ryte.
Un contenu externe en double signifie que l'autre page reprend le contenu de votre page en sa totalité. Bien que Google se soit amélioré entre-temps en ce qui concerne l'attribution de contenus à « l'original », il peut néanmoins arriver qu'une page avec votre contenu occupe un meilleur classement ou qu'elle empêche, à l'extrême, que votre contenu soit même indexé.
L'astuce suivante va vous aider à prévenir le vol de contenu :
En publiant des contenus, demandez un renvoi à la source d'origine : dans les communiqués de presse, il peut arriver que des contenus de votre page soient complètement repris. En indiquant au préalable les conditions de reprise de ces éléments de texte, vous évitez le contenu externe en double. Les éditeurs peuvent soit travailler avec une indication concrète telle que « texte original sur www.votresite.fr », soit mettre une balise canonique à l'URL sur laquelle les contenus ont été initialement publiés.
Pour trouver le contenu externe en double, il y a simplement besoin de copier de la page certaines lignes de texte pertinentes et de les insérer dans la barre de recherches Google. Si, par la suite, plusieurs résultats apparaissent avec exactement les mêmes contenus sans un renvoi à votre page, alors il s'agit manifestement d'un vol de contenu.
Si vous étiquetez les liens internes avec l'attribut rel=nofollow, le Googlebot ne suivra pas le lien marqué. Le crawling correct de la page Web se trouve en effet ainsi entravé. Si vous empêchez le Googlebot de suivre un lien, par exemple, il ne pourra éventuellement pas pénétrer dans des zones latérales plus profondes. En conséquence, il n’explore plus ces URL, réduisant ainsi la chance de leur indexation.
Si vous travaillez avec des liens internes nofollow, il est possible de vérifier à l’aide de Ryte l’endroit où les trouver. Mais en règle générale, nous vous recommandons fortement de supprimer l'attribut nofollow. Si vous voulez vraiment exclure une URL de l'indexation, alors la balise noindex en combinaison avec l'attribut follow est la meilleure solution.
En créant un sitemap (ou plan de site), il peut arriver que ce dernier ne contienne pas toutes les URL à indexer. Il se produit alors un problème similaire aux pages isolées puisqu’il n’y a pas de renvois aux URL concernées. Le risque d'une absence d’indexation est alors grand.
Ryte peut vous assister dans cette vérification : ouvrez la section « Sitemap » puis le rapport sur les « Codes de statut ». Toutes les URL du sitemap qui ne sont pas trouvées sur le serveur ou qui sont redirigées s’y afficheront.
Illustration 6 : Vérification d'erreurs dans sitemap.xml avec Ryte.
Avec Google Search Console, il est également possible de vérifier s'il y a des erreurs sur son sitemap, car un rapport indique l'éventualité de problèmes lors de l’indexation.
Illustration 7 : Affichage de l'état des sitemap.xml déposés chez Google.
Google tient beaucoup à offrir à ses utilisateurs la meilleure qualité possible dans les résultats de recherche. Les pages piratées limitent massivement cette qualité. Il faut donc absolument prêter attention aux indications contenues dans Google Search Console. Si jamais votre site Web est victime d'un piratage, la première des choses est de garder son calme. Le changement des mots de passe pour accéder au backend constitue une première étape cruciale, si cela est encore possible.
Pour prévenir les piratages, il faudrait changer régulièrement les mots de passe et en restreindre au mieux le cercle des utilisateurs. Il importe en outre l'installation de toutes les mises à jour proposées. Google a regroupé des articles sur le piratage dans le Blog Officiel d'aide pour les webmasters.
Comme vous avez pu le constater, il peut y avoir plusieurs raisons justifiant unr non indexation de votre page ou de vos URL individuelles. Ryte facilite toutefois la recherche d'erreurs et aide de manière fiable à améliorer l'indexation de votre page Web.
| Élément | Mesure | |
| 1 | Balises noindex | Contrôler cette balise sur toutes les pages. Si elle n’est pas indispensable, changer la balise en ”index, follow”. |
| 2 | Robots.txt | Contrôler le fichier texte et regarder si des dossiers importants sont exclus de l’exploration. |
| 3 | .htaccess | Vérifier que le fichier serveur est correctement redirigé ou qu’il ne comporte pas d’erreurs de syntaxe. |
| 4 | Balises canonique ou canonical tags | Tester si les balises renvoient correctement à l’URL canonique. |
| 5 | Accessibilité du serveur et messages liés aux codes de statut | Surveiller l’accessibilité du serveur et vérifier les codes de statut des URL. |
| 6 | Pages isolées ou orphelines | Identifier les pages sans liens entrants et les référencer le cas échéant. |
| 7 | Vol de contenu | Vérifier si d’autres pages reprennent vos contenus. Ajouter des balises canoniques et éviter les URL relatives. |
| 8 | Liens internes nofollow | Chercher des balises nofollow sur la page et les supprimer. Comme alternatives, il existe les balises canoniques ou noindex. |
| 9 | Sitemap XML | Vérifier si le fichier contient toutes les URL à indexer ; contrôler les codes de statut des URL contenues. |
| 10 | Piratage | Faire attention aux messages de Google Search Console sur les pages piratées et changer rapidement les identifiants. |
Tout ça, vous pouvez le faire avec Ryte FREE
Écrit le 22.02.2018 par Pauline Mitifiot.
Après des études d’histoire et de gestion de projet qui lui permirent de découvrir la Turquie, l’Italie et l’Allemagne, Pauline posa ses valises à Munich car elle ne pouvait plus se passer de son bretzel quotidien. Curieuse et dynamique, elle contribue à la section française du blog et du Wiki de Ryte.
Suivi, analyse et optimisation de vos actifs numériques grâce à notre technologie unique
S’inscrire gratuitement