Sommaire
Vous êtes webmaster ou professionnel du référencement naturel ? Il ne vous aura probablement pas échappé que notre moteur de recherche favori, le dénommé Google, semble de plus en plus capricieux lorsqu’il s’agit de l’indexation de nouveaux contenus. Et de fait, alors qu’il suffisait parfois d’un jour ou deux, voire de quelques heures, à Google pour indexer une nouvelle page, à présent il faut parfois beaucoup plus de temps. Pire encore, certains contenus sont ignorés, d’autres indexés puis désindexés. Or un contenu non indexé est tout bonnement inutile. Mais que se passe-t-il concrètement chez Google ? Quels enseignements tirer du contexte actuel ?
Indexation Google : comment ça marche ?
L’indexation par les moteurs de recherche est leur action d’enregistrement des contenus web dans leur base de données. Découverts et lus par les robots d’exploration, les bots, ces contenus sont ensuite classés afin d’être restitués par ordre d’intérêt, de pertinence et de qualité, afin de proposer les meilleurs résultats aux internautes en fonction de leurs requêtes.
L’étape du crawl
La base de l’indexation est ainsi d’abord l’étape du crawl, les bots passants de liens en liens pour découvrir et lire les nouveaux contenus. Il est donc essentiel pour les webmasters et gestionnaires de sites web de faciliter l’exploration des pages de leurs sites, et d’éviter tout blocage et impasse pour les bots. On veillera donc à :
- Autoriser les bots à crawler le site (robots.txt) ;
- Orienter les crawlers vers les pages les plus stratégiques ;
- Bannir sur ces pages toute balise « noindex » ;
- Corriger les erreurs (4XX et 5XX)
- Faciliter la navigation via le maillage ;
- Proposer un sitemap .
Pour encourager au passage des bots sur une nouvelle page, il vous est aussi possible de soumettre son URL dans Google Search Console afin d’en demander l’indexation… Sans aucune garantie.
L’étape de l’indexation
Une fois une page web crawlée, les moteurs peuvent (ou non) en indexer le contenu, c’est-à-dire enregistrer les informations, et ainsi les faire ressortir dans les résultats de recherche. Mais, nous le disions plus haut, Google semble aujourd’hui plus lent et plus exigeant.
Si Google était relativement clément ces dernières années,
indexant assez rapidement la quasi-totalité des contenus, les choses semblent
toutes autres depuis quelque temps. Et de nombreux webmasters et professionnels
du SEO ont pu constater et subir ce phénomène.
De fait, lorsque l’on consulte de rapport de performance de Google Search
Console, il n’est pas rare de découvrir dans l’onglet des pages
« Exclus », des URLs « Explorées, actuellement non
indexées » et des URLs « Détectées, actuellement non indexées ».
Ainsi, ce n’est pas parce que vous créez de nouveaux contenus que ceux-ci
seront forcément crawlés. Et plus encore, ce n’est pas parce que vous créez de
nouveaux contenus, que ceux-ci sont crawlés, qu’ils seront forcément indexés.
Index Google : de la quantité vers la qualité
Ce titre pourrait faire bondir bon nombre de référenceurs pour qui le SEO ne peut être pensé que sous le prisme de la qualité. De fait, entre qualité et pertinence des contenus et des backlinks, mais aussi attentes croissantes en matière d’expérience utilisateur, la notion de qualité semble au cœur des préoccupations de Google et de ces critères algorithmiques majeurs. Mais cela a-t-il été systématiquement le cas ? On peut s’interroger…
Quel référenceur ou rédacteur n’a pas pêché par manque de temps ou manque de connaissance en proposant des contenus pauvres, inintéressants pour les internautes et a priori peu enclins à être indexés et proposés par Google dans les résultats de recherche ? Pourtant, il y a peu de temps encore, le moindre contenu, quelle que soit sa qualité et si médiocre soit-elle, se trouvait rapidement indexé. Mais ça, c’était avant.
Si Google semble avoir voulu créer l’index le plus complet
qu’il soit, il semble désormais vouloir créer l’index le plus qualitatif, et
pour cela il se montre plus exigeant et plus restrictif. À la clé, des
résultats de meilleure qualité et donc une meilleure expérience pour les
internautes, mais aussi des économies de crawl, d’indexation et donc de
ressources serveur.
Ne soyons pas surpris de cela, car si l’on reprend les communications
officielles de Google, notamment les conseils d’un certain John Mueller, Google
est particulièrement clair sur les attentes en matière de qualité des contenus
et l’impact de ce facteur sur l’indexation et le positionnement d’une page.
Quelques conseils pour favoriser l’indexation de vos contenus
Et si, pour améliorer la capacité de votre site web à voir ses contenus indexés, nous revenions aux bases du SEO. Ainsi, on distingue généralement 3 piliers majeurs du référencement naturel : l’aspect technique, le contenu et la popularité. Certains évoquent désormais l’expérience utilisateur, mais celle-ci est en grande partie dépendante de la performance technique d’un site et de la qualité de ses contenus.
D’un point de vue technique, et pour favoriser l’indexation de vos pages :
- Optimisez la vitesse de chargement du site et de ses pages ;
- Orientez les bots vers les pages utiles et stratégiques afin d’économiser votre budget crawl ;
- Assurez-vous que vos serveurs sont disponibles et suffisamment solides pour éviter les surcharges.
Sur le plan technique :
- Proposez des contenus complets de qualité, répondant avant tout aux attentes des internautes ;
- Rédigez des contenus corrects sur le plan linguistique, optimisez la sémantique afin de faciliter la compréhension et la thématisation par les moteurs de recherche ;
- Facilitez une découverte simple et logique de vos contenus grâce au maillage interne.
En ce qui concerne la popularité :
- N’hésitez pas à pousser vos nouveaux contenus avec des backlinks de qualité, issus de sites web puissants et évoluant dans un même univers.
En clair, suivez avec précautions les guidelines de Google en matière de référencement naturel, en misant avant tout sur la qualité technique et éditoriale. Sur ce plan rien de très nouveau, car cette notion de qualité a toujours été au cœur de la démarche SEO de Google. Et s’il est une nouveauté, c’est surtout l’application plus stricte et rigoureuse de ses propres règles par Google. Cela peut certes prendre plus de temps que par le passé en raison de difficulté technique ou parce que les bots sont occupés à des tâches plus « importantes » ailleurs. Mais si vraiment la qualité est au rendez-vous, tant pour les internautes que pour Google, vos contenus devraient bel et bien se voir indexés.
