Par défaut, le robot d'indexation ne visitera que les URL sur lesquelles le code CMP est présent. Cela peut poser des problèmes lorsqu'il n'est pas possible pour le robot d'indexation d'accéder au (même) contenu qu'un utilisateur normal (par exemple parce que l'utilisateur s'est connecté à un espace réservé, a ajouté des produits à son panier ou a effectué d'autres actions afin d'obtenir un résultat différent sur votre site web).

Utilisation de l'authentification de base

L'authentification de base est la méthode d'authentification la plus courante pour les serveurs web (également connue sous le nom d'« authentification .htaccess » ou de « connexion .htaccess/.htpasswd »). Afin de permettre au robot d'indexation d'accéder aux pages protégées par mot de passe, vous pouvez configurer l'authentification via CMP > Modifier > Paramètres du robot d'indexation > Authentification HTTP.

Utilisation de cookies personnalisés

Dans les paramètres CMP, vous pouvez activer l'authentification par cookies (CMP > Modifier > Afficher les paramètres du crawler > Authentification par cookies). Il s'agit d'un mécanisme permettant d'indiquer au crawler d'envoyer des cookies au serveur (même si ces cookies n'existent peut-être nulle part ailleurs). Une fois que le robot d'indexation visite le site web, les cookies seront présents et le site web pourra les lire. Le site web peut alors réagir différemment de ce qu’il ferait si les cookies n’étaient pas présents (par exemple, en autorisant l’accès du robot d’indexation à une zone restreinte ou en lui affichant certains contenus qui, autrement, nécessiteraient d’autres étapes avant la visite).

Pour configurer l'authentification par cookie, veuillez insérer un élément par ligne, chaque élément étant composé de domaine:nom_du_cookie:valeur_du_cookie. Exemple :

mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1