Per impostazione predefinita, il crawler visiterà solo gli URL su cui è presente il codice CMP. Ciò può causare problemi quando il crawler non riesce a raggiungere lo (stesso) contenuto a cui un utente normale avrebbe accesso (ad es. perché l’utente ha effettuato l’accesso a un’area riservata, ha aggiunto prodotti al carrello o ha eseguito altre operazioni per ottenere un risultato diverso dal tuo sito web).

Utilizzo dell'autenticazione di base

L'autenticazione di base (Basic Auth) è il metodo di autenticazione più comune per i server web (nota anche come "autenticazione .htaccess" o "login .htaccess/.htpasswd"). Per consentire al crawler di accedere alle pagine protette da password, puoi configurare l'autenticazione tramite CMP > Modifica > Impostazioni crawler > Autenticazione HTTP.

Utilizzo dei cookie personalizzati

Nelle impostazioni CMP puoi impostare l'autenticazione tramite cookie (CMP > Modifica > Mostra impostazioni crawler > Autenticazione tramite cookie). Si tratta di un meccanismo per indicare al crawler di inviare i cookie al server (anche se questi cookie potrebbero non esistere altrove). Una volta che il crawler visita il sito web, i cookie saranno presenti e il sito web potrà leggerli. Il sito web potrà quindi reagire in modo diverso rispetto a quanto farebbe se i cookie non fossero presenti (ad esempio, consentendo al crawler l’accesso a un’area riservata o mostrando al crawler determinati contenuti che altrimenti richiederebbero l’esecuzione di altri passaggi prima della visita).

Per configurare l'autenticazione tramite cookie, inserisci un elemento per riga, dove un elemento è composto da dominio:nome_cookie:valore_cookie. Esempio:

mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1