Domyślnie robot indeksujący odwiedza tylko adresy URL, na których znajduje się kod CMP. Może to prowadzić do problemów, gdy robot indeksujący nie jest w stanie dotrzeć do (tej samej) treści, do której dotarłby zwykły użytkownik (np. ponieważ użytkownik zalogował się do obszaru zastrzeżonego, dodał produkty do koszyka lub wykonał inne czynności w celu uzyskania innego wyniku z Twojej strony internetowej).

Korzystanie z uwierzytelniania podstawowego

Basic Auth to najpopularniejsza metoda uwierzytelniania dla serwerów internetowych (znana również jako „uwierzytelnianie .htaccess” lub „logowanie .htaccess/.htpasswd”). Aby umożliwić robotowi indeksującemu dostęp do stron chronionych hasłem, możesz skonfigurować uwierzytelnianie w sekcji CMPs > Edytuj > Ustawienia robota indeksującego > Uwierzytelnianie HTTP.

Korzystanie z niestandardowych plików cookie

W ustawieniach CMP możesz ustawić uwierzytelnianie za pomocą plików cookie (CMP > Edytuj > Pokaż ustawienia robota indeksującego > Uwierzytelnianie za pomocą plików cookie). Jest to mechanizm, który nakazuje robotowi indeksującemu wysyłanie plików cookie do serwera (chociaż te pliki cookie mogą nigdzie indziej nie istnieć). Gdy robot indeksujący odwiedzi stronę internetową, pliki cookie będą obecne, a strona internetowa będzie mogła je odczytać. Witryna może wtedy zareagować inaczej niż w przypadku braku plików cookie (np. umożliwiając robotowi dostęp do obszaru o ograniczonym dostępie lub wyświetlając mu określone treści, które w innym przypadku wymagałyby wykonania dodatkowych czynności przed wizytą).

Aby skonfigurować uwierzytelnianie plików cookie, proszę wstawić jedną pozycję w każdym wierszu, gdzie pozycja składa się z domeny:nazwa_cookie:wartość_cookie. Przykład:

mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1