Standardmäßig besucht der Crawler nur URLs, auf denen der CMP-Code vorhanden ist. Dies kann zu Problemen führen, wenn der Crawler nicht denselben Inhalt erreichen kann, den ein normaler Nutzer erreichen würde (z. B. weil der Nutzer sich in einen Login-Bereich eingeloggt, Produkte in seinen Warenkorb gelegt oder andere Aktionen durchgeführt hat, um eine andere Ausgabe deiner Website zu erhalten).

Verwendung von Basic Auth

Basic Auth ist die gängigste Authentifizierungsmethode für Webserver (auch bekannt als „.htaccess-Authentifizierung“ oder „.htaccess/.htpasswd-Login“). Um dem Crawler den Zugriff auf passwortgeschützte Seiten zu ermöglichen, können Sie die Authentifizierung unter CMPs > Bearbeiten > Crawler-Einstellungen > HTTP-Authentifizierung einrichten.

Verwendung von benutzerdefinierten Cookies

In den CMP-Einstellungen kannst du die Cookie-Authentifizierung aktivieren (CMPs > Bearbeiten > Crawler-Einstellungen anzeigen > Cookie-Authentifizierung). Dies ist ein Mechanismus, um dem Crawler mitzuteilen, dass er Cookies an den Server senden soll (auch wenn diese Cookies anderswo möglicherweise gar nicht existieren). Sobald der Crawler die Website besucht, sind die Cookies vorhanden und die Website kann diese lesen. Die Website kann dann anders reagieren, als sie es tun würde, wenn die Cookies nicht vorhanden wären (z. B. indem sie dem Crawler den Zugriff auf einen eingeschränkten Bereich gewährt oder dem Crawler bestimmte Inhalte anzeigt, für die andernfalls vor dem Besuch weitere Schritte erforderlich wären).

Um die Cookie-Authentifizierung einzurichten, fügen Sie bitte einen Eintrag pro Zeile ein, wobei ein Eintrag aus domain:cookiename:cookievalue besteht. Beispiel:

mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1