Som standard besöker sökroboten endast URL:er där CMP-koden finns. Detta kan leda till problem när det inte är möjligt för sökroboten att nå (samma) innehåll som en vanlig användare skulle nå (t.ex. eftersom användaren loggade in på ett inloggningsområde, lade till produkter i sin varukorg eller utförde andra uppgifter för att få ett annat resultat från din webbplats).

Använda Basic Auth

Basic Auth är den vanligaste autentiseringsmetoden för webbservrar (även känd som ".htaccess-autentisering" eller ".htaccess/.htpasswd-inloggning"). För att låta sökroboten komma åt lösenordsskyddade sidor kan du ställa in autentiseringen via CMPs > Redigera > Sökrobotinställningar > HTTP-autentisering.

Användning av anpassade cookies

I CMP-inställningarna kan du ställa in cookie-autentisering (CMP > Redigera > Visa crawlerinställningar > Cookie-autentisering). Detta är en mekanism för att be crawlern att skicka cookies till servern (även om dessa cookies kanske aldrig finns någon annanstans). När crawlern besöker webbplatsen kommer cookies att finnas där och webbplatsen kan läsa dessa. Webbplatsen kan då reagera på ett annat sätt än om cookies inte fanns (t.ex. genom att ge crawlern tillgång till ett begränsat område eller visa visst innehåll för crawlern som annars kräver att andra steg utförs före besöket).

För att ställa in cookie-autentisering, vänligen infoga ett objekt per rad där ett objekt består av domän:cookienamn:cookievärde. Exempel:

mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1