Crawling og indeksering: robots.txt, sitemap og noindex
Crawling er søgemaskinens hentning af en side. Indeksering er beslutningen om at behandle og gemme den som et muligt søgeresultat. En HTTP 200-status og en plads i sitemappet beviser ikke indeksering. Undersøg adressen, adgangen og indholdet hver for sig.
En side skal kunne opdages
Almindelige links fra navigation, kategorier og relaterede sider giver søgemaskinen veje til indholdet. Et XML-sitemap oplyser desuden om de URL'er, du ønsker fundet. Brug det til relevante, kanoniske sider, som returnerer det forventede indhold.
En orphan page er en side uden interne indgående links i den undersøgte struktur. Den kan stadig være kendt via eksterne links eller et sitemap. Sammenlign derfor crawl, CMS-oversigt og sitemap, før du konkluderer, at en side er helt ukendt. Løsningen er en relevant intern placering, ikke et tilfældigt link fra alle sider.
Robots.txt og noindex løser forskellige opgaver
En crawler skal kunne hente siden for at læse et noindex-direktiv i HTML. Robots.txt er heller ikke en sikkerhedsforanstaltning. Beskyt dokumenter og kundedata med reel adgangskontrol. Kontrollér regler på både produktionsdomæne og eventuelle underdomæner, fordi robots.txt gælder for sin egen vært.
| Mekanisme | Formål | Typisk fejl |
|---|---|---|
| robots.txt | Styre hvilke adresser en crawler må hente | Forvente at en blokeret URL nødvendigvis forsvinder fra søgeresultater |
| noindex | Bede søgemaskinen udelade siden fra indekset | Blokere crawling, så direktivet ikke kan læses |
| Canonical | Angive en foretrukken version blandt ensartede sider | Behandle den som en adgangsblokering |
| Login eller anden adgangskontrol | Beskytte privat indhold | Bruge robots.txt som beskyttelse af følsomme data |
XML-sitemap og HTML-sitemap
Et XML-sitemap er en maskinlæsbar liste af adresser. Et HTML-sitemap er en sideoversigt for mennesker. Ingen af dem erstatter en forståelig navigation. En lille hjemmeside kan ofte klare sig med en god service- og videnoversigt frem for endnu en separat oversigtsside.
Indsend den relevante sitemapadresse i Search Console og kontrollér hentning samt eventuelle fejl. Hold redirects, 404-sider og uønskede versioner ude af den tilsigtede liste. En ændringsdato skal beskrive en reel indholdsændring. Den bør ikke sættes til i dag ved hvert build, hvis siden er uændret.
Crawl budget er ikke standardforklaringen på en manglende side
På et mindre site er det ofte mere nyttigt at kontrollere kvalitet, canonical og discovery end at optimere crawl budget. Store kataloger med mange filtre og parameterkombinationer kan derimod producere meget mere crawlbar overflade end nyttigt indhold.
Undersøg logfiler, indeksrapporter og URL-mønstre, før du ændrer regler. En blokering af et helt mønster kan også ramme vigtige kategorier. Skriv nogle repræsentative adresser fra hver gruppe, og test dem før og efter ændringen. Begrænsning af crawl er ikke det samme som at rydde et indeks.
En praktisk kontrol af en manglende side
- Kontrollér den endelige URL efter eventuelle redirects.
- Læs robots.txt og sidens robots-meta eller X-Robots-Tag.
- Sammenlign canonical, sitemap og interne links.
- Åbn URL-inspektion og læs den konkrete årsag.
- Test rettelsen på flere sider fra samme skabelon.