---
title: "Crawling og indeksering: robots.txt, sitemap og noindex"
url: "https://mikkeltschentscher.dk/viden/seo/crawling-og-indeksering"
language: "da"
updated: "2026-10-24"
---

# Crawling og indeksering: robots.txt, sitemap og noindex

Crawling er søgemaskinens hentning af en side. Indeksering er beslutningen om at behandle og gemme den som et muligt søgeresultat. En HTTP 200-status og en plads i sitemappet beviser ikke indeksering. Undersøg adressen, adgangen og indholdet hver for sig.

[![](https://mikkeltschentscher.dk/images/derived/avatar.5f721b7fc11b.png)Mikkel TschentscherWebudvikler siden 2010](https://mikkeltschentscher.dk/)

Udgivet 24\. oktober 2026

## En side skal kunne opdages

Almindelige links fra navigation, kategorier og relaterede sider giver søgemaskinen veje til indholdet. Et XML-sitemap oplyser desuden om de URL'er, du ønsker fundet. Brug det til relevante, kanoniske sider, som returnerer det forventede indhold.

En orphan page er en side uden interne indgående links i den undersøgte struktur. Den kan stadig være kendt via eksterne links eller et sitemap. Sammenlign derfor crawl, CMS-oversigt og sitemap, før du konkluderer, at en side er helt ukendt. Løsningen er en relevant intern placering, ikke et tilfældigt link fra alle sider.

## Robots.txt og noindex løser forskellige opgaver

En crawler skal kunne hente siden for at læse et noindex-direktiv i HTML. Robots.txt er heller ikke en sikkerhedsforanstaltning. Beskyt dokumenter og kundedata med reel adgangskontrol. Kontrollér regler på både produktionsdomæne og eventuelle underdomæner, fordi robots.txt gælder for sin egen vært.

Vælg kontrol efter formålet
| Mekanisme | Formål | Typisk fejl |
| --- | --- | --- |
| robots.txt | Styre hvilke adresser en crawler må hente | Forvente at en blokeret URL nødvendigvis forsvinder fra søgeresultater |
| noindex | Bede søgemaskinen udelade siden fra indekset | Blokere crawling, så direktivet ikke kan læses |
| Canonical | Angive en foretrukken version blandt ensartede sider | Behandle den som en adgangsblokering |
| Login eller anden adgangskontrol | Beskytte privat indhold | Bruge robots.txt som beskyttelse af følsomme data |

## XML-sitemap og HTML-sitemap

Et XML-sitemap er en maskinlæsbar liste af adresser. Et HTML-sitemap er en sideoversigt for mennesker. Ingen af dem erstatter en forståelig navigation. En lille hjemmeside kan ofte klare sig med en god service- og videnoversigt frem for endnu en separat oversigtsside.

Indsend den relevante sitemapadresse i Search Console og kontrollér hentning samt eventuelle fejl. Hold redirects, 404-sider og uønskede versioner ude af den tilsigtede liste. En ændringsdato skal beskrive en reel indholdsændring. Den bør ikke sættes til i dag ved hvert build, hvis siden er uændret.

## Crawl budget er ikke standardforklaringen på en manglende side

På et mindre site er det ofte mere nyttigt at kontrollere kvalitet, canonical og discovery end at optimere crawl budget. Store kataloger med mange filtre og parameterkombinationer kan derimod producere meget mere crawlbar overflade end nyttigt indhold.

Undersøg logfiler, indeksrapporter og URL-mønstre, før du ændrer regler. En blokering af et helt mønster kan også ramme vigtige kategorier. Skriv nogle repræsentative adresser fra hver gruppe, og test dem før og efter ændringen. Begrænsning af crawl er ikke det samme som at rydde et indeks.

## En praktisk kontrol af en manglende side

-   Kontrollér den endelige URL efter eventuelle redirects.
-   Læs robots.txt og sidens robots-meta eller X-Robots-Tag.
-   Sammenlign canonical, sitemap og interne links.
-   Åbn URL-inspektion og læs den konkrete årsag.
-   Test rettelsen på flere sider fra samme skabelon.

### Fiktivt eksempel: en ny serviceguide

Siden giver 200 og står i sitemappet, men dens robots-meta er stadig noindex fra et testmiljø. Første rettelse er at fjerne noindex i produktion og kontrollere den publicerede HTML. Derefter skal der være et relevant internt link. Search Console bruges til at følge Googles senere behandling, ikke til at erklære rettelsen færdig på forhånd.

## Kilder og videre læsning

-   [Google om robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro)
-   [Google om sitemaps](https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview)
-   [Google om crawl budget](https://developers.google.com/crawling/docs/crawl-budget)

## Har du en konkret opgave?

Send linket til din hjemmeside og beskriv, hvad du vil have løst. Så afgrænser vi næste skridt og aftaler leverancen, før arbejdet begynder.

-   [Teknisk SEO](https://mikkeltschentscher.dk/services/seo/teknisk-seo)
-   [SEO-analyse](https://mikkeltschentscher.dk/services/seo/seo-analyse)

## Læs videre

-   [
    
    ### Canonical og duplicate content: vælg den rigtige URL
    
    Undersøg dubletter, parametre og søgeordskannibalisering. Lær hvornår canonical, sammenlægning, interne links eller en tydeligere opdeling er den relevante løsning.
    
    
    
    ](https://mikkeltschentscher.dk/viden/seo/canonical-og-duplicate-content)
-   [
    
    ### Interne links og ankertekst: en praktisk arbejdsmetode
    
    Forbind guides, ydelser og kategorier med forståelige links. Se en linkplan, lær at finde orphan pages, og vurder broken links uden automatisk at redirecte alt.
    
    
    
    ](https://mikkeltschentscher.dk/viden/seo/interne-links)
-   [
    
    ### Google Search Console: søgeord, CTR og indeksering
    
    Find dine queries, undersøg en konkret URL og beregn CTR. En trinvis gennemgang hjælper dig med at skelne mellem efterspørgsel, visning og tekniske problemer.
    
    
    
    ](https://mikkeltschentscher.dk/viden/seo/google-search-console)
-   [
    
    ### SEO-tjekliste: fra audit til konkrete rettelser
    
    Undersøg adgang, indhold, links og måling i en fast rækkefølge. Få en SEO-audit-tjekliste, som skelner mellem dokumenterede fejl og hypoteser om synlighed.
    
    
    
    ](https://mikkeltschentscher.dk/viden/seo/seo-tjekliste)

Original: https://mikkeltschentscher.dk/viden/seo/crawling-og-indeksering