Ordliste · GEO
AI-crawler
Et program der henter hjemmesider til et AI-system. Forskellen ligger i hvad crawleren henter til. Det bestemmer om du bør lukke den ind.
- Engelsk
- AI crawler
- Dansk
- AI-crawler
- Kort sagt
- Et program der henter dine sider til træning, søgning eller en brugers spørgsmål.
En AI-crawler er et program der henter hjemmesider på vegne af et AI-firma. Den virker som Googlebot, men indholdet ender i en sprogmodel eller i et AI-svar.
AI-crawlere henter af tre grunde, og firmaerne har ofte en crawler til hver.
| Type | Hvad den gør | Eksempler |
|---|---|---|
| Træning | Henter indhold til at træne en model | GPTBot, ClaudeBot |
| Søgning | Bygger et indeks, så systemet kan finde og citere sider | OAI-SearchBot, Claude-SearchBot, PerplexityBot |
| Agent | Henter en side i det øjeblik en bruger beder om det | ChatGPT-User, Claude-User, Perplexity-User |
Søgecrawlerne får dig med i svarene
Vil du citeres i ChatGPT, skal OAI-SearchBot kunne hente dine sider. Søgecrawleren bygger det indeks svarene trækker på. Træningscrawleren har ikke noget med det at gøre.
Du kan derfor spærre GPTBot og stadig blive fundet. Mange gør det omvendte ved en fejl og spærrer alt med AI i navnet.
SeenSure målte 1.046 sider i september 2026. Den 2. september afviste siderne bag Cloudflare OAI-SearchBot næsten lige så ofte som GPTBot, 22,6 % mod 24,2 %. De sider sagde altså nej til at blive fundet når de ville sige nej til træning.
Googlebot, Bingbot og Applebot gør begge dele
Google, Microsoft og Apple bruger samme crawler til søgning og AI. Du kan ikke spærre træningen uden at spærre søgningen.
De har i stedet givet dig et navn eller et tag der kun gælder træning. Hos Google hedder det Google-Extended.
De fleste AI-crawlere læser ikke JavaScript
En måling fra Vercel og MERJ viser at GPTBot, ClaudeBot og PerplexityBot ikke kører JavaScript. De læser den HTML serveren sender.
Bliver din tekst først sat ind af JavaScript i browseren, ser de en side uden tekst. Googlebot og Applebot kører JavaScript.
Hvor du styrer AI-crawlere
Du har to steder. I robots.txt skriver du hvad hver crawler må hente. I et CDN som Cloudflare kan du afvise dem før de når din server.
Cloudflare bruger de samme tre typer og kalder dem Training, Search og Agent. Hvad de enkelte valg gør ved Googlebot, står i artiklen om Cloudflare og Googlebot.
Sådan beslutter du hvem der må komme ind
- 1
Lad søgecrawlerne komme ind
OAI-SearchBot, Claude-SearchBot og PerplexityBot skal kunne hente siderne hvis du vil nævnes i AI-svar.
- 2
Lad agenterne komme ind
De henter en side fordi en bruger har bedt om det. Spærrer du dem, kan assistenten ikke læse din side for brugeren.
- 3
Tag stilling til træning
Det er et valg om hvorvidt dit indhold må indgå i en model. Det påvirker ikke om du bliver fundet i dag.
- 4
Tjek hvad der faktisk sker
Se i serverloggen eller i Cloudflare hvilke crawlere der kommer, og hvilke svar de får.
Ofte stillede spørgsmål
Forsvinder jeg fra ChatGPT hvis jeg spærrer GPTBot?
Nej. GPTBot henter til træning. ChatGPT finder sider gennem OAI-SearchBot, som er en anden crawler.
Er Googlebot en AI-crawler?
Både og. Googlebot henter til Google-søgning, og det samme indhold bliver brugt i Googles AI. Derfor kan du ikke spærre Googlebot uden at forsvinde fra Google.
Følger AI-crawlere robots.txt?
De store firmaer skriver at deres crawlere gør det. robots.txt er dog en anmodning, og en crawler kan vælge at ignorere den.
Begrebet står også i ordlisten sammen med de øvrige termer om AI-synlighed.