Teknisk SEO
Cloudflare kan blokere Googlebot fra 15. september
Har du slået AI-træning fra i Cloudflare, risikerer du også at blokere Googlebot og forsvinde fra Googles indeks. Der er to ændringer samme dag, og kun den ene handler om annoncer.
Få artiklen opsummeret med:
Tjek din egen robots.txt
Se om din robots.txt spærrer Googlebot eller AI-crawlerne.
Testen læser kun robots.txt. Den kan ikke se om Cloudflare eller serveren afviser den rigtige crawler.
Indhold
Hvad skete der den 15. september 2026?
Cloudflare blokerer ikke længere Googlebot automatisk når du har slået AI-træning fra. Det var planen, men den 15. september 2026 flyttede Cloudflare alle eksisterende Training-blokeringer til den nye indstilling Disallow AI Training. Googlebot, Applebot og Bingbot crawler derfor stadig din side til søgning.
Googlebot bliver kun lukket ude hvis du selv vælger Block under Training. Vælger du Block on pages with ads, bliver Googlebot lukket ude på de sider der viser annoncer. Fra den 15. september gælder begge indstillinger også crawlere der henter til både søgning og træning.
Jeg skrev artiklen den 11. september ud fra det Cloudflare meldte ud 1. juli. Teksten står som den blev udgivet. Hvor noget har ændret sig, står der en opdatering under afsnittet.
Sådan lød planen før den 15. september
Den 15. september 2026 ændrer Cloudflare, hvordan de behandler crawlere, der både henter indhold til søgeresultater og til at træne AI-modeller. Har du slået AI-træning fra, kan du komme til at blokere Googlebot og dermed forsvinde fra Googles indeks.
Cloudflare ligger foran omkring en femtedel af verdens domæner og afgør, hvilke automatiske besøg der overhovedet når frem til din server.
To ændringer, og kun den ene handler om annoncer
De to bliver konstant blandet sammen, også i den engelsksprogede dækning. Forskellen afgør, om du er berørt.
Ændring 1: nye standardindstillinger for nye domæner
Opretter du et nyt domæne hos Cloudflare, bliver Training og Agent blokeret som standard, men kun på de sider, der viser annoncer. Search forbliver tilladt.
Har du ingen annoncer, sker der ingenting ad den vej.
Nye domæner får nu et af to forslag til opsætning når de bliver oprettet. Tjener siden penge på annoncer, bliver Training sat til Disallow AI Training og Agent til Block on pages with ads. Uden annoncer er Search, Training og Agent tilladt. Search er tilladt i begge forslag, og du kan ændre det hele bagefter.
Ændring 2: den strengeste regel vinder
Crawlere, der udfører flere opgaver, bliver vurderet efter alle deres formål, og den strengeste gældende regel afgør adgangen. Har du slået Training fra, bliver Googlebot, Applebot og BingBot blokeret.
Annoncer spiller ingen rolle her. Det er den ændring, der kan koste dig din synlighed.
Cloudflares egen dokumentation siger det direkte:
Mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations to block AI training, including the legacy "Block AI bots" option.
"All configurations" betyder alle. Også den gamle knap, som mange slog til for et år siden, fordi de ikke ville have deres indhold brugt til AI-træning. Det valg betyder noget andet fra den 15. september, end det gjorde dengang.
Den her ændring blev ikke gennemført som varslet. Cloudflare flyttede alle eksisterende Training-blokeringer til Disallow AI Training, hvor Googlebot, Applebot og Bingbot stadig må crawle til søgning. Det gælder også den gamle Block AI bots, som nu er udfaset. Citatet ovenfor beskriver planen fra juli og gælder ikke længere for de indstillinger du havde i forvejen.
Den strengeste regel vinder stadig ét sted. Vælger du selv Block under Training i dag, rammer den Googlebot, Applebot og Bingbot, også når de crawler til søgning.
Hvorfor rammer en AI-regel Googlebot?
Fordi Googlebot laver begge dele med den samme crawler. Den henter sider til søgeindekset, og det samme indhold bruger Google i sine AI-svar og til modeltræning. Der kommer ikke to besøg forbi. Der kommer ét.
Cloudflare sidder foran din server og ser én forespørgsel. De kan ikke vide, hvad indholdet bliver brugt til bagefter. Derfor er de nødt til at vælge én regel for forespørgslen, og de har valgt den strengeste.
Indstillingen hedder noget med AI, og derfor tror folk, at den kun rører AI. Man kan tro, man kun har blokeret træning, men Googlebot vurderes efter begge sine opgaver og bliver blokeret, selvom Search står som tilladt.
Forklaringen holder stadig. Googlebot bruger én crawler til begge formål, og Cloudflare kan ikke skille besøgene ad. Cloudflare valgte en anden løsning end at blokere. Disallow AI Training skriver et nej til træning ind i din robots.txt og lader Googlebot komme ind. Derefter er det op til Google at respektere reglen.
For Google er reglen altså en besked. Cloudflare spærrer kun for de rene træningscrawlere som GPTBot og ClaudeBot. Cloudflare kalder de operatører der har forpligtet sig til at respektere beskeden, for Accountable. Apple, Google og Microsoft er på listen.
Hvad sker der automatisk, og hvornår
Ændringen kræver ingen handling for at træde i kraft.
| Din situation | Hvad sker der 15. september |
|---|---|
| Du har selv slået Training fra | Googlebot, Applebot og BingBot bliver blokeret |
| Du har slået den gamle "Block AI bots" til | Det samme. Den tæller med |
| Du har ikke rørt indstillingerne | Der sker ingenting |
| Du opretter et nyt domæne efter den 15. | Training og Agent blokeres på sider med annoncer |
Tabellen ovenfor viser planen. Tabellen herunder viser hvad Cloudflare gjorde.
| Din situation før 15. september | Hvad Cloudflare gjorde |
|---|---|
| Du havde selv slået Training fra | Training blev flyttet til Disallow AI Training. Googlebot, Applebot og Bingbot crawler stadig til søgning |
| Du havde den gamle "Block AI bots" slået til | Search blev sat til Allow, Training til Disallow AI Training og Agent til Block on pages with ads. Knappen er udfaset |
| Du havde ikke rørt indstillingerne | Search, Training og Agent står på Allow |
| Du opretter et nyt domæne efter den 15. | Du får et forslag til opsætning. Med annoncer bliver Training sat til Disallow AI Training. Uden annoncer er alt tilladt |
Flytningen skete automatisk. Ifølge PPC Land skrev Cloudflare til kunderne den 16. september at indstillingerne ville blive flyttet i løbet af den følgende uge.
Det værste er, at du ikke opdager det
Blokeringen sker i Cloudflares net, før forespørgslen når din server. Din robots.txt bliver aldrig læst, og der står ingenting i serverloggen.
Alt ser normalt ud. Hjemmesiden virker, siderne er online, og ingen får en fejlmeddelelse. Faldet viser sig først, når Google holder op med at genbesøge siderne, og på det tidspunkt leder de fleste efter årsagen et helt andet sted.
For en mindre hjemmeside kan det tage måneder at komme tilbage.
Det her gælder stadig hvis Training står på Block. Blokeringen sker i Cloudflares net, og Googlebot når aldrig frem til din robots.txt. Står Training på Disallow AI Training, er det omvendt. Googlebot kommer ind, og nejet til træning står i robots.txt hvor du selv kan se det.
Det sker allerede for nogle
Search Engine Journal beskrev den 4. august en bruger i r/TechSEO, der oplevede det inden fristen. Da vedkommende satte AI Training til Block, fik både Googlebot og Bingbot 403 på sitemappet. Slog han blokeringen fra igen, virkede det.
John Mueller fra Google svarede i tråden og bad om flere oplysninger. Det er ikke en officiel udmelding fra Google, men det er værd at bemærke, at de tog den alvorligt nok til at spørge.
Rapporten skal læses med forbehold. Search Engine Journal kalder den selv anekdotisk og skriver at det er uklart om det var en fejl hos brugeren. Brugeren fortalte senere i tråden at 403-fejlen kom når Bot Fight Mode var slået til, og forsvandt når den blev slået fra.
Cloudflare skriver i indlægget fra 15. september at Block ikke gjaldt crawlere med flere formål før den dato. Det er derfor uklart om det var AI-indstillingen eller Bot Fight Mode der gav fejlen.
Der kom flere rapporter i august. Den tydeligste står i Cloudflares eget forum. En sideejer satte Training til Block den 15. august og lod Search og Agent være tilladt. Search Console meldte derefter 403 på 68 adresser. Antallet af indekserede sider faldt fra 114 til 72, og visningerne faldt med 64 %. Da Training blev sat tilbage til Allow den 24. august, kunne Google hente siderne igen. Bot Fight Mode var slået fra, og der var ingen egne WAF-regler. Tråden blev lukket automatisk efter 15 dage uden svar.
Den sag har ikke Bot Fight Mode som mulig forklaring. Den tyder på at Training-blokeringen ramte Googlebot allerede før den 15. september, selvom Cloudflare skriver noget andet.
Hvad viser målingerne efter den 15. september?
To målinger viser hvad ændringen gjorde i praksis. Efter den 15. september slipper AI-søgecrawlere ind på langt flere sider bag Cloudflare end før. Træningscrawlere bliver afvist lidt oftere.
Målingerne handler om AI-crawlere som GPTBot og OAI-SearchBot. Googlebot er ikke med i dem. SeenSure henter siderne selv og udgiver sig for at være hver crawler.
SeenSure hentede 1.046 sider den 14. og 16. september 2026 med otte AI-crawlere. Af dem lå 746 bag Cloudflare, og 300 gjorde ikke. De 300 er kontrolgruppen. En side tæller som afvist, når crawleren får en fejl i stedet for indholdet.
Tabellen viser den del af målingen hvor de to grupper kan sammenlignes direkte. Det er 894 nyere domæner, hvor 639 ligger bag Cloudflare og 255 ikke gør. Tallene er andelen af sider der afviste crawleren før og efter den 15. september.
| Crawler | Type | Bag Cloudflare, før og efter | Uden Cloudflare, før og efter |
|---|---|---|---|
| GPTBot | Træning | 26,8 % til 31,0 % | 6,3 % til 6,7 % |
| ClaudeBot | Træning | 28,1 % til 32,7 % | 6,8 % til 5,8 % |
| OAI-SearchBot | Søgning | 24,9 % til 3,2 % | 3,0 % til 2,5 % |
| PerplexityBot | Søgning | 23,6 % til 3,4 % | 2,5 % til 2,9 % |
| ChatGPT-User | Agent | 24,7 % til 3,2 % | 2,1 % til 2,1 % |
OAI-SearchBot er ChatGPTs søgecrawler. Bag Cloudflare blev den afvist af 24,9 % af siderne før og 3,2 % efter. Uden Cloudflare lå tallet stille omkring 3 %. Ændringen skete altså kun på sider bag Cloudflare.
SeenSure målte også den 10. september. Fra den 10. til den 14. flyttede tallene sig næsten ikke. Skiftet kom mellem den 14. og 16. september, altså da Cloudflares ændring trådte i kraft.
Hvorfor slipper søgecrawlerne lettere ind?
Cloudflare varslede ikke at søgecrawlere ville slippe lettere ind, og SeenSure kan ikke forklare skiftet. Min forklaring er at det er en bivirkning af oprydningen.
Før ændringen afviste siderne bag Cloudflare næsten alle AI-navne lige ofte. Den 2. september blev OAI-SearchBot afvist af 22,6 % af dem og GPTBot af 24,2 %. Det ligner én grov kontakt der ramte det hele.
Den 15. september udfasede Cloudflare netop den kontakt, Block AI bots. De gamle valg blev flyttet til tre indstillinger, hvor Search står på Allow og Training på Disallow AI Training. Agent blokerer kun på sider med annoncer. Træningsnavne bliver derfor stadig afvist, mens søge- og agentnavne slipper ind.
Det er min læsning af tallene. Hverken Cloudflare eller SeenSure har bekræftet den.
Stikprøven består mest af nye domæner og er ikke et tilfældigt udsnit af nettet. SeenSure kan heller ikke se om det var Cloudflare eller sidens ejer der afviste crawleren. De gentager målingen i december.
HasData målte 10.894 domæner den 10. juli og igen den 16. september. På sider bag Cloudflare faldt andelen med et GPTBot-forbud i robots.txt fra 17,1 % til 9,9 %. På andre sider lå den stille på 18,7 % og 18,6 %.
Har du en side bag Cloudflare, har indstillingerne flyttet sig uden at du har rørt dem. Tjek hvad AI-crawlerne får at se i dag.
Sådan tjekker du det
Åbn AI Crawl Control i Cloudflare
Gå til Security under AI Crawl Control. Der står, hvilke crawlere der er blokeret, og hvilke kategorier de hører til.
- Forældet, skrevet 11. september 2026
Se efter Training
Er Training blokeret, eller er den gamle "Block AI bots" slået til, er du i risikogruppen. Det gælder uanset annoncer.
- Forældet, skrevet 11. september 2026
Brug fravalget inden den 15.
Cloudflare har lagt en mulighed ind for at bekræfte, at du ikke ønsker ændringen for crawlere, der både henter til søgning og til træning. Den skal bruges inden fristen.
Opdatering 3. oktober 2026Fristen er passeret, og fravalget er ikke længere nødvendigt. Dine indstillinger blev flyttet automatisk.
Hold øje med indekserede sider
Følg antallet af indekserede sider i Search Console de næste par uger. Det er det første sted, et problem viser sig.
Sådan tjekker du det efter den 15. september
Åbn AI-indstillingerne i Cloudflare
Åbn domænet i Cloudflare og gå til Security og derefter Settings. Under Bot traffic finder du indstillingerne Search, Training og Agent.
Se hvad Training står på
Allow og Disallow AI Training lader Googlebot komme ind. Block lukker Googlebot ude.
Læs din robots.txt
Åbn filen i browseren. Er Bot Preference Sync slået til, står Cloudflares regler øverst i filen foran dine egne.
Kør en live-test i Search Console
Test forsiden i URL-inspektion. Får Google en 403, er der en blokering et sted.
Se crawlstatistikken
Den ligger under Indstillinger i Search Console og viser hvilke svar Googlebot har fået de seneste 90 dage.
Tjek Bot Fight Mode og WAF-regler
De kan blokere en crawler selvom AI-indstillingen står på Allow.
Hvad er forskellen på Block og Disallow AI Training?
Block stopper crawleren i Cloudflares net. Disallow AI Training lader søgecrawlerne komme ind og skriver et nej til træning i robots.txt. Training har fire indstillinger efter den 15. september 2026.
| Indstilling under Training | Hvad den gør | Googlebot til søgning |
|---|---|---|
| Allow | Alle crawlere er tilladt, medmindre en anden regel blokerer dem | Tilladt |
| Disallow AI Training | Skriver et nej til træning i robots.txt og blokerer de rene træningscrawlere | Tilladt |
| Block on pages with ads | Blokerer træningscrawlere på sider med annoncer, også Googlebot, Applebot og Bingbot | Blokeret på sider med annoncer |
| Block | Blokerer alle træningscrawlere, også Googlebot, Applebot og Bingbot | Blokeret |
Vil du sige nej til træning og beholde Google, skal du vælge Disallow AI Training. Block er til dig der vil have Googlebot helt væk.
Disallow AI Training findes kun under Training. Search og Agent har ikke den mulighed.
Sig nej til træning uden at miste Google
Vil du stadig ikke have dit indhold brugt til modeltræning, så styr det i robots.txt frem for i Cloudflare.
User-agent: Google-Extended Disallow: / User-agent: GPTBot Disallow: /
Google-Extended styrer brugen til Gemini og til træning uden at røre søgeindekset. Hos OpenAI er GPTBot træning, mens OAI-SearchBot er søgning, og det er den sidste, der får dig med i ChatGPT-svar.
Det virker, fordi forespørgslen når din server, og fordi de selv læser filen. Blokerer du i Cloudflare, bliver robots.txt aldrig læst.
Det er samme princip som resten af teknisk SEO: sørg for, at maskinerne kan komme ind, og styr derefter hvad de må bruge indholdet til.
Rådet gælder stadig, og Cloudflare kan nu gøre det for dig. Disallow AI Training skriver et nej til træning ind i din robots.txt. For Google er det en regel for Google-Extended. Indstillingen blokerer også de rene træningscrawlere fra Amazon, Anthropic, Meta og OpenAI. Du kan stadig skrive reglerne selv hvis du hellere vil styre filen.
Der er to forbehold. Bing læser endnu ikke et nej til træning i robots.txt. Microsoft regner med at være klar i starten af 2027, og indtil da bruger Bing meta-tagget NOARCHIVE.
Google-Extended stopper træning af Gemini. AI Overviews og AI Mode styrer du et andet sted, nemlig med indstillingen Search generative AI under Indstillinger i Search Console.
Forsvinder jeg fra ChatGPT, Bing eller Copilot?
Du forsvinder ikke fra ChatGPT ved at sige nej til træning. OpenAI bruger GPTBot til træning og OAI-SearchBot til søgning. Disallow AI Training blokerer træningscrawleren og lader søgecrawleren være.
Bing er anderledes. Bingbot henter til både søgning og træning ligesom Googlebot. Vælger du Block, forsvinder siden fra Bing. Ifølge PPC Land forsvinder den også fra Yahoo og Copilot.
| Crawler | Formål | Sådan styrer du træning |
|---|---|---|
| Googlebot | Søgning og AI hos Google | Google-Extended i robots.txt |
| Bingbot | Søgning og AI hos Microsoft | NOARCHIVE indtil starten af 2027 |
| Applebot | Søgning og AI hos Apple | Applebot-Extended i robots.txt |
| GPTBot | Træning hos OpenAI | Blokeres af Disallow AI Training eller i robots.txt |
| OAI-SearchBot | Søgning i ChatGPT | Tilladt når Search står på Allow |
Google-Extended og Applebot-Extended er navne du bruger i robots.txt. Der kommer ingen crawler forbi med de navne.
Hvad gør jeg hvis siden allerede er forsvundet fra Google?
Start med at se hvad Training står på i Cloudflare. Står den på Block, så skift til Disallow AI Training eller Allow. Tjek derefter Bot Fight Mode og dine WAF-regler.
Når blokeringen er væk, kører du en live-test i URL-inspektion og indsender dit sitemap igen i Search Console. Følg antallet af indekserede sider de næste uger. For en mindre hjemmeside kan det tage måneder at komme tilbage.
Ofte stillede spørgsmål
Bliver Googlebot blokeret, hvis jeg ikke har annoncer på min hjemmeside?
Nej, medmindre du selv vælger Block under Training. En tidligere Training-blokering blev flyttet til Disallow AI Training den 15. september 2026, og den lader Googlebot crawle til søgning. Annoncer betyder kun noget for den opsætning nye domæner får foreslået, og for Block on pages with ads.
Ja, hvis du selv har slået Training fra. Annoncereglen gælder kun nye domæner og kun sider med annoncer. Reglen om crawlere med flere formål gælder alle, der har blokeret Training, uanset om der er annoncer på siden.
Sker der noget, hvis jeg ikke har rørt indstillingerne?
Nej. Har du ikke selv slået Training eller Block AI bots til, sker der ingenting på et eksisterende domæne.
Hvorfor bliver Googlebot ramt af en regel om AI-træning?
Googlebot bliver kun ramt hvis Training står på Block i Cloudflare. Googlebot henter til både søgning og Googles AI med samme crawler, og Block kan ikke skille de to formål ad.
Fordi Googlebot laver begge dele med den samme crawler. Den henter sider til søgeindekset, og det samme indhold bruger Google i sine AI-svar og til træning. Cloudflare ser ét besøg og kan ikke se, hvad indholdet bagefter bliver brugt til, så de vurderer bot'en efter alle dens formål og lader den strengeste regel gælde.
Hvordan opdager jeg, om det er sket?
Ikke på hjemmesiden. Blokeringen sker i Cloudflares net, før forespørgslen når din server, så der står ingenting i serverloggen, og din robots.txt bliver aldrig læst. Tjek i stedet AI Crawl Control i Cloudflare, og hold øje med indekserede sider i Search Console.
Crawlstatistikken i Search Console viser også om Googlebot får 403-svar. Tjek derefter Training i Cloudflare, Bot Fight Mode og WAF-reglerne.
Hvordan siger jeg nej til AI-træning uden at miste Google?
Vælg Disallow AI Training under Training i Cloudflare, eller skriv selv en Disallow-regel for Google-Extended i robots.txt. Vælg ikke Block, for den lukker også Googlebot ude.
Brug robots.txt i stedet for Cloudflare. Google-Extended styrer brugen til Gemini og træning uden at røre søgeindekset, og hos OpenAI er GPTBot træning, mens OAI-SearchBot er søgning. Det virker, fordi forespørgslen når din server, og fordi de selv læser filen.
Hvor blev Block AI bots af i Cloudflare?
Cloudflare udfasede Block AI bots den 15. september 2026. Knappen er erstattet af indstillingerne Search, Training og Agent. Havde du den slået til, står Training nu på Disallow AI Training.
Skal jeg ændre noget i Cloudflare efter den 15. september?
I de fleste tilfælde nej. Cloudflare flyttede de gamle indstillinger automatisk. Åbn alligevel Security-indstillingerne og se at Training ikke står på Block, hvis du vil findes i Google.
Hvordan finder jeg ud af om min hjemmeside bruger Cloudflare?
Se på domænets navneservere. Ender de på ns.cloudflare.com, kører domænet gennem Cloudflare. Du kan også spørge den der står for din hjemmeside.
Hvilke AI-crawlere skal jeg tillade for at blive nævnt i AI-svar?
Lad Search og Agent stå på Allow i Cloudflare. Search dækker crawlere der bygger et søgeindeks, som OAI-SearchBot. Agent dækker de besøg en AI-assistent laver når en bruger beder den hente en side.
Kilder
- Cloudflare: Your site, your rules: new AI traffic options for all customers, 1. juli 2026.
- Cloudflare Developers: Block AI bots.
- Search Engine Journal: Report That Cloudflare AI Bot Blocking Prevents Googlebot From Indexing Sites, 4. august 2026.
- Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training, 15. september 2026.
- PPC Land: Cloudflare drops planned Googlebot block for sites refusing AI training, 27. september 2026.
- Cloudflare Community: ai_training=block appears to have blocked Googlebot despite Search being allowed, 25. august 2026.
- SeenSure: What Cloudflare's 15 September change actually did to AI crawler access, 16. september 2026.
- HasData: The AI Crawler Block Index, datasæt målt 10. juli og 16. september 2026.
Artiklen blev sendt ud som pressemeddelelse via PRLog den 11. september 2026.
Opdateret 3. oktober 2026 af Lasse Enggaard