Eine unbeabsichtigte Sperre von Googlebot kann Crawling und die Entdeckung wichtiger Seiten verzögern. Die sichere Reaktion ist nicht, jeden Bot freizugeben: Crawler prüfen, Cloudflare-Ereignisse auswerten und eine enge Ausnahme erstellen.
Direkte Antwort: Ermitteln Sie in Security Events die blockierende Regel, bestätigen Sie die Google-Herkunft und erstellen Sie nur für den verifizierten Bot oder die konkrete Regel eine begrenzte Ausnahme. Vermeiden Sie dauerhafte IP-Allowlisten und breite Allow-Regeln. Siehe auch SEO und unseren Ansatz für GEO.
Warum Sperren entstehen
Sicherheitsebenen analysieren Anfrage-Muster, Reputation, Rate und Verhalten. Das reduziert Missbrauch, doch eine zu breite Bedingung kann öffentliche Seiten oder legitime Crawler erfassen. Die richtige Entscheidung hängt von Ereignisbelegen, angefragtem Pfad und prüfbarer Identität des Agents ab.
Checklist
- Prüfen Sie Security Events nach Hostname, URI, Aktion und Ray ID.
- Klären Sie, ob WAF, Custom Rule, Rate Limiting, Bot Fight Mode oder Challenge entschieden hat.
- Prüfen Sie Googlebot mit Reverse DNS und anschließendem Forward DNS oder über veröffentlichte Google-IP-Bereiche.
- Testen Sie wichtige URLs in der Search Console und beobachten Sie Googlebot in den Logs.
- Erstellen Sie eine enge Ausnahme, dokumentieren Sie sie und prüfen Sie sie nach Regeländerungen erneut.
| Signal | Sichere Aktion |
|---|---|
| WAF block | Regel und Ausdruck prüfen |
| Challenge | Ausnahme auf verifizierten Crawler begrenzen |
| Rate limit | Zeitfenster und Umfang anpassen, nicht alles erlauben |
Auf Mobilgeräten die Tabelle seitlich verschieben.
Googlebot prüfen
Ein User-Agent allein beweist keine Identität. Googles offizielles Verfahren kombiniert Reverse DNS mit Forward DNS oder gleicht die IP mit veröffentlichten Bereichen ab. Cloudflare klassifiziert ebenfalls verifizierte Bots. Nutzen Sie diese Signale vor Änderungen an Produktionsregeln.
Grundsätze einer sicheren Ausnahme
Eine Ausnahme muss so klein wie möglich sein. Begrenzen Sie sie auf Hostname, Pfad oder ein Signal für verifizierte Bots, behalten Sie Logs und planen Sie eine Prüfung ein. Deaktivieren Sie nicht die WAF und erstellen Sie keinen allgemeinen Bypass für einen einzelnen Fehlalarm. Prüfen Sie danach URL-Prüfung und Sicherheitsereignisse.
Offizielle Quellen
Häufige Fragen
Kann Cloudflare Googlebot blockieren?
Ja. Eine WAF-Regel, ein Rate Limit, eine Challenge oder eine Bot-Einstellung kann einen legitimen Crawler treffen, wenn die Regel zu breit ist. Beginnen Sie beim Ereignis mit der Aktion, nicht mit einer globalen Freigabe.
Wie prüfe ich, ob Traffic wirklich von Googlebot kommt?
Google empfiehlt Reverse DNS für die IP, die Bestätigung eines Hostnamens unter googlebot.com, google.com oder googleusercontent.com und danach Forward DNS, das wieder dieselbe IP liefert. Google veröffentlicht außerdem IP-Bereiche.
Soll ich alle Google-IP-Adressen in der Firewall freigeben?
Nein. Breite Allowlisten vergrößern die Angriffsfläche und sind schwer wartbar. Nutzen Sie besser das Signal für verifizierte Bots oder eine eng auf Regel, Host und Pfad begrenzte Ausnahme.
Kann eine Challenge das Crawling beeinträchtigen?
Ja. Eine Challenge mit JavaScript, Cookies oder menschlicher Interaktion kann automatisierte Abrufe verhindern. Prüfen Sie Ereignis und URL und passen Sie nur die verantwortliche Regel an.
Was prüfe ich zuerst, wenn Seiten aus Google verschwinden?
Beginnen Sie mit Indexierung und URL-Prüfung in der Search Console. Suchen Sie parallel in Cloudflare nach Block- oder Challenge-Ereignissen für URL und Crawl-Zeitraum, bevor Sie Firewall-Regeln ändern.
