Un bloqueo accidental de Googlebot puede retrasar el rastreo y la detección de páginas importantes. La respuesta segura no es permitir cualquier bot: hay que verificar el crawler, revisar eventos de Cloudflare y crear una excepción limitada.
Respuesta directa: identifica en Security Events la regla que bloqueó la solicitud, verifica que el origen sea realmente Google y aplica una excepción limitada al bot verificado o a la regla concreta. Evita listas permanentes de IP y reglas allow demasiado amplias. Consulta también SEO y nuestro enfoque de GEO.
Por qué ocurre el bloqueo
Las capas de seguridad analizan patrones de solicitud, reputación, tasa y comportamiento. Eso reduce abusos, pero una expresión demasiado amplia puede incluir páginas públicas o crawlers legítimos. La decisión correcta depende de la evidencia del evento, la ruta solicitada y la identidad verificable del agente.
Checklist
- Revisa Security Events por host, URI, acción y Ray ID.
- Define si la decisión vino del WAF, una regla personalizada, rate limiting, Bot Fight Mode o un challenge.
- Verifica Googlebot con DNS inverso y luego DNS directo, o con los rangos de IP publicados por Google.
- Prueba URLs importantes en Search Console y observa la actividad de Googlebot en los registros.
- Crea una excepción estricta, documenta el motivo y revísala tras cambiar reglas.
| Señal | Acción segura |
|---|---|
| WAF block | Revisar regla y expresión |
| Challenge | Limitar la excepción al crawler verificado |
| Rate limit | Ajustar ventana y alcance, sin permitir todo |
En móvil, deslice la tabla para ver todas las columnas.
Cómo validar Googlebot
El user-agent por sí solo no prueba la identidad. El método oficial de Google combina DNS inverso y DNS directo, o compara la IP con rangos publicados. Cloudflare también clasifica bots verificados. Usa esas señales antes de cambiar reglas de producción.
Principios de una excepción segura
Una excepción debe ser lo más limitada posible. Restringe host, ruta o señal de bot verificado, conserva registros y programa una revisión. No desactives el WAF ni crees un bypass general para resolver un falso positivo. Después del cambio, revisa Inspección de URL y eventos de seguridad.
Fuentes oficiales
Preguntas frecuentes
¿Cloudflare puede bloquear Googlebot?
Sí. Una regla de WAF, un límite de tasa, un challenge o una configuración de bots puede afectar a un crawler legítimo cuando la regla es demasiado amplia. Parte del evento que muestra la acción, no de una liberación global.
¿Cómo verifico que el tráfico es realmente Googlebot?
Google recomienda hacer DNS inverso del IP, confirmar un hostname googlebot.com, google.com o googleusercontent.com y hacer DNS directo para comprobar que devuelve el IP original. Google también publica rangos de IP.
¿Debo permitir todas las IP de Google en el firewall?
No. Las listas amplias elevan la exposición y son difíciles de mantener. Es mejor usar la señal de bot verificado del proveedor o una excepción acotada a la regla, host y ruta que generan el falso positivo.
¿Un challenge puede afectar el rastreo?
Sí. Un challenge que exige JavaScript, cookies o interacción humana puede impedir una solicitud automatizada. Revisa el evento y la URL, y ajusta solo la regla responsable.
¿Qué reviso primero si páginas desaparecen de Google?
Empieza por Indexación e Inspección de URL en Search Console. En paralelo, busca en Cloudflare bloqueos o challenges para la URL y el periodo de rastreo antes de modificar el firewall.
