Um bloqueio indevido do Googlebot pode atrasar o rastreamento e prejudicar a descoberta de páginas importantes. O caminho seguro não é liberar qualquer bot: é confirmar a identidade do crawler, ler os eventos do Cloudflare e criar exceções estritas.
Resposta direta: use os eventos de segurança para identificar a regra que bloqueou a solicitação, valide se a origem é realmente do Google e aplique uma exceção limitada ao bot verificado ou à regra específica. Evite listas permanentes de IP e regras amplas de “allow”. Veja também SEO e nossa abordagem de GEO.
Por que o bloqueio acontece
Camadas de segurança analisam padrões de requisição, reputação, taxa e comportamento. Isso reduz abuso, mas uma expressão ampla pode incluir páginas públicas ou rastreadores legítimos. A decisão correta depende da evidência do evento, do caminho solicitado e da identidade verificável do agente.
Checklist
- Revise Security Events e filtre por host, URI, ação e Ray ID.
- Identifique se a decisão veio de WAF, regra personalizada, rate limiting, Bot Fight Mode ou desafio.
- Confirme o Googlebot por reverse DNS seguido de forward DNS, ou pelas faixas oficiais publicadas pelo Google.
- Teste URLs estratégicas no Search Console e acompanhe a atividade do Googlebot nos logs.
- Crie uma exceção estreita, documente o motivo e revise-a depois de alterações de regras.
| Sinal | Ação segura |
|---|---|
| WAF block | Revisar regra e expressão |
| Challenge | Limitar exceção ao crawler verificado |
| Rate limit | Ajustar janela e escopo, não liberar tudo |
No celular, deslize a tabela para o lado para ver todas as colunas.
Como validar o Googlebot
O user-agent sozinho não prova identidade. O método oficial do Google combina reverse DNS e forward DNS, ou compara o IP às listas publicadas. O Cloudflare também mantém classificação de bots verificados. Use esses sinais antes de mexer em regras de produção.
Princípios de uma exceção segura
Uma exceção deve ser a menor possível. Restrinja host, caminho ou sinal de bot verificado, mantenha logs e inclua uma revisão periódica. Não desative o WAF nem crie bypass geral para resolver um único falso positivo. Depois da mudança, acompanhe a inspeção de URL e os eventos de segurança.
Fontes oficiais
Perguntas frequentes
O Cloudflare pode bloquear o Googlebot?
Sim, uma regra de WAF, limite de taxa, desafio ou configuração de bots pode atingir um crawler legítimo se a regra estiver ampla demais. A correção deve partir do evento que mostra a ação aplicada e nunca de uma liberação geral.
Como confirmar se um acesso é realmente do Googlebot?
O Google orienta fazer DNS reverso do IP, confirmar um domínio googlebot.com, google.com ou googleusercontent.com e executar DNS direto para verificar que ele retorna ao mesmo IP. Também há listas oficiais de intervalos de IP.
Devo liberar todos os IPs do Google no firewall?
Não. Listas amplas aumentam a superfície de exposição e ficam difíceis de manter. Prefira a identificação de bot verificado do provedor ou uma exceção limitada à regra, host e caminho que geraram o falso positivo.
Um challenge pode afetar o rastreamento?
Sim. Um desafio que exige JavaScript, cookie ou interação humana pode impedir a coleta automatizada. Verifique eventos e teste a URL afetada; depois ajuste apenas a regra responsável, mantendo proteções para tráfego desconhecido.
Qual é o primeiro teste quando páginas somem do Google?
Comece pelo relatório de indexação e pela inspeção de URL no Search Console. Em paralelo, procure no Cloudflare eventos com bloqueio ou challenge para a URL e o período de rastreamento, antes de alterar qualquer firewall.
