Bots de IA en Cloudflare: Allow, Disallow o Block
Cloudflare divide los bots de IA en Search, Training y Agent. Aprende a configurar Disallow AI Training para proteger tu contenido sin desaparecer de Google.
👁 113 lecturas
Desde el 15 de septiembre de 2026, Cloudflare divide los bots de IA en tres grupos - Search, Training y Agent - y permite definir una regla independiente para cada uno. El cambio más importante: la opción Block ahora bloquea también a Googlebot, Bingbot y Applebot, por lo que si solo quieres impedir el entrenamiento de modelos, debes seleccionar la nueva opción Disallow AI Training. A continuación explico todas las opciones y te recomiendo cuál elegir según tengas un blog, una tienda online o un sitio con publicidad. Más información sobre la plataforma: guía de Cloudflare.
Estado a 5 de octubre de 2026
- Tres categorías: Search (indexación para buscadores), Training (entrenamiento de modelos) y Agent (agentes que operan a petición de un usuario).
- Cuatro opciones: Allow, Disallow AI Training (solo para Training), Block on pages with ads y Block.
- Retirados: el antiguo interruptor «Block AI Bots» y Managed robots.txt. Son sustituidos por Bot Preference Sync.
- Estado «Accountable»: Google, Apple y Microsoft; sus rastreadores se mantienen en los motores de búsqueda a pesar de prohibir el entrenamiento.
- Disponible en: todos los planes, incluida la versión gratuita (Free).
Por qué Cloudflare ha cambiado este sistema
El mayor conflicto hasta ahora radicaba en los bots de uso mixto: un mismo rastreador que indexa tu página para el buscador y, al mismo tiempo, recopila contenido para entrenar modelos de IA. Googlebot es el caso más claro. Si lo bloqueas para que Gemini no aprenda de tus artículos, desapareces de Google. Por ese motivo, durante mucho tiempo la opción «Block» en Cloudflare simplemente ignoraba a este tipo de bots.
Según los datos de Cloudflare, menos del 1% de los sitios web de su red bloquea a los bots de búsqueda tradicionales, mientras que el 17% activa algún tipo de restricción frente al entrenamiento de IA. El archivo robots.txt por sí solo no resuelve el problema: cualquiera puede publicarlo, pero este archivo no comprueba la identidad real de quien descarga el contenido ni detiene a los bots que deciden ignorarlo. Al gestionar el tráfico en tiempo real, Cloudflare puede tanto comunicar la preferencia como hacerla cumplir de forma efectiva.
Comparativa de opciones en Cloudflare
| Opción | Qué hace | Para Search | Para Training | Para Agent |
|---|---|---|---|---|
| Allow | Permite el acceso a todos los bots de la categoría (salvo que otra regla del firewall los detenga) | sí | sí | sí |
| Disallow AI Training | Añade la prohibición de entrenamiento a robots.txt; los bots «Accountable» siguen indexando y el resto de bots de entrenamiento se bloquean | - | sí | - |
| Block on pages with ads | Bloquea a los bots únicamente en las páginas donde Cloudflare detecta anuncios | sí | sí | sí |
| Block | Bloquea absolutamente a todos los bots de la categoría, incluidos los mixtos (Googlebot, Bingbot, Applebot) | sí | sí | sí |
Disallow AI Training bloquea, entre otros, a los rastreadores dedicados exclusivamente al entrenamiento de empresas como Amazon, Anthropic, Meta y OpenAI. Cloudflare subraya que bloquearlos no perjudica la visibilidad en los motores de búsqueda.
Qué ocurre con la configuración anterior
Si no realizaste ninguna modificación manual, Cloudflare migró tus reglas previas de forma automática:
| Antiguo «Block AI Bots» | Nuevo Search | Nuevo Training | Nuevo Agent |
|---|---|---|---|
| Desactivado | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Si ya habías configurado reglas individuales y tenías asignado Block o Block on pages with ads para Training, ahora verás activado Disallow AI Training. Conviene tener mucho cuidado: si seleccionas Block de forma manual para Training o Search, cortarás el paso a Googlebot. Es la forma más rápida de perder todo el tráfico orgánico de Google en cuestión de días.
Ajustes por defecto al añadir nuevos dominios
Cuando das de alta un dominio, Cloudflare pregunta si monetizas el sitio con publicidad y sugiere una de estas dos configuraciones:
| Ajuste | Sitio web sin anuncios | Sitio web con anuncios |
|---|---|---|
| Bot Preference Sync | activado | activado |
| Search | Allow | Allow |
| Training | Allow | Disallow AI Training |
| Agent | Allow | Block on pages with ads |
La estrategia es evidente: un anuncio solo genera ingresos cuando lo ve una persona física. El entrenamiento sustituye las visitas directas por respuestas generadas, y un agente analiza la página sin que nadie llegue a ver la publicidad.
Bot Preference Sync: tu robots.txt automatizado
Esta herramienta, disponible desde el 21 de agosto en todos los planes, inserta al inicio de tu archivo robots.txt un bloque alineado con las preferencias de tu panel. Las reglas que ya tenías se conservan intactas y las nuevas se añaden justo encima, delimitadas entre las etiquetas # BEGIN Cloudflare Bot Preference Sync y # END Cloudflare Bot Preference Sync. Cloudflare actualiza esta lista automáticamente basándose en su registro BotBase, evitando que tengas que rastrear manualmente los nuevos bots que aparecen cada trimestre.
¿Cuándo conviene desactivar esta sincronización? Si mantienes acuerdos comerciales directos con alguna empresa de IA concreta y deseas autorizar su rastreador saltándote la norma general. Bot Preference Sync opera a nivel de categorías completas y no interpreta reglas personalizadas de firewall.
Qué opción elegir según tu tipo de sitio web
Blog divulgativo o de tutoriales sin publicidad
- Search: Allow. Agent: Allow.
- Training: Allow o Disallow AI Training, según tu criterio personal. No perderás tráfico en ninguno de los dos casos.
- Valora solicitar acceso a la beta de Pay Per Use si publicas contenido técnico original y actualizado; analicé esta función en el artículo sobre Pay Per Use de Cloudflare.
Sitio web monetizado con anuncios (AdSense y redes similares)
- Search: Allow. Training: Disallow AI Training.
- Agent: aquí debes evaluar prioridades. La opción Block on pages with ads frenará a agentes como ChatGPT cuando consultan una web a petición de un usuario. Reducirás tráfico automatizado poco rentable, pero perderás menciones y enlaces en las respuestas de los chats. Si buscas ganar visibilidad en motores de IA (GEO), mantén Allow.
Tienda online o e-commerce
- Configura todo en Allow. Un agente de compras que analiza catálogos y compara precios actúa como un intermediario directo de venta. En análisis de grandes plataformas de comercio electrónico y portales de clasificados, la práctica habitual es mantener los bots de IA sin bloqueos en robots.txt para no perder oportunidades de conversión.
Sitio web con muro de pago (paywall)
- Search: Allow, Training: Disallow AI Training, Agent: Block o Block on pages with ads. Los agentes que extraen información eludiendo sistemas de suscripción suponen un riesgo real para el modelo de negocio.
Cómo configurarlo paso a paso
- Accede a tu panel de control de Cloudflare y selecciona tu dominio.
- Entra en el apartado de gestión de bots de IA (sección AI Crawl Control o dentro del menú de seguridad).
- En las pestañas Search, Training y Agent, elige las opciones según las pautas indicadas en la tabla superior.
- Activa Bot Preference Sync si no gestionas tu robots.txt por métodos manuales externos.
- Abre
tudominio.com/robots.txten el navegador y verifica que el bloque de Cloudflare se muestra correctamente. - Tras una semana, revisa las métricas de rastreo en Cloudflare y los informes de Google Search Console para confirmar que el número de páginas indexadas se mantiene estable.
Al redactar este texto no he operado sobre un panel en producción específico; las denominaciones de los menús corresponden a la documentación técnica de Cloudflare del 21 de agosto y el 15 de septiembre de 2026. Si la interfaz presenta ligeras variaciones, localiza los tres selectores principales: Search, Training y Agent.
El siguiente paso: control sobre los resúmenes de IA
Cloudflare ha anunciado que para comienzos de 2027 ofrecerá un ajuste centralizado para definir qué volumen de contenido puede mostrarse en los resúmenes generados por inteligencia artificial (como los AI Overviews de Google), sin necesidad de configurarlo por separado en cada buscador. El sello «Accountable» exige actualmente que Google, Apple y Microsoft faciliten vías directas para renunciar a la inclusión en estos resúmenes.
Puedes profundizar en las directrices globales para gestionar el rastreo en el artículo sobre cómo bloquear rastreadores de IA en tu propia web, y repasar el contexto técnico de finales de verano en el texto sobre cómo Cloudflare modificó el bloqueo de bots en sitios web. Para analizar el impacto general, también puedes consultar nuestro informe sobre el uso de directivas en servidores web en el estudio sobre robots.txt frente a la IA.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Fuentes
More on this from FULGOR
