Cloudflare, uno de los gigantes de la infraestructura de internet, ha presentado una nueva herramienta diseñada para combatir a los bots que rastrean sitios web con el fin de recolectar datos para entrenar modelos de IA sin permiso. Bautizada con el nombre de AI Labyrinth, esta tecnología gratuita redirige a los bots hacia una red de páginas artificiales creadas mediante IA. Estas páginas no contienen información sensible ni propia del sitio, sino textos verídicos pero irrelevantes, diseñados específicamente para desviar a los rastreadores, hacerles perder tiempo y consumir sus recursos computacionales. Según explicó la compañía en su blog oficial, el contenido generado se basa en hechos científicos, pero no está vinculado al propósito real de la web rastreada.
El fin del “código de honor” entre bots
La propuesta se aleja de enfoques tradicionales como el archivo robots.txt, que hasta ahora servía como una especie de “código de honor” para indicar a los bots qué podían o no indexar. Pero empresas como Anthropic o Perplexity AI han sido señaladas por ignorar estas normas, lo que ha provocado una carrera entre desarrolladores de sitios web y rastreadores automatizados. Cloudflare afirma que recibe más de 50.000 millones de solicitudes de bots al día y que, aunque ya dispone de sistemas para detectarlos, los atacantes suelen adaptarse rápidamente.
Fuente: Cloudflare.
Así funciona AI Labyrinth
En lugar de bloquear directamente a los bots, los conduce por una serie de enlaces que los lleva a páginas irrelevantes generadas por IA. Estas páginas no son visibles para usuarios humanos, y su contenido, aunque veraz, no tiene ninguna relación con la web objetivo. Esto permite a Cloudflare identificar nuevos patrones de comportamiento de bots y enriquecer su base de datos de agentes maliciosos.
Implementación sencilla y contenido controlado
La herramienta se activa fácilmente desde el panel de control de Cloudflare, en la sección de gestión de bots. Una vez habilitada, genera y almacena contenido ficticio predefinido, que se enlaza a través de redes de URLs diseñadas específicamente para engañar a los rastreadores. Cloudflare aclara que este contenido no busca desinformar, sino simplemente desviar la atención de los bots con datos inútiles para ellos, pero seguros para la web.
Un precedente en la guerra por los datos
Con AI Labyrinth, Cloudflare busca proteger a los sitios web de ser explotados, y también establecer un precedente: los creadores de contenido tienen derecho a decidir si sus datos pueden ser usados para alimentar a la IA. La guerra por los datos en la era de la inteligencia artificial sigue escalando, y esta herramienta marca un nuevo capítulo en este conflicto.
Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
