Crawlery AI (GPTBot i inne)
Bots de empresas de IA que recopilan contenidos de sitios web - para entrenamiento o para respuestas en vivo.
Los crawlers de IA son bots con los que las empresas de IA recopilan contenidos de internet: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot y otros. Algunos recogen datos para entrenar modelos, otros descargan páginas en vivo para responder a una pregunta concreta del usuario - son dos roles distintos con diferentes consecuencias para el editor. El editor puede gestionar el acceso en el archivo robots.txt, bloqueando o permitiendo bots individuales. La decisión es hoy un elemento de estrategia: el bloqueo protege los contenidos del entrenamiento, pero también puede excluir el sitio de las respuestas de IA - es decir, de un canal donde cada vez más gente busca información.