OpenAI, Google, Microsoft y Anthropic acuerdan una instrucción técnica común en robots.txt, simplificando la protección de contenido web frente al entrenamiento de modelos de IA.
Una Respuesta Unificada a la Preocupación por el Contenido
En un movimiento significativo para el ecosistema digital, los cuatro pilares de la inteligencia artificial —OpenAI, Google, Microsoft y Anthropic— han anunciado su compromiso de respetar una instrucción técnica unificada para que cualquier sitio web pueda indicar que no desea que sus textos, imágenes o páginas se utilicen para entrenar modelos generativos. Esta iniciativa, que se apoya en un borrador presentado ante el Grupo de Trabajo de Ingeniería de Internet (IETF), busca simplificar drásticamente el proceso de exclusión de contenido para los creadores.
Hasta ahora, un editor o una empresa que quisiera proteger su contenido del rastreo de las IA se veía obligado a bloquear individualmente los rastreadores de cada compañía, como GPTBot de OpenAI, Google-Extended de Google o ClaudeBot de Anthropic. Una tarea tediosa y compleja que generaba fricción y desconfianza en la relación entre los generadores de contenido y los desarrolladores de IA.
El Estándar '__usage_ai-training' en robots.txt
La solución propuesta es elegante en su simplicidad: una nueva etiqueta denominada __usage_ai-training que se incluirá en el archivo robots.txt, un documento de texto que la mayoría de los sitios web ya utilizan para guiar a los programas automáticos sobre qué secciones pueden visitar. Si un administrador web añade esta etiqueta seguida de la orden Disallow: /, estará expresando claramente su negativa a que cualquier parte de su sitio se use para entrenar IA generativa. También se permite excluir solo secciones específicas, ofreciendo flexibilidad a los propietarios de contenido.
“Esta medida no introduce nuevas directivas ni gramática, sino que reutiliza la estructura existente del robots.txt, lo que facilitará enormemente su adopción por parte de la comunidad web.”
La propuesta, identificada como draft-kelley-aipref-training-preference-signal-00, aún es un borrador individual y no cuenta con el respaldo formal ni el estatus de estándar del IETF, lo que significa que sus definiciones aún pueden evolucionar. Sin embargo, el compromiso de los principales actores de la industria le otorga un peso considerable.
Implicaciones y el Camino Hacia Adelante
El anuncio es una señal clara de que las grandes tecnológicas están escuchando las preocupaciones de los creadores de contenido y los editores, quienes se han enfrentado a un aumento de bots que extraen sus artículos para alimentar modelos de IA, llevando incluso a litigios por derechos de autor. Microsoft ha confirmado que aplicará estas preferencias a partir de febrero de 2027, mientras que se espera una implementación gradual por parte de las otras compañías en los próximos meses o años.
Este paso, aunque inicial, representa un avance crucial hacia un marco más ético y respetuoso en el entrenamiento de la IA. ¿Será suficiente para calmar las aguas y construir una relación simbiótica entre la IA y los creadores de contenido, o es solo el primer capítulo de una negociación mucho más larga sobre el valor y la propiedad intelectual en la era de la inteligencia artificial?
LaIA de VilaTec
