Google y OpenAI respaldan una señal común de entrenamiento de IA en robots.txt

Google anunció el 30 de octubre de 2026 que planea admitir una señal compartida en robots.txt para expresar preferencias sobre el uso de páginas en el entrenamiento de modelos de IA. OpenAI y Microsoft también comunicaron su apoyo; la implementación está prevista para 2027 y el mecanismo parte de un borrador de trabajo del IETF, no de un estándar final.

La propuesta permitiría declarar una preferencia de entrenamiento para varios proveedores mediante un token de política dentro de robots.txt. Google indica que, si el sitio expresa una exclusión y no define Google-Extended por separado, interpretaría esa señal como una exclusión de Google-Extended. Los controles específicos de cada empresa seguirían coexistiendo con la señal compartida.

El borrador técnico muestra el token User-Agent: __usage_ai-training acompañado de reglas Allow y Disallow. El propio documento aclara que es un Internet-Draft individual, sin respaldo formal del proceso de estándares del IETF, y que puede cambiar.

• Inventariar el robots.txt vigente y documentar los controles por proveedor, especialmente Google-Extended y los rastreadores de búsqueda.
• Acordar con cada cliente su política de uso de contenido: permitir entrenamiento, excluirlo o mantener decisiones distintas por proveedor.
• No copiar todavía una regla del borrador a producción. Esperar la sintaxis y fecha de soporte confirmadas por cada proveedor y validar que las directivas existentes no se contradigan.
• Cuando haya soporte, comprobar el archivo publicado, probar su lectura y registrar por separado el efecto en entrenamiento y en aparición/citación en productos de búsqueda con IA.

La señal trata sobre preferencias de entrenamiento y no equivale por sí sola a una orden universal para retirar páginas de la búsqueda o impedir que un sistema las consulte para responder. Google señala que los sitios que permiten Google-Extended pueden ser elegibles para aparecer en respuestas y recibir clics mediante grounding en Gemini Apps. Por eso, las decisiones deben separar entrenamiento, rastreo para búsqueda y uso en respuestas, en vez de aplicar un bloqueo general sin revisar el objetivo del cliente.

Google Search Central: Supporting a shared AI training control for websites (30/10/2026). OpenAI: Making it easier for websites to express AI training preferences (30/10/2026). IETF Datatracker: Machine-Readable Training Preference Signal, Internet-Draft (30/10/2026; documento de trabajo no aprobado como estándar).