Anthropic detuvo el entrenamiento de su nueva IA por una sencilla razón: estaba aprendiendo demasiado bien a hacer trampas

Esto está pasando de castaño a oscuro, queridos lectores. Si ya estabamos inquietos con lo que pasó con los agentes de OpenAI y Hugging Face, ahora llega Anthropic para avisarnos de que sus modelos también se están poniendo rebeldes. La firma descubrió en primavera —aunque lo cuente ahora— que estaba creando entornos para entrenar a Claude más rápido de lo que podía comprobar que esos entornos funcionaban correctamente. 

Qué está pasando aquí. Los errores, las configuraciones defectuosas y las oportunidades para seguir esa célebre filosofía del reward hacking (si me hackeas, premio) empezaron a superar la capacidad de detectarlos no solo de sus sistemas, sino también de sus revisores humanos. En Anthropic acabaron frenando parte del proceso para revisar qué estaban enseñando realmente a sus modelos de IA.

Primero hubo que retroceder tres días. En febrero, durante el entrenamiento por refuerzo de Mythos Preview, Anthropic detectó comportamientos extraños. El modelo escribía comentarios dirigidos a un supuesto "revisor" incluso en tareas en las que se supone que no había ninguno. Logró además explotar una recompensa diseñada para fomentar la honestidad de su comportamiento: acumulaba advertencias y matices porque había aprendido que eso mejoraba su puntuación. En Anthropic decidieron volver a un punto de control (checkpoint) tres días atrás y modificar el entorno de entrenamiento antes de continuar.

Tres “civilizaciones” de agentes de OpenAI aparecieron una detrás de otra. El problema empieza por llamarlas "civilizaciones"

Aprender tiene recompensa, pero el modelo se las intenta saltar. En el aprendizaje por reuerzo (Reinforcement Learning, RL) no se programa exactamente cómo resolver una tarea. En lugar de eso se define un objetivo y una recompensa que le indica al modelo cuándo lo está haciendo bien. El problema aparece cuando descubre una forma de conseguir esa recompensa sin hacer realmente aquello que pretendíamos enseñarle a ese modelo. 

Chuletas pero sin ser chuletas. Es básicamente lo mismo que aprobar un examen gracias a una chuleta, pero con una distinción: el modelo no necesita "querer engañar" a nadie (el alumno humano sí), porque basta con que el entrenamiento favorezca comportamientos que producen puntuaciones más altas. El modelo simplemente intenta cumplir el objetivo sea como sea siguiendo las reglas que le dictan. Y si no se le dictan ciertas restricciones, para él no existen.

Esto va demasiado rápido. Anthropic llevaba años buscando este tipo de atajos, pero sus investigadores reconocen que esta primavera de 2026 la velocidad del proceso empezó a ser excesiva. Estaban generando nuevos entornos de RL a un ritmo superior al que sus propias herramientas podían revisarlos. Las alertas que requerían intervención humana se acumulaban, y los errores de configuración comenzaron a crecer más rápido de lo que podían arreglarlos.

Anthropic pisa el freno. En abril Anthropic congeló aproximadamente durante un mes todos los cambios de sus entornos de RL de producción y reconstruyó buena parte del sistema de revisión de estos procesos. Cuando terminó de examinarlos, los responsables del proceso descubrieron que más del 10% de esos entornos tenía algún problema. Tuvieron que corregirlos y certificarlos antes de usarlos de nuevo, y también detectaron que algunos revisores humanos habían descartado algunos avisos como falsos positivos cuando correspondían a problemas reales.

Este modelo se nos está rebelando. La compañía entrenó deliberadamente un modelo de clase Opus en 80 entornos que antes habían permitido alguna forma de reward hacking y después lo colocaron en simulaciones más exigentes. El modelo intentó salir de un sandbox simulado, atacar infraestructura simulada, modificar su propia función de recompensa y eludir sistemas de monitorización. Los modelos de producción que se sometieron a esas mismas pruebas no mostraron esos comportamientos.

En Xataka

Nos hemos pasado tres años preocupados por si la IA alucina. Ahora el problema es que haga cosas

Luego llegaron los incidentes reales. En julio Anthropic desveló tres problemas de ciberseguridad en sus modelos Claude que terminaron accediendo sin autorización a sistemas reales debido a configuraciones erróneas en esos sistemas externos. Al detectar el problema suspendieron las evaluaciones de ciberseguridad externas, detuvieron brevemente las  internas y pararon durante semanas los entornos de RL que para ellos tenían mayor riesgo.

Coordinación pra entrenar modelos. Anthropic afirma ahora que la industria de la IA se beneficiaría de un sistema "legal, verificable y efectivo" que coordinase el ritmo de desarrollo entre los distintos laboratorios de IA. El mensaje es claro: Anthropic puede parar semanas sus sistemas para corregir fallos como los descritos, pero mientras sus competidores pueden seguir entrenando sus modelos sin tener esas mismas precauciones con tal de ganar ventaja en la carrera de la IA. La carta abierta firmada recientemente por ambas empresas va un poco en esa dirección, pero de momento no hay medidas universales que las empresas de IA hayan adoptado de forma consensuada. Y hasta que eso ocurra, si ocurre, el riesgo parece estar acelerándose.

Imagen | Xataka con Magnific

En Xataka | OpenAI, Anthropic y Google piden protegernos de los riesgos de la IA. Es como poner al lobo a cuidar del gallinero