Qué significa que las empresas de IA estén teniendo problemas de alineación y dediquen ya el 20% de sus recursos a esto

OpenAI está algo preocupada con el desarrollo de sus nuevos modelos, que considera demasiado peligrosos. Para solucionarlo calculan que tendrán que implementar una capa de monitorización que añade un 20% de cómputo extra sobre la inferencia que está siendo vigilada, aunque ese coste depende mucho de la carga. 

Qué está pasando. OpenAI no está diciendo que dedique el 20% de sus GPUs, presupuesto o investigadores a la "alineación" de sus modelos de IA. Lo que está indicando es que su nueva capa de monitorización supone incrementar en un 20% el cómputo que ya dedicaban a la inferencia para poder vigilar ese proceso.

Vigilancia obligada. Ese proceso de vigilancia es ahora obligatoria en entrenamientos de aprendizaje por refuerzo y en evaluaciones con herramientas para modelos con la capacidad de GPT-5.6 Sol o superior. Desde que Astra mostró una capacidad notable en el ámbito de la ciberseguridad, también se estableció esa vigilancia para cualquier proceso de inferencia de Astra.

¿Qué es "alinear" una IA? OpenAI define la alineación como lograr conseguir que el sistema se comporte como pretendemos y siga respondiendo a la supervisión humana. Cuando se entrenan modelos, aparecen problemas porque se le recompensa muchas veces cuando obtiene determinados resultados. Un modelo suficientemente "inteligente" puede encontrar maneras "rebeldes" de conseguir esas recompensas sin hacer realmente lo que queríamos. 

Ya pasó con Hugging Face. Puede manipular las pruebas, aprovechar fallos de los evaluadores, ocultar información o acceder a recursos que no debía, como ocurrió recientemente con el asombroso suceso con Hugging Face. Ese fenómeno, llamado reward hacking, es uno de los comportamientos citados por OpenAI junto a los engaños del modelo y a sus accesos no autorizados a servicios y herramientas externas.

Pongamos otro ejemplo. Imaginemos que le pedimos a un agente de IA que modifique el código de un programa para conseguir que pase todos los tests que debe pasar. Queremos que arregle ese código, pero el agente puede descubrir otros medios para conseguir su objetivo. Por ejemplo, modificar sus propios tests o engañar al sistema que pone las notas. No es que la IA quiera ser "mala", sino que simplemente para ella, si no establecemos límites estrictos, el fin justifica los medios: encontrar soluciones alternativas, aunque rompan reglas que parecían obvias pero no establecimos, es para la IA perfectamente razonable.

Entrenamiento detenido. En las últimas semanas hemos visto cómo modelos en desarrollo o disponibles públicamente han hecho cosas que teóricamente no deberían haber hecho por sí solos. El caso de Hugging Face ha sido el ejemplo más claro, y eso llevó a que OpenAI detuviera el entrenamiento de aprendizaje por refuerzo de Astra durante dos semanas. Ese proceso sigue en pausa mientras efectúan comprobaciones, evalúan su comportamiento y tratan de garantizar que el alineamiento del modelo es el adecuado.

Una IA para vigilar a otra IA. El nuevo sistema de OpenAI funciona en varias etapas. Usan detectores de bajo coste para examinar la actividad interna del modelo token a token, y cuando encuentran algo sospechoso, escalan el caso a agentes de IA especializados y cada vez más potetes para que analicen y tomen las decisiones adecuadas en cada caso. Ese ejército de agentes de IA de vigilancia es el que precisamente puede llegar a incrementar el cómputo en un 20%.

Los modelos de IA no nos lo cuentan todo. Hace tiempo que cuando los modelos de IA "razonan" aparece en la consola (por ejemplo) esa cadena de razonamiento o chain of thought. El problema es que en realidad ahí los modelos no lo cuentan todo, y si está haciendo trampas puede no explicarlo porque el modelo ni siquiera sabe que las está haciendo. 

Tres líneas defensivas. En OpenAI hablan de tres barreras para evitar el problema. La monitorización, la alineación y la contención. La empresa dice estar endureciendo sus sandboxes de ejecución, aislando más cargas y reduciendo privilegios permanentes. Como ocurre en ciberseguridad tradicional, la idea es multiplicar las barreras porque lo normal es que una sola no sea siempre suficiente.

Hacer modelos más seguros cuesta cómputo (y dinero). Si controlar modelos cada vez más potentes empieza a exigir cantidades significativas de cómputo y retrasos en el proceso de entrenamiento, la seguridad y alineación de estos modelos comienza a ser un elemento importante del coste del desarrollo de modelos. 

Anthropic, Google y Meta mueven ficha. La compañía publicó en julio de 2026 su Frontier Safety Roadmap. En esta iniciativa establecía objetivos concretos de seguridad y alineamiento, y explicaban que estas evaluaciones y monitorización puedne tener "impacto en la productividad". Es decir: aumentar la seguridad puede hacer más lento o caro el trabajo interno, aunque en ningún momento hablaron de una cifra concreta como el 20% del que habla OpenAI. Google DeepMind publicó un documento similar en junio, y Meta también habló del tema algo antes: todas parecen tener claro que hay un problema y que resolverlo tiene un coste real.

Debería haber un estándar universal. El divulgador Ethan Mollick exlicaba cómo esto puede suponer un problema, porque mientras que una empresa de IA puede poner salvaguardas, otro que quiera ganar la carrera y no tenga tantos escrúpulos puede descartarlas para ganar semanas o meses de ventaja. Según él lo que debería haber son unos estándares comunes que impusieran incentivos económicos a las empresas que desarrollan modelos.

En Xataka | Un modelo de IA no tenía acceso a internet. Así que consideró que era mejor tenerlo y decidió hackear algo por el camino