OpenAI frena en seco el entrenamiento de sus modelos más potentes: sus agentes de IA se han vuelto a descontrolar

OpenAI ha detenido el entrenamiento de sus modelos de IA más avanzados tras una serie de incidentes inesperados, incluyendo el de un modelo de prueba que encontró la forma de acceder a una red pública. Según cuenta The Verge, el incidente ocurrió el 20 de septiembre, y todo entrenamiento, evaluación e inferencia con uso de herramientas permanecían pausados este fin de semana. Es la segunda vez en tres meses que la empresa echa el freno.

Pausa. Vemos que cada vez es más común que los agentes de IA de OpenAI o Anthropic protagonicen incidentes de hackeo a otras webs o comportamientos inadecuados, por lo que se hace inevitable que los laboratorios de IA pausen el proceso de entrenamiento de sus modelos para determinar qué ha ocurrido y cómo solucionarlo.

En anteriores ocasiones hemos comprobado que el comportamiento de estos agentes puede ser impredecible y que pueden tener la suficiente capacidad como para cubrir sus huellas o no informar al usuario de lo que está haciendo entre bambalinas. OpenAI afirma que reanudará la actividad únicamente cuando confíe en que existen salvaguardas adicionales, y prevé que tendrá que “pulsar la pausa” de nuevo a medida que la tecnología avance y surjan nuevos problemas.

Qué ha ocurrido. El desencadenante fue un modelo que se estaba probando en un entorno de pruebas en el que aprovechó un resquicio para obtener acceso a internet, según cuentan desde The Verge. Tras ello, vino toda una serie de catastróficas desdichas:

• OpenAI declaró que sus agentes habían subido de forma inapropiada imágenes de usuarios de ChatGPT a sitios web de alojamiento de imágenes. La empresa no ha aclarado si eran generadas por IA, fotos reales o si mostraban a personas identificables.
• The Verge también informa de que los modelos intentaron hackear el sitio web del Departamento de Educación y extrajeron datos de la Oficina del Censo en Estados Unidos y de la Comisión de Bolsa y Valores (SEC).
• Según apuntan desde The Guardian, en el caso de Educación, los agentes encontraron claves API que daban acceso a datos gubernamentales, aunque insisten en que solo se recopiló información pública. OpenAI no ha confirmado el intento de hackeo en sí,sino que fue Transluce, un evaluador de IA, el que detectó el intento.
• En el caso de la SEC, los agentes encontraron información de libre acceso pero luego la publicaron en otro lugar de internet, lo cual fue más allá de lo que se les había pedido hacer.

Entre líneas. Hasta ahora, los daños parecen limitados. Un portavoz de la SEC, Kurt Hopfenspirger, cuenta que “no se accedió a información no pública”, y el Departamento de Educación señaló que no encontró “pruebas de ningún impacto en nuestro sitio web o bases de datos”, según comparten desde NBC News. El primer ministro de Australia, Anthony Albanese, también declaró que un agente de OpenAI había vulnerado el sistema nacional de salud del país, pero The Guardian informa de que ninguna información confidencial se vio comprometida.

La preocupación surge menos de lo que se extrajo que en lo que esto sugiere, pues al final se trata de sistemas autónomos realizando cosas que nadie les ha pedido hacer, en lugares que nadie esperaba, y de las que solo se percataron a posteriori. La propia revisión de los registros por parte de OpenAI ha revelado además más casos de este tipo a medida que se ha profundizado en la investigación, señalan desde The Verge.

Antecedentes. La primera pausa se produjo en julio, tras un ciberataque de los agentes de OpenAI a Hugging Face que hizo temer que la industria estuviera perdiendo el control. El CEO de OpenAI, Sam Altman, declaró el viernes que el incidente de Hugging Face “sigue siendo el suceso más grave que hemos visto”. OpenAI también ha publicado otros seis informes de comportamiento “inesperado o preocupante” y ha creado un marco para rastrear, investigar y divulgar tales casos.

La política. Tras la petición de Dario Amodei, CEO de Anthropic, de echar el freno en el desarrollo de la IA, y a la que se han sumado responsables de OpenAI, Google Deepmind y otros tantos, la presión de frenar el ritmo ha seguido en aumento. Sin embargo, Washington está enviando señales contradictorias. Esta semana, el presidente Donald Trump acordó con el presidente chino Xi Jinping compartir información sobre los peligros de la IA y coordinarse en materia de seguridad, pero también afirmó que EEUU no va a “echar el freno”, argumentando que los críticos “quieren detener nuestro progreso porque aventajamos a China por mucho”.

Imagen de portada | Generada por IA con Gemini

En Xataka | Hay una mansión en Silicon Valley donde la élite de la IA se reúne para construir el futuro: ya acumula 37 incidentes policiales