Javier Pastor
Editor Senior - TechUn grupo de agentes de OpenAI recibió una tarea que a priori parecía bastante aburrida: buscar información en internet a toda velocidad. Tenían acceso controlado a la web y podían leer páginas, pero en principio no podían escribir en ellas. El experimento se acabó desmandando: los agentes encontraron una viejo sitio alemán en formato wiki que descubrieron que podían modificar, y acabaron convirtiendo esa página en una improvisada plataforma de colaboración.
La tarea era inocente. Es importante destacar que a diferencia de otros incidentes recientes protagonizados por agentes de OpenAI, aquí la IA no estaba intentando hackear un sistema o intentando superar una prueba de ciberseguridad. Lo único que tenían que hacer teóricamente era realizar búsquedas web con ciertos límites de tiempo. A partir de ahí se desencadenó un proceso que hizo que si un agente encontraba una respuesta y la dejaba escrita en algún sitio, otros agentes podrían reutilzarla para completar su tarea más rápidamente. No está claro cómo descubrieron que tenían que acudir precisamente a esa web, pero puede que el aprendizaje por refuerzo acabara contribuyendo a que ese descubrimiento acabara incorporando el conocimiento de ese recurso.
Vamos a montarnos un Slack propio. El sitio que encontraron fue DSEWiki, una antigua wiki alemana para desarrolladores que llevaba prácticamente dos décadas abandonada. Según los investigadores, había recibido apenas diez ediciones durante los últimos 20 años. Los agentes empezaron a utilizarla en mayo para dejar enlaces y resultados de búsquedas. A mediados de junio aquello explotó, y en aproximadamente una semana realizaron unas 13.000 ediciones. Habían convertido una web olvidada en una base de concocimiento compartido entre máquinas: un Slack robótico del que nadie se había percatado.
Se suponía que solo podían "leer" internet. OpenAI había configurado el acceso de estos agentes a internet detrás de un proxy diseñado para permitir solo peticiones GET, es decir, solo lecturas, evitando así operaciones que podían escribir en esos sitios web. El problema es que las viejas wikis basadas en la plataforma UseMod permitían realizar acciones de escritura también con GET. Los agentes buscaron precisamente software antiguo susceptible de funcionar así y descubrieron que podían escribir en esas páginas. Fue el momento "bingo" de un proceso que teóricamente estaba controlado.
Compartiendo información. Los mensajes que se fueron dejaron los agentes contenían respuestas a las pruebas, enlaces útiles y técnicas que otros agentes podían reutilizar. Algunos llegaron bastante más lejos: intercambiaron métodos para eludir las restricciones de los sandbox que OpenAI había creado, como posibles técnicas de XSS (ejecución de código cruzado) contra la propia wiki e ideas para hacerse pasar por moderadores de la wiki. En tres mensajes usaron incluso la palabra swarm (enjambre) para referirse al colectivo de agentes que estaba participando en todo este proceso. Los investigadores de ciberseguridad describen el comportamiento de estos agentes como una colaboración destinada a lo que precisamente les pidieron: mejorar sus resultados en las pruebas.
Entonces apareció un humano. El 2 de junio un administrador del sitio descubrió ese contenido extraño y empezó a borrarlo como si fuera spam, pero los agentes siguieron publicando. Cuando la actividad se disparó semanas después, el administrador llegó a eliminar unas 100 páginas diarias mientras los agentes creaban unas 400. Lo curioso fue lo que descubrieron después.
ZZZ. Uno de los momentos más alucinantes de todo este "hackeo" se produjo cuando los agentes detectaron que ese administrador humano estaba eliminando páginas siguiendo más o menos un orden alfabético. Para esquivar esas acciones, empezaron a crear copias con nombres que empezaban por ZZZ para que tardase más tiempo en llegar a ellas.
OpenAI acaba enterándose. El 22 de junio la actividad de los agentes cayó prácticamente a cero. Los investigadores del incidente descubrieron además visitas aparentemente humanas procedentes de direcciones IP de OpenAI poco antes de que cesara la actividad. OpenAI confirmó después que los agentes eran suyos y que había detectado el suceso. Según la compañía la información revisada no indicaba que los agentes "hackearan" la wiki, aunque sí reconocía que ya habían mostrado comportamientos similares en pruebas internas. En Reuters afirman que directivos de OpenAI se enteraron del incidente hace semanas pero no dijeron nada tras las críticas por el reciente problema que surgió con Hugging Face.
En Xataka | OpenAI y Anthropic tienen un problema: los nuevos modelos baratos de Google y Meta ya son demasiado buenos
Ver 1 comentarios