OpenAI acaba de lanzar su modelo de frontera. Acto seguido su científico jefe afirmó que quizá están yendo demasiado lejos

La semana pasada, OpenAI lanzó GPT-6 Astra. Se trata de su modelo público más potente que llegó en paralelo a Fable 5.1, de Anthropic. Las dos compañías se encuentran jugando al juego del gato y el ratón, un "y yo más" constante en el que ambas escalan sin parar sus modelos comerciales para tener la supremacía tecnológica y la herramienta que más llame la atención.

Tiene sentido en un momento en el que las dos se preparan para convertirse en empresas públicas y necesitan un producto potente que atraiga miradas, compradores y potenciales beneficios, pero tras meses de competición con modelos cada vez más potentes desarrollados en cada vez menos tiempo, aparece una pregunta: cuándo será suficiente.

Curiosamente, el que ha publicado un ensayo sobre el tema pidiendo echar el freno es Jakub Pachocki. Y si nos hacemos eco de esto es porque no es un cualquiera: es el científico jefe de OpenAI.

"An Alien Mind"

Pachocki publicó sus pensamientos en el blog de OpenAI apenas tres días después de la presentación de GPT-6. Con el título de "una mente alienígena", el investigador empieza recordando cuando, en 2023, comprendieron que podían escalar el entrenamiento de modelos de razonamiento hasta el punto de ver máquinas más inteligentes que los humanos en esta generación.

Puede parecer exagerado, pero ahora, y como el propio Pachocki señala, estamos en un momento en el que la IA puede automejorarse, reprogramándose para impulsar de forma autónoma su desarrollo. Eso es lo que permite que veamos modelos cada vez más potentes en tiempo récord porque son aditivos y con una IA que impulsa cada vez más su propio desarrollo.

Esto es lo inquietante para el investigador, que advierte que, actualmente, estamos ante sistemas "cultivados" más que "diseñados", siendo este el resultado de repetir un proceso de optimización sobre enormes cantidades de cómputo que, en la práctica, se traduce en un comportamiento de la IA que ni siquiera sus creadores logran comprender del todo. Pone como ejemplo a la neurociencia estudiando el cerebro sin terminar de entenderlo por completo.

Pero lo que preocupa a Pachocki es lo que ha denominado como "problema de alineamiento". Aquí hay que distinguir entre el alineamiento de objetivos y el de valores porque la IA debe conseguir ciertos resultados, pero también debe actuar conforme a valores humanos incluso en situaciones nuevas o adversas. 

Pachocki expone que las dos grandes técnicas actuales son el refuerzo guiado por evaluación  y el aprovechamiento de datos de preentrenamiento, pero ambas tienen debilidades importantes y las principales herramientas de OpenAI para verificar si el alineamiento es correcto está perdiendo eficacia.

¿El motivo? Los nuevos modelos son cada vez más y más complejos, y con esa evolución "al vuelo" cada vez tienen más manga ancha para manipular su propio razonamiento. La advertencia final es que quizá no es buena idea jugar en la competición por acelerar el desarrollo de herramientas cada vez más potentes.

Citando riesgos crecientes en ciberseguridad, sobre todo en la nueva era agéntica en la que estamos entrando, Pachocki expone que los sistemas podrían actuar más allá de la intención de quienes los programaron. Seguir por este camino sería una imprudencia, pero el investigador lanza algunas ideas para que la evolución sea más segura y, sobre todo, responsable.

Para él, habría que fortalecer el alineamiento y la supervisión a la par que avanza la IA, pero también coordinar frenos cuando sea necesario para generar confianza en esas medidas de seguridad. 

Concluye el ensayo pidiendo estándares de seguridad obligatorios y verificados por auditores externos, como puede ser una entidad gubernamental, y pide una coordinación internacional urgente porque, en su opinión, ningún laboratorio ha resuelto aún el problema del alineamiento como para seguir escalando la tecnología a este ritmo.

Me piro, no hay responsabilidad

Por otro lado, y casi en paralelo al ensayo de Pachocki, tenemos la dimisión de Jacob Coxon. Coxon trabajaba hasta hace poco como investigador de preentrenamiento en Anthropic. Antes de eso, pasó por OpenAI realizando la misma labor, pero a través de un mensaje en Twitter, ha comunicado que lo deja.

Entre sus motivos, expone que ninguna de las dos empresas está actuando de forma responsable porque están corriendo hacia una superinteligencia autosuperable que jugará con nuestras vidas. Según él, pronto serán sistemas capaces de hackear cualquier cosa y revolucionar cualquier campo de la noche a la mañana y esto es algo que no sólo no se está frenando, sino que está siendo impulsado por sus responsables.

De hecho, expone el caso de Anthropic, apuntando que saben perfectamente lo que están haciendo, pero como decía antes, están atrapados en una carrera por llegar primeros. La de Coxon no es la única dimisión reciente relacionada con principios por cómo está evolucionando esta tecnología. 

Estos últimos meses han dimitido perfiles en las áreas de seguridad y ética de OpenAI, Google Deepmind y Anthropic debido a cómo el Gobierno de Estados Unidos usa la IA, las preocupaciones por la seguridad de la tecnología, la ética a la hora de aplicarla o la manipulación de datos íntimos de usuarios que éstos comparten libremente con los chatbots.

El problema es ver hasta qué punto están dispuestas las empresas y gobiernos a frenar la carrera si eso significa ceder ventaja competitiva, sobre todo en un escenario en el que ya no es sólo una guerra tecnológica entre empresas, sino entre China y Estados Unidos.

En Xataka | Un modelo de IA no tenía acceso a internet. Así que consideró que era mejor tenerlo y decidió hackear algo por el camino