Dario Amodei, CEO de Anthropic: "el modelo más peligroso puede ser uno entrenado en secreto y entregado solo al ejército chino"

El mercado de la IA cuenta con dos bandos bien posicionados: occidente, con actores como Anthropic, OpenAI y xAI, y China, con Moonshot AI, Baidu o Alibaba. Esto a nivel de compañías, porque la verdadera guerra se encuentra en la apertura de los modelos: mientras occidente se hizo fuerte en los privados, oriente encontró en los modelos abiertos la mejor manera de hacer competencia. Y esto no termina de gustarle a Dario Amodei, responsable de Anthropic.

Abierto sí, pero… La secuencia que se ha sucedido durante los últimos días queda como: Moonshot AI presenta Kimi K3, un modelo IA de frontera con altas capacidades; las principales empresas relacionadas con la IA, excepto Anthropic, firman una carta abierta en defensa de los modelos abiertos; Jensen Huang estrena cuenta en X para explicar la postura de Nvidia respecto a dichos modelos abiertos; Dario Amodei publica una carta propia explicando su postura, y Moonshot AI libera Kimi K3 como peso abierto.

El modelo de frontera de Moonshot AI es abierto, aunque tiene sus comillas: Kimi K3 no está licenciado bajo licencia MIT o Apache, sino que la empresa ha elegido su propia licencia. En la práctica, los operadores de Model-as-a-Service deben firmar un acuerdo comercial (por encima de 20 millones de dólares en doce meses consecutivos). En el otro lado, Dario Amodei ha defendido los modelos abiertos como el reciente Kimi K3, aunque también le ha colocado varios peros. Tan altos como catedrales.

Los modelos necesitan más controles. Dario ha subrayado una frase por encima del resto: “Anthropic nunca ha defendido una prohibición de los modelos de pesos abiertos”. Busca atajar varias de las críticas que se han sucedido desde la publicación de la carta abierta de su competencia y después de que su empresa no se sumase a ella. Es uno de los grandes laboratorios de frontera, junto con Amazon, que no firmó.

En el alegato publicado en Anthropic, Dario Amodei se explaya sobre las consecuencias que, según él, tienen los modelos abiertos chinos. Sin estar en contra de ellos, el pero que levanta se divide en tres importantes medidas:

• Cerrar el grifo de los chips. Dario apuesta por no vender a China chips potentes ni equipamiento para fabricarlos, y por perseguir el contrabando y los rodeos que se usan para conseguirlos. Su razonamiento: China tiene capacidad de producción doméstica limitada y, por las leyes de escalado, no puede construir modelos más potentes que los estadounidenses sin silicio estadounidense.
• Perseguir la destilación a escala industrial. Destilar es mucho más eficiente en cómputo que entrenar desde cero, y permite a China construir mejores modelos de los que su número de chips le permitiría (así esquivan buena parte los vetos). Aquí hace un matiz que conviene subrayar: reconoce que muchas de las empresas que destilan publican modelos de pesos abiertos, pero sostiene que lo relevante no son dichos pesos, sino que la operación esté respaldada por un Estado autoritario. Es un dardo envenenado contra la implicación del gobierno chino en el desarrollo de la IA.
• Pruebas de seguridad obligatorias. Es la medida que más le compromete, porque incluye los modelos desarrollados por la propia Anthropic. Y añade una condición incómoda: para ser efectivas, las pruebas tendrían que ser globales. Por tanto, China tendría que aceptarlas. Y con la enorme cantidad de trabas que les ha puesto Estados Unidos, no parece que los chinos estén dispuestos a pasar por el aro.

El responsable de Anthropic no está en contra de los modelos abiertos, es cierto, pero busca crearles tantas trabas que seguramente resulten casi imposibles de liberar. Por no hablar de su propia hipocresía, sobre todo en lo relacionado con la destilación: mientras que destilar un modelo (hacer que una IA aprenda de otra) no es algo ilegal, Anthropic sí acabó pagando 1.500 millones de dólares por descargar y almacenar millones de libros pirateados para construir su biblioteca de entrenamiento.

El punto donde Amodei discrepa de verdad. En la carta abierta por la defensa de los modelos abiertos, los firmantes especifican que “el software de código abierto demostró que la transparencia puede ser más segura que el secretismo”. Aquí es donde Dario Amodei se enciende, porque discrepa por completo.

“No estoy de acuerdo con las afirmaciones de la carta de que los modelos de pesos abiertos facilitan necesariamente el desarrollo de medidas de protección, ni de que un acceso amplio a estas capacidades beneficie necesariamente más a los defensores que a los atacantes. Me parece, como mínimo, igual de probable que ocurra lo contrario”.

“De hecho, el modelo más peligroso podría ser uno entrenado en secreto y entregado exclusivamente al Ejército Popular de Liberación para utilizarlo en drones, y al Ministerio de Seguridad del Estado para labores de vigilancia y represión”.

Vendedores de palas del siglo XXI. No es casualidad quién firma. Nvidia y Dell venden las palas: cada empresa que se descarga unos pesos y los ejecuta necesita más GPU. Cloudflare alquila la parcela y Hugging Face se encarga del almacén. Palantir o Perplexity ni venden ni publican: construyen sobre modelos ajenos y celebran que se abaraten. Meta y Mistral, los únicos firmantes occidentales que publican pesos abiertos, buscan otra cosa: si el modelo se regala, la ventaja del rival que lo vende desaparece.

El criterio funciona en las dos direcciones. Dado que Anthropic vende acceso cerrado, un mercado con menos pesos abiertos le conviene. Amodei lo niega expresamente. Y escribe que una prohibición sí protegería a las empresas estadounidenses de la competencia, pero que ese nunca ha sido su objetivo. Habrá que creerle. Los incentivos de cada empresa están a la vista.

Imagen de portada | Montaje con fotos de Wikimedia (1 y 2)

En Xataka | Claude: 23 funciones y algún truco para exprimir al máximo esta inteligencia artificial