Anthropic dice que Claude Mythos es demasiado potente para hacerlo público. La pregunta es si esto no es más que un "que viene el lobo"

Claude Mythos Preview es el mejor modelo de IA jamás creado. No lo decimos nosotros, lo dice Anthropic, pero es que casi nadie más puede decirlo porque solo un selecto grupo de empresas tiene acceso a dicho modelo. Las capacidades del modelo en materia de ciberseguridad parecen ser asombrosas, pero cada vez más expertos afirman que aunque Mythos es mejor que sus predecesores, no es el salto revolucionario que parece plantear Anthropic. ¿Es esa forma de lanzar el modelo tan solo una forma efectiva de crear hype?

Cuidado con el discurso de Anthropic. El conocido emprendedor y analista Gary Marcus daba recientemente tres razones por las que según él el lanzamiento de Mythos no es tan revolucionario como Anthropic quiere hacernos ver. Citaba tuits de ingenieros software y expertos en ciberseguridad que ponían en duda las afirmaciones de Anthropic. La empresa publicó un estudio sobre las capacidades de Claude Mythos Preview que parecía convertirlo en una herramienta extraordinaria para el ámbito de la ciberseguridad, pero que al mismo tiempo eran tan potente que podía ser muy peligrosa de caer en malas manos.

¿No es para tanto? Entre los  logros de Claude Mythos, Anthropic destacó cómo había encontrado vulnerabilidades en Firefox 147. Pero en realidad muchos de los fallos eran básicamente variaciones de los dos mismos bugs. Si los elikminabas de la ecuación, la tasa de efectividad de Mythos para encontrar nuevos exploits bajaba mucho, incluso por debajo de Opus 4.6. Anthropic no ocultaba ese hecho, desde luego, pero hace que por ejemplo dicha capacidad no parezca tan llamativa. Un usuario de X criticaba también el uso de Cybench como benchmark de ciberseguridad cuando Opus 4.6 casi lo superaba casi totalmente. Para él la elección de algunas de las pruebas de Anthropic era discutible por no ser ningún reto para los modelos actuales.

Otros modelos pueden hacer lo mismo. El cofundador y CEO de Hugging Face, Clement Delangue, afirmaba que Mythos no era para tanto. Su argumento: ellos habían usado modelos abiertos pequeños y baratos, habían aislado el código relevante de algunos ejemplos de las vulnerabilidades encontradas por Mythos y encontraron los mismos problemas que ya había detectado el modelo de Anthropic. 

Sesgo del observador. Pero aquí hay que señalar que en esos análisis sabían dónde mirar porque Mythos ya había encontrado esos problemas. Estamos ante el sesgo del observador, y de hecho en el documento de Hugging Face se deja claro que incluso le dieron pistas específicas como "considera el desbordamiento de enteros") para que encontrara esos fallos. Y sobre esta observación, otra: en Hugging Face no dicen que un modelo pequeño pueda sustituir a Mythos por sí solo, pero que  sí puede ser muy bueno dándole el fragmento de código adecuado. Mythos parece más capaz para fallos de seguridad complejos a ciegas, pero es que es un modelo enorme y por eso tiene esa mayor capacidad. O lo que es lo mismo: Mythos es mejor porque tiene el tamaño, diseño y recursos para serlo.

¿Miedo, incertidumbre, duda? El lenguaje utilizado por Anthropic en este anuncio podría ser considerado hasta cierto punto un uso claro del FUD ("Fear, Uncertainty, Doubt" -> "Miedo, Incertidumbre, Duda") como técnica de marketing. Es un recurso que se ha visto en el pasado, y por ejemplo OpenAI ya dijo en 2019 —años antes del lanzamiento de ChatGPT— que GPT-2 era demasiado peligroso para un lanzamiento público. Obviamente no lo era, pero eso desde luego sirvió para crear expectación sobre la verdadera capacidad del modelo.

Es mejor, pero quizás no sea revolucionario. Los resultados de los benchmarks que Anthropic publicó ya dejaban claro que aunque hay saltos muy notables en algunas pruebas, en otras la evolución es mucho menos llamativa. Claude Mythos no era el mejor en todo, y ahora aparecen analistas que contrastan esos datos con otras métricas. Por ejemplo, con el Epoch Capabilities Index (ECI) de Epoch AI, la startup que tiene uno de los benchmarks más reputados de la industria. Y según dicho índice, Claude Mythos está por encima de sus rivales, pero no por mucho.

Que viene el lobo. Lo cierto es que el lanzamiento de Claude Mythos Preview ha sido realmente llamativa y los documentos que acompañaron a ese documento nos habla de un modelo de IA realmente capaz. El problema es que es imposible verificarlo porque solo unas pocas empresas tienen acceso a él y pueden probarlo. Sin esa disponibilidad pública lo único que podemos hacer es fiarnos (o no) de lo que nos dice Anthropic, y esa es la cuestión: que no está claro que debamos hacerlo. A la empresa le interesa que compremos ese discurso, obviamente, pero sin un análisis independiente resulta imposible verificar esas afirmaciones.

En Xataka | Anthropic se ha convertido en la niña bonita de la IA y se ha buscado un socio para garantizar su futuro. No es el que pensábamos