Javier Pastor
Editor Senior - TechEl narrador anónimo de nuestra historia contrata a un escribiente llamado Bartleby para su despacho de abogados. El empleado comienza a trabajar de forma envidiable, pero a los tres días, algo pasa. El narrador le pide que contraste un documento y Bartleby le contesta con una frase inmortal: "Prefería no hacerlo".
Esa cita célebre es parte de la historia 'Bartleby, el escribiente' que el escritor estadounidense Herman Melville (autor de 'Moby Dick') publicó a finales de 1853. El cuento apenas tuvo éxito en su momento, pero con los años fue ganando más y más repercusión. Aquella frase se convirtió en una especie de himno a la desidia, la inacción y la pereza, y estos días nos hemos sorprendido a encontrar a un nuevo Bartleby.
Uno llamado Fable 5.
El modelo de IA de Anthropic se lanzó el 9 de junio como el más potente, caro y exclusivo de la historia, y aunque su rendimiento en benchmarks era espectacular, apenas tuvimos tiempo de catarlo: el gobierno de EEUU decidió que era demasiado bueno para estar disponible públicamente para ciudadanos no estadounidenses. Acto seguido Anthropic decidió cortar el acceso a nivel global, y durante tres semanas Fable 5 estuvo en el limbo.
Esta semana Fable 5 ha vuelto a estar disponible, pero desde el principio Anthropic avisó de que lo hacía con unos cuantos asteriscos. El modelo de IA, explicaron, trae nuevos filtros de seguridad para evitar malos usos.
En el lanzamiento origianl la empresa ya indicaba que si el modelo detectaba problemas en la conversación, no sería Fable 5 el que contestara. En su lugar, decían, "Las consultas sobre algunos temas recibirán, en su lugar, una respuesta de nuestro segundo modelo más avanzado, Claude Opus 4.8". Con el "redespliegue" esos filtros serían aún más severos. Lo que no sabíamos era cuánto.
Fable 5 prefiere no hacer cosas
Múltiples comentarios en redes como X o Reddit revelan que el rendimiento de Fable 5 se ha visto absolutamente artificialmente capado o, en la jerga del sector, "nerfed".
El modelo parece comportarse peor, pero el verdadero problema es que es un modelo que constantemente acude al "Preferiría no hacerlo" de Bartleby. En lugar de hacer lo que pide el usuario, da el salto automáticamente a Claude Opus 4.8, un modelo que es ciertamente capaz, pero que no es lo que los usuarios querrían porque ellos pretenden aprovechar la teórica potencia de Fable 5.
Lo peor es que Fable 5 acude a esa filosofía del "Preferiría no hacerlo" prácticamente con cualquier cosa. Dylan Patel, creador de la célebre consultora SemiAnalysis, hacía la prueba con el tradicional "cuántas erres hay en 'raspberry'" y Fable 5 le avisaba de que el modelo no podía contestar esa pregunta.
El rendimiento del modelo también parece haber salido muy perjudicado con este redespliegue, y pruebas independientes mostraban cómo en el benchmark BridgeBench la puntuación del Fable 5 original y el Fable 5 actual era muy distinta.
Ese test en concreto era demasiado específico como comentaron algunos analistas, y el problema no es tanto el de que el rendimiento baje (no lo hace demasiado, o incluso mejora) como el de que Fable 5 simplemente se niegue a contestar, lo que hace también muy difícil evaluar su rendimiento actual.
A este factor se le suma el hecho de que Fable 5 será un modelo especialmente exclusivo: podrá usarse con las suscripciones gratuita y de pago de Anthropic hasta el próximo 7 de julio, pero después este modelo desaparecerá de dichos planes y solo será posible usarlo con créditos. Es decir, pagando por uso, lo que para usos intensivos puede llegar a salir muy, muy caro.
Estamos pues ante un momento especialmente delicado: si empresas como Anthropic comienzan a limitar artificialmente las capacidades de sus modelos más potentes o "enrutarlos" a modelos inferiores a las primeras de cambio... ¿qué sentido tiene desarrollar esos modelos? Comercialmente la idea tampoco tiene lógica: si los usuarios empresariales se van a encontrar con que el modelo acude al "Preferiría no hacerlo" y pasa a contestar con una versión anterior y peor, no estarán especialmente contentos por pagar por el modelo "caro".
Anthropic está en una situación comprometida, y lo que está ocurriendo con Fable 5 puede acabar marcando un punto de inflexión en la forma en la que usuarios finales y profesionales trabajan con modelos de IA.
Ver 0 comentarios