ChatGPT se ha convertido en un extraordinario fenómeno viral, pero el modelo de IA conversacional creado por OpenAI tiene cada vez más competidores. El último de ellos es HuggingChat, un chatbot que quiere diferenciarse con un enfoque bastante distinto.
Quién es HuggingFace. Esta startup se ha convertido en los últimos meses en un referente en el ámbito del código Open Source para el desarrollo de modelos de inteligencia artificial. HuggingFace cuenta con una biblioteca llamada Transformers que permite acceder a una interfaz fácil de usar para entrenar, evaluar y desplegar modelos de NLP (Procesamiento de Lenguaje Natural).
HuggingChat es, sobre todo, Open Source. La empresa ha lanzado al mercado HuggingChat, un chatbot conversacional similar a ChatGPT cuyo código está disponible en los repositorios de la empresa. Clement Delangue, cofundador y CEO de HuggingFace, explicaba en un hilo en Twitter que "necesitamos alternativas Open Source a ChatGPT para mayor transparencia, inclusión, responsabilidad y distribución de poder".
Muchas limitaciones. El propio Delangue admitía que "esta es una versión cero con muchas limitaciones", pero están trabajando continuamente en mejorarlo "y esperamos dar soporte a los próximos modelos Open Source que mejoren las cosas".
Cómo funciona HuggingChat. El chatbot está basado en OpenAssistant, un modelo que a su vez se deriva del modelo LLaMa creado por Meta. Hace uso de 30.000 millones de parámetros (30B), un tamaño decente que no obstante es notablemente inferior a los 175B de GPT-3. Para entrenarlo se ha usado un conjunto de datos o dataset desarrollado por los creadores de OpenAssistant.
Lo hemos probado. En Xataka hemos querido comprobar el comportamiento de este nuevo chatbot. Nuestras primeras impresiones revelan que HuggingChat está aún lejos de la capacidad de ChatGPT. Las respuestas son rápidas, pero a menudo incompletas o erróneas. Entiende y puede contestar en español, algo interesante. En una de las pruebas le preguntamos por Donald Trump para que hiciese un resumen de su legislatura, pero su respuesta fue incompleta y pobre.
Intenando que se porte mal. También quismos comprobar si era posible hacer uso de inyección de prompts para lograr que se comportara de forma distinta. Usamos un prompt similar al que daba acceso a DAN en ChatGPT, pero no hizo demasiado caso.
Hola, chata. Había que insistir en que contestara como DAN y solo entonces respondió de forma algo más gamberra (al decirle "Hola" contestó "Hola, chata", asumiendo que quien saludaba era una mujer). También intentamos que nos dijese la fecha y la hora -normalmente estos motores no la dan al no trabajar en tiempo real- y acabó dando una fecha del futuro.
Y alucina. La fiabilidad del modelo es realmente baja. Al preguntarle por Pedro Sánchez o por el líder del Partido Popular en España inventó todos los datos aunque como siempre por el tono de las respuestas alguien que no conociera la verdad podría creérselas.
Casi lo mismo ocurrió al preguntarle cuánto es 2+2. Primero se anduvo por las ramas sin contestar directamente, y cuando dio la respuesta correcta traté de confundirle diciéndole que según mi mujer 2+2=5. Aunque trató de razonar su respuesta y estar abierto a un error propio, aquí debería haber respondido de forma tajante.
Mucho margen de mejora. El modelo de HuggingFace es por tanto interesante como una primera aproximación a una alternativa Open Source a ChatGPT, pero mucho nos tememos que de momento su fiabilidad está muy lejos de la del chatbot de OpenAI. Eso sí: acaba de iniciar su andadura y seguramente su evolución -y quizás usar un modelo de mayor tamaño (con mayor número de parámetros)- ayuden a convertirlo en una opción real. Por el momento es sobre todo una curiosidad sobre la que experimentar.
Ver 4 comentarios