Si quieres usar ChatGPT las dos formas más directas son hacerlo a través del servicio oficial que ofrece OpenAI o usar Bing con ChatGPT desde un navegador. Es una opción cómoda, pero claro, dependemos de terceros. ¿Es posible "instalar" ChatGPT en nuestro PC o portátil? En realidad no, pero hay una alternativa que precisamente solventa ese problema.
LLaMA. Hace pocas semanas la división de inteligencia artificial de Meta, llamada Meta AI, presentó LLaMA, un LLM (Large Language Model) de 65.000 millones de parámetros que permite disfrutar de un motor de IA conversacional muy parecido a ChatGPT. Este modelo estaba inicialmente disponible para desarrolladores e investigadores que justificaran su uso —es Facebook quien aprueba el acceso al modelo vía formulario— pero las cosas han cambiado.
Bittorrent. Sin embargo, el modelo acabó filtrándose a través del protocolo bittorrent, lo que hacía posible que cualquiera se lo descargase —en total, unos 220 GB en disco— para usarlo libremente. Eso no parecía tan fácil, sobre todo porque incluso si pudiéramos acceder al modelo GPT-3 de OpenAI, no podríamos ejecutarlo en un PC o un portátil convencional: los servidores que ofrecen respuestas a nuestras preguntas suelen hacer uso de varias GPUs NVIDIA A100, cada una de las cuales suele rondar los 8.000 dólares.
Grigori Gerganov. Ese es el nombre del desarrollador que estos días publicó en Github un pequeño desarrollo llamado llama.cpp, un proyecto que permite poder usar el modelo LLaMA en un portátil o un PC convencional. Eso se logra gracias a la llamada "cuantización" que reduce el tamaño de los modelos de Facebook para hacerlos "manejables" por equipos más modestos a nivel de hardware.
Instrucciones para todos. Como contaba otro desarrollador llamado Simon Willison en su blog, tras instalar los componentes necesarios, es posible utilizar el modelo para que conteste a las peticiones que le hacemos de una forma muy similar a como lo haría ChatGPT. Lo hizo en su MacBook Pro M2 y publicó instrucciones para replicar el proceso —otros han hecho lo propio, e incluso se han indicado los pasos para Macs con el M1—, que también se puede realizar en otras plataformas.
I've sucefully runned LLaMA 7B model on my 4GB RAM Raspberry Pi 4. It's super slow about 10sec/token. But it looks we can run powerful cognitive pipelines on a cheap hardware. pic.twitter.com/XDbvM2U5GY
— Artem Andreenko 🇺🇦 (@miolini) March 12, 2023
Puede funcionar hasta en una Raspberry Pi. El proyecto de Gerganov ha abierto la puerta a poder aprovechar LLaMA en todo tipo de máquinas, incluidas las más modestas. Hay quien lo ha utilizado en una Raspberry Pi 4, aunque como confiesa quien lo ha probado "es súper lento".
Lento... La respuesta del motor es sensiblemente más lenta de la que ofrecen ChatGPT o Bing y tiene algunas limitaciones adicionales. La interfaz de uso —con comandos de consola— lo hace más incómodo de utilizar, y esto no es un chatbot como tal porque no hay conversación como tal, sino peticiones que vamos haciendo de forma separada e independiente.
... pero funcional. Y sin embargo, el funcionamiento de esta alternativa es notable. Comete errores y puede "alucinar", como hemos visto en ChatGPT o Bing con ChatGPT, pero es capaz de responder a nuestras preguntas con la misma naturalidad y aparente seguridad con la que lo hace ChatGPT. También puede generar código o textos que pueden ser sorprendentemente válidos para nuestros propósitos.
Más proyectos a la vista. Otro desarrollador, inspirado por Gerganov, explicaba hace unas horas cómo se puso a crear un sistema aún más sencillo llamado "Dalai" para poder usar LLaMA desde el navegador. Basta con ejecutar un par de comandos en un entorno que se encargará de descargar lo necesario y luego activará un pequeño servicio web desde el que realizar las peticiones.
Sin depender de la nube. Sin embargo esto no es más que la demostración de que este tipo de modelos pueden funcionar "en local", como por ejemplo ya lo hace Stable Diffusion, que se puede "instalar" en un PC para que nuestra gráfica —cuanto más potente, mejor— genere las imágenes sin depender de la nube y de servicios externos, sean gratuitos o no.
En Xataka | He usado Bing con ChatGPT y otros dos servicios de IA para que me resuman una reunión. Es alucinante
Ver 9 comentarios