La revolución planteada por ChatGPT no sale barata: hace unos días supimos que Microsoft invirtió cientos de millones de dólares en comprar tarjetas gráficas NVIDIA A100 para que OpenAI pudiera entrenar su modelo y luego integrarlo en Bing. Parecía por tanto que solo las grandes empresas podrían acceder a crear su propio ChatGPT, pero las cosas han cambiado.
NVIDIA DGX Cloud. Esta empresa acaba de anunciar este servicio que te permite alquilar versiones virtuales de sus servidores DGX, cada uno de los cuales cuenta con ocho NVIDIA H100 o A100 y 640 GB de memoria. Si el cliente lo necesita, el servicio puede escalar hasta las 32.000 GPUs, pero casi es mejor no pensar en el coste de esa opción porque la básica con esas ocho gráficas de alto rendimiento sale muy, muy caro. NVIDIA tiene aquí un potencial filón.
35.000 euros al mes. Más o menos eso (36.999 dólares) es lo que cuesta un mes de alquiler del servicio básico con las NVIDIA A100. Esa opción, aseguran en NVIDIA, permitirá al cliente que opte por ella tener "acceso reservado a jornada completa" a esas GPUs que alquila y que no tendrá que compartir con nadie. Un servidor DGX ronda los 200.000 dólares, por ejemplo.
Entrenar modelos cuesta una fortuna. La inversión que Microsoft hizo para entrenar a Bing con ChatGPT y que "ingiriera" enormes cantidades de datos para luego "aprender" de ellos es enorme, pero ya se sabía que este tipo de procesos tienen un altísimo coste. El año pasado Google nos hablaba de su modelo PaLM, con 540.000 millones de parámetros (cuantos más, más preciso y mejor se comporta el modelo), y según algunas estimaciones entrenarlo costó entre 9 y 23 millones de dólares. El modelo LLaMA de Meta, por ejemplo, fue entrenado durante 21 días en 2.048 GPUs NVIDIA A100, lo que arroja un coste de unos cuatro millones de dólares. Otros estudios arrojan cifras similares para moderlos con unos 175.000 millones de parámetros.
Poco a poco surgen opciones. Sin embargo el servicio de NVIDIA da acceso a que cualquiera con los recursos suficientes —sin que sea necesario ser una Microsoft— pueda crearse y entrenar su propio ChatGPT. MosaicML, una empresa especializada en este ámbito, ofrecía hace meses un proceso para crear un chatbot con la calidad de GPT-3 por menos de 500.000 dólares.
Sembrar para recoger. Esa enorme inversión en el entrenamiento de estos modelos es la que hace que lógicamente ahora empresas como OpenAI, que nacieron con una filosofía abierta y sin ánimo de lucro, hayan cambiado totalmente a un modelo de negocio con mucho secretismo y en el que los ingresos probablemente crecerán de forma notable, sobre todo con el lanzamiento de GPT-4 y de su API. Microsoft, que anunció su Copilot para su plataforma Microsoft 365, lo ofrecerá como una vertiente de alto coste para las empresas que quieran aprovechar estas capacidades en las aplicaciones y servicios de esa suite.
En Xataka: No tengo ni idea de programar pero gracias a GPT-4 he creado un clon de Flappy Bird
Ver 12 comentarios