El pasado viernes os informábamos sobre la polémica creada en torno a GPT-2, la inteligencia artificial con la capacidad de redactar por sí misma textos de noticias falsas, hasta tal punto que sus desarrolladores (OpenAI, una entidad impulsada por Elon Musk) habían anunciado que no publicarían la versión completa de la misma, por miedo a un "mal uso".
Un ejemplo de ese posible mal uso es el del ejemplo incluido en este vídeo del medio británico The Guardian, en el que vemos cómo, a partir de unas pocas líneas de texto escritas por un humano, la IA es capaz no sólo de elaborar un texto largo creíble y con sentido, sino también de inventarse fuentes humanas que respalden la información.
Sin embargo, más allá de ese resumen, quedan aún muchas dudas por resolver en torno a GPT-2: ¿cómo de revolucionario es el anuncio de OpenAI? ¿Es tan peligrosa como nos ha dejado entrever?
¿Qué hay detrás de GPT-2?
Un poco de contexto
GPT-2 es tan sólo el último hito en el campo del PNL (procesamiento de lenguaje natural), un campo en el que la inteligencia artificial se entremezcla con la lingüística para estudiar las interacciones entre tecnología y lenguaje humano.
El PNL empezó a levantar el vuelo como disciplina a partir de la tímida introducción del machine learning en los años 80, y ha experimentado una gran aceleración en la presente década con la introducción del word embedding.
Esta técnica consiste en el mapeo de palabras en un vector n-dimensional (recordemos que las redes neuronales sólo trabajan con números), partiendo de la premisa de que su cercanía en el espacial conlleva alguna clase de relación entre los mismos. Veamos un ejemplo:
Vectores de palabras (Extraído de TensorFlow.org).
Los modelos de lenguaje
Esto permite a la red neuronal comprender la semántica de las palabras, pero no termina de ser un sistema preciso a la hora de 'comprender' las relaciones entre las mismas. Por ello, en los últimos dos años, ha surgido una técnica de NLP más evolucionada, que conocemos como 'modelos de lenguaje'.
Los modelos de lenguaje son, en resumidas cuentas, modelos de machine learning destinados a predecir cuál ha de ser la siguiente palabra de un texto en función de todas las palabras anteriores.
El gran potencial de esta técnica es que, una vez que la IA comprende la estructura de un lenguaje, es relativamente fácil descargar estos modelos pre-entrenados (GPT significa 'Generative Pre-Training'), y adaptarlos mediante 'fine-tuning' a otras tareas diferentes a la creación de textos, como la realización de resúmenes y traducciones.
De GPT-1 a GPT-2
GPT-1, publicado en 2018, se basaba en un modelo de lenguaje llamado Transformer, desarrollado por Google el año anterior (a su vez, Google también se basó en GPT-1 para desarrollar Google BERT).
Y GPT-2 es poco más que una versión 10 veces mayor del modelo anterior (en número de parámetros, 1500 millones; y de volumen de datos usados para su entrenamiento; 45 millones de páginas web con un peso de 40 Gb).
Una de las particularidades de GPT-2 es que ha demostrado ser capaz de realizar traducciones, resúmenes y hasta de contestar preguntas sobre el texto sin necesidad de un proceso de fine-tuning, tan sólo dándole a entender con el texto que le proporcionamos qué queremos que nos responda.
¿Cómo es eso posible? Centrémonos, por ejemplo, en la tarea de resumir: es habitual que las webs en inglés (y, recordemos, a esta IA se le ha entrenado con millones de ellas) que incluyen textos largos muestren, al final de los mismos, la expresión "TL;DR" (siglas en inglés de 'Demasiado largo, no lo he leído') y un breve resumen del texto en cuestión.
De modo que los investigadores sólo deben alimentar a GPT-2 con textos largos que terminen en "TL;DR" et voilà!, la IA asume que lo que debe ir a continuación es un resumen de los párrafos anteriores.
¿Podemos estar seguros de que GPT-2 es tan peligroso como cuentan?
Las demostraciones del funcionamiento de GPT-2 realizadas hasta el momento (como el vídeo de antes sobre el Brexit) son un ejemplo del gran 'dominio' del lenguaje que es capaz de mostrar. Aquí otro ejemplo, una historia sobre el descubrimiento de unicornios en Sudamérica:
Here's a ridiculous result from the @OpenAI GPT-2 paper (Table 13) that might get buried --- the model makes up an entire, coherent news article about TALKING UNICORNS, given only 2 sentences of context.
— Ryan Lowe (@ryan_t_lowe) 14 de febrero de 2019
WHAT??!! pic.twitter.com/G8UtQpefyZ
Aunque, ojo: GPT-2 no es perfecto. En la historia del tuit anterior, se le escapa una referencia a los "cuatro cuernos" de los unicornios, y Open AI reconoce que también, en alguna ocasión, llegó a escribir sobre "incendios bajo el agua".
En realidad, este modelo fue capaz de producir textos convincentes "en torno a un 50% de las veces", cuando se le pedían temas populares (como Brexit o Miley Cyrus), pero su efectividad se reducía al abordar contenidos "altamente técnicos".
Sin embargo, esa cifra ha sido lo bastante alta como para que los investigadores de OpenAI hayan a la conclusión de que lo mejor que pueden hacer es no publicar este modelo de lenguaje.
Jack Clark, director de Políticas de OpenAI, explica que el problema no radica únicamente en que pueda ser utilizado para generar 'fake news' muy convincentes (no hace falta ninguna IA para eso), sino en que facilitaría su automatización y su optimización, en base a factores demográficos, para sectores sociales concretos (e, incluso, a nivel individual):
"Está muy claro que si esta tecnología madura, y yo le daría uno o dos años, podría ser utilizada para la desinformación o la propaganda".
Sin embargo Anima Anandkumar, directora de investigación de Nvidia, criticó con fiereza en Twitter el anuncio de OpenAI de que no haría público el código de GPT-2.
Lo que estáis haciendo es todo lo contrario a "abierto". Es lamentable que exageréis, propaguéis el miedo y desbaratéis tanto la reproducibilidad de resultados como el esfuerzo científico.
Hay investigaciones en marcha por parte de otros grupos (de investigadores) sobre modelos de lenguaje no supervisados.
Estáis exagerando como nunca antes se había hecho. ¿Qué chorrada es ésa de 'malicioso'? No le hacéis ningún favor a la ciencia usando esa palabra.
El progreso en IA es, en su mayor parte, atribuible al open source y a la publicación abierta.
Frente a las justificaciones de Jack Clark, de que GPT-2 tiene usos maliciosos obvios, Anandkumar contesta así:
"¿Dónde hay alguna evidencia de que vuestro sistema sea capaz de hacer eso? ¿Qué investigadores independientes han analizado sus sistema? Nadie. [...]
Si crees que realmente es capaz de eso, lo abrirás a los investigadores, no a los medios de comunicación que buscan con ansia el clickbait.
Ver 16 comentarios