¿Para qué hacer los deberes si ChatGPT los puede hacer solo? La aparición de este modelo de IA generativa planteó un debate singular en el mundo académico. La calidad de los textos generados es tal que detectar si por ejemplo un trabajo de clase ha sido redactado por un alumno humano o por ChatGPT parecía casi imposible. Hasta ahora, apuntan en Gizmodo.
¿Un detector casi perfecto? Un equipo de investigadores de la Universidad de Kansas ha publicado un nuevo estudio dedicado a este tema. En él describen un algoritmo que es capaz de detectar textos científicos redactados por ChatGPT con una precisión de más del 99%.
Cómo funciona. En ese estudio el equipo seleccionó un conjunto de 64 artículos científicos redactados por autores humanos para entrenar ese modelo. Tras introducir esos datos en ChatGPT produjeron un conjunto de 128 artículos de IA con un total de 1.276 párrafos que no tenían sentido científico. Lo que hicieron los científicos fue usar esos párrafos para construir su algoritmo de detección de ChatGPT. Vamos, un detector de ChatGPT.
Pistas para detectar un texto generado por IA. Durante ese proceso los investigadores pudieron detectar algunas de las claves que diferencian los textos humanos de los generados por ChatGPT. Los escritores humanos escriben párrafos más largos y con un vocabulario más amplios, además de usar con frecuencia palabras como "sin embargo", "pero" o "aunque". Además, ChatGPT no es tan específico citando referencias o mencionando el trabajo de otros científicos.
Funciona. Tras crear el algoritmo, lo pusieron a prueba. Le ofrecieron 30 artículos reales y 60 artículos escritos por ChatGPT, y en total todos ellos contaban con 1.210 párrafos. El algoritmo fue capaz de detectar artículos enteros escritos por ChatGPT el 100% de las veces, aunque la cosa bajaba un poco si se analizaban párrafos: ahí la precisión era del 91%.
Aplicable a otras disciplinas. Aunque el ámbito de este detector era el de los textos científicos, los investigadores afirman que se puede aplicar esta metodología a otros ámbitos. No sirve de momento para corregir trabajos académicos, pero esta "prueba de concepto" podría acabar siendo la base de un sistema más robusto y preciso alimentándolo con un conjunto de datos más amplio.
El juego del gato y el ratón. A pesar de lo prometedor de estos resultados, la evolución de ChatGPT y de sus rivales está siendo asombrosa y es probable que detectar textos generados por nuevos modelos sea más difícil de detectar. Es probable que estemos en una especie de juego del gato y el ratón en la que mientras que por un lado las herramientas generan textos (o imágenes) casi indistinguibles de los creados por el ser humano, otras vayan avanzando a la hora de tratar de detectar esos textos creados por máquinas.
El etiquetado, la otra solución. El reto tecnológico es enorme, pero en la Unión Europea ya tienen aparentemente claro que la solución al menos en el caso de las imágenes es la de etiquetarlas durante su generación. Cada imagen creada por IA debería contar con un "autógrafo criptográfico" no visible pero que permita realizar una identificación de la imagen y una trazabilidad. La UE ya tiene claro que ese etiquetado debe realizarlo la plataforma que genera las imágenes, y ahora queda por ver si esa medida se extiende y acaba aplicándose de alguna forma a los textos generados por IA.
Imagen | Xataka con Midjourney
En Xataka | Un periódico decidió utilizar una IA para escribir sus artículos económicos. El resultado fue catastrófico
Ver 2 comentarios