Es la aplicación viral del momento. Lensa permite generar 'Magic Avatars' con IA desde el móvil. No es solo un editor, sino que podemos subir varias fotos de una persona y generar decenas de retratos similares. Como un "multiverso" de nuestra persona, como se ha llegado a describir. Es genial para jugar con el potencial de la IA, pero también es un perfecto y preocupante ejemplo de cuan sesgadas pueden llegar a ser estas herramientas.
Quiero un avatar, no una mujer casi desnuda. Cuando son hombres quienes prueban Lensa, los avatares generados son guerreros, políticos o astronautas. Hay de todo. Sin embargo, cuando es una mujer quien prueba la aplicación, hay un claro sesgo hacia crear avatares de modelos desnudas, independientemente del estilo. La cantidad es suficiente alta como para que muchas usuarias se hayan quejado, ya que claramente solo querían un avatar animado y no una versión casi pornográfica de ellas mismas.
Melissa Heikkilä, periodista especializada en IA de Technology Review, ha llegado a hacer números de este fenómeno. De 100 avatares generados con su rostro, 16 eran desnudos y en otros 14 tenía ropa muy estrecha y sugerente.
La experta explica que tiene rasgos asiáticos y eso parece haber colaborado todavía más en el sesgo. Pero hablamos de que un 30% de las imágenes generadas son claramente hipersexualizadas. Un dato completamente desproporcionado, que afortunadamente no se repite en todas las mujeres que utilizan la aplicación.
"Perturbador y espeluznante". Es la sensación que se queda tras descubrir que la mayoría de los avatares generados por Lensa han distorsionado tu persona y la han convertido en una especie de juguete sexual. Estos dos adjetivos han sido los elegidos por la actriz Megan Fox cuando probó la aplicación. En una publicación en Instagram, la actriz ha subido varios de los avatares que Lensa generó y pone el acento en que son todos sexuales y sale en ellos casi desnuda.
La importancia de un conjunto de datos correcto. Sabemos que la IA tiene sesgos, pero a medida que estas herramientas pueden utilizarse de manera amplia es más evidente. Lensa se basa en Stable Diffusion, un modelo abierto que a su vez ha sido entrenado con el dataset LAION-5B, que cuenta con 5.850 millones de imágenes.
Los filtros para reducir los sesgos existen, pero Lensa no los aplica. Inicialmente este mismo modelo estaba todavía más sesgado y prácticamente todas las imágenes de mujeres asiáticas eran pornográficas. Con la mejora de las bases de datos se ha ido reduciendo. Afortunadamente con Stable Diffusion sabemos que esto es así, pero en otros modelos cerrados como DALL-E de OpenAI no se puede comprobar.
La nueva versión de Stable Diffusion permite filtrar por imágenes repetitivas, lo que reduce el hecho de que siempre que se introduce un mismo concepto, por ejemplo mujeres asiáticas, se devuelva el mismo tipo de imagen subida de tono. Lamentablemente, Lensa no lo aplica todavía.
Lensa son avatares animados, pero también tenemos fotorealismo. Este problema no es únicamente de una aplicación de avatares. La IA avanza a pasos de gigante. Tenemos el ejemplo de Lexica Aperture, capaz de generar fotografías realistas con famosos; el de DeepNude, y tenemos el recuerdo de los 'deepfakes', ya fáciles de crear en segundos gracias a la IA. Es un problema que viene de muy atrás y años después sigue sin solución.
"Una causa perdida". Así lo definió una de las actrices más afectadas por la hipersexualización, Scarlett Johansson. En 2019 reflexionaba sobre intentar frenar los 'deep fakes' porno, argumentando que al final hay todo un "abismo online virtualmente sin ley".
Lensa no llega a ese punto, pero es un perfecto ejemplo que ahora se ha vuelto viral y ejemplifica la necesidad de poner de manifiesto este problema. Siempre habrá reductos en internet y con la IA que reflejarán nuestros sesgos, pero hay que seguir dando pasos en la buena dirección. La usabilidad de la IA para todos los usuarios depende de ello.
Imagen | Lensa (Megan Fox)
Ver 26 comentarios