La Unión Europea lleva tiempo trabajando sobre la regulación en materia de Inteligencia Artificial. El objetivo de dicho documento es crear una especie de normativa tipo GDPR, pero para esta tecnología, marcando los usos y límites en los que se puede utilizar.
Además, es un documento muy importante porque las iniciativas nacionales, como la de España, tendrán que atenerse a este marco jurídico.
Ante la filtración de un borrador muy avanzado de esta regulación En Xataka hemos preguntado a tres expertos en Inteligencia Artificial (Andrés Torrubia, cofundador del Instituto de Inteligencia Artificial, Richard Benjamins, autor de “El mito del algoritmo” y “A Data-Driven Company” ,y David Pereira, Responsable de Data & Intelligence para everis y del Centro de Excelencia global de IA para el grupo NTT DATA) sobre sus primeras impresiones de este documento y esto es lo que nos han contado.
Qué se quiere legislar
Básicamente, podríamos decir que este documento pretende sentar las bases de la legislación sobre la Inteligencia Artificial en la UE. Por un lado, se pretende establecer un marco legal que permita la innovación pero que, al mismo tiempo, garantice la seguridad y proteja los derechos humanos, según la UE.
En este sentido, la Unión Europea siempre ha defendido que quiere aprovechar las oportunidades que esta tecnología presenta, pero dando respuesta a algunos de los desafíos que están sobre la mesa.
Con esta regulación, los responsables europeos aseguran que quieren establecer un marco de confianza en la tecnología y en su potencial impacto, tanto en los ciudadanos a nivel individual como en la sociedad y economía.
Buen punto de partida
Richard Benjamins cree que esta regulación “es lo que estábamos esperando: una aproximación basada en riesgo, donde los sistemas de IA de alto riesgo tienen que cumplir algunos requisitos”.
Este experto valora que hay muchos más detalles sobre la implementación de la idea general, algo que faltaba en el “White paper”, publicado antes.
Para David Pereira, “el hecho de que exista ya este borrador es una buena noticia, porque significa que hay avance”. Según su visión, “la duda en forma de ausencia de regulación, pero a la vez expectativa de tenerla, y que esta sea muy rígida, está haciendo que la inversión privada en IA en Europa, la adopción por parte de las empresas esté por debajo de USA o China. Puede que la regulación que analizamos hoy no sea la mejor, pero al menos empieza a concretar derechos de los ciudadanos y obligaciones de las empresas fabricantes de soluciones de IA y de empresas/ instituciones públicas que las implementan”, expone.
Usos de alto riesgo
Los tres expertos destacan que el documento refleje y se detenga en lo que se consideran “usos de alto riesgo” de la inteligencia artificial.s
La regulación considera usos de alto riesgo a aspectos tan amplios que van desde “una larga lista desde sistemas biométricos usados en espacios públicos, sistemas usados para enviar ayuda médica o bomberos; usados para determinar acceso a estudios, empleo, crédito, beneficios sociales, verificación de información relativa a ofensas criminales o limitación de libertad de una persona; sistemas de predicción de crímenes o altercados de cara a asignar recursos de vigilancia; visados; y asistencia a jueces”. Eso sí, “están explícitamente excluidos de la regulación los usos militares”.
Sin embargo, una de las cosas que más ha llamado la atención a Torrubia son los criterios por los que “se actualizarán los usos de alto riesgo”. Entre estos parámetros está el impacto adverso en las oportunidades financieras, educativas o profesionales de las personas.
“Por un impacto adverso en las oportunidades profesionales los artesanos que cardaban la lana en el año 1821 destruyeron las máquinas que introducía la revolución industrial para hacer esa tarea”, rememora. “Ese fue el primer evento del movimiento ludita en España. Mi esperanza es que esa línea no sea la puerta del Neoludismo en Bruselas”.
Cambio de posición
Para Benjamin, un asunto importante es que ya no se habla de sectores y aplicaciones de alto riesgo, sino de sistemas de IA de alto riesgo. “Esto es bueno porque evita el posible lobby de sectores para no ser considerados alto riesgo. Implícitamente se pueden detectar algunos sectores como AAPP y justicia”, detalla. Como Torrubia, también destaca que los sistemas de IA para defensa están fuera del alcance de esta regulación. “Y en general, hay muchas excepciones cuando la seguridad nacional está en juego”.
Según este borrador, habría dos tipos de uso de alto riesgo: sistemas que requieren una evaluación por terceros (como reconocimiento con biométrica como reconocimiento facial en espacios públicos o sistemas de IA con una función de “safety” para otros productos); y sistemas que requieren una autoevaluación por la propia organización.
Por todo ello, Richard Benjamins cree que es positivo que no se regule por sectores y que los sistemas de alto riesgo son limitados a casos concretos. “Esto permite seguir desarrollar la tecnología, pero con atención cuando se prevé impacto”. Además, considera “curioso que el sector Salud no está como alto riesgo (solo está incluido sistemas médicos de emergencia), aunque implícitamente está por el posible impacto (muerte)”.
Evitar la manipulación
En este sentido, David Pereira valora muy positivamente que se destaque la prohibición de sistemas “que manipulen a personas en su detrimento, se dediquen a la vigilancia indiscriminada o bien establezcan sistemas de social scoring que puedan tener consecuencias negativas y/o desproporcionadas en contextos distintos a los que originaron los datos con los que se ha construido dicho scoring”.
Para él, es “muy relevante” que haya un listado de lo que la UE considera “sistema de alto riesgo”, y que incluyen “muchos de los sistemas que más debate y quejas desde una perspectiva ética han generado”: desde sistemas de riesgo de crédito, aplicaciones de identificación biométrica, gestión de infraestructuras, médicas, acceso a justicia, educación….
“Es interesante la interpretación que se hace de riesgo, al estar íntimamente relacionado con aspectos como el riesgo de exclusión financiera o educativa, de justicia, y que por tanto se vincula con el compromiso del documento con cómo se va a conformar la sociedades en los próximos años ante el progreso tecnológico para garantizar los derechos de los individuos”, reflexiona.
Las sanciones previstas
En este punto, coincide con Andrés Torrubia en lo que a la proporcionalidad de las sanciones respecto a otras tecnologías o formas de manipulación. “Entendiendo la necesidad de regular y limitar los sistemas pero, ¿significa esto que vamos a multar de forma equivalente a empresas que promueven la adición al juego online a través de la publicidad con el correspondiente perjuicio para los ciudadanos?”, se cuestiona.
Según Andrés Torrubia, a lo largo de sus 81 páginas, el documento pone énfasis en lo que considera “usos de alto riesgo de la Inteligencia Artificial y cuantifica multas por infracciones: hasta 20 millones de euros o el 4% ingresos anuales (la que sea superior)”.
Cabe señalar que este documento considera Inteligencia Artificial de forma tan amplia que en incluye “por supuesto a los sistemas de aprendizaje automático o aprendizaje profundo o de refuerzo que acaparan portadas de prensa (GPT3, Alphafold, AlphaGo, etc.)” pero también “sistemas mucho más convencionales que mucha gente clasificaría simplemente como "software": sistemas lógicos, sistemas expertos, estadísticos hasta métodos de búsqueda y optimización”. Esto, por tanto, conlleva que todos ellos también estén sometidos a la regulación.
Usos prohibidos
La regulación también enumera algunos casos en los que está prohibido emplear la IA. Para Torrubia, la definición es bastante amplia: "Sistemas de inteligencia artificial diseñados o utilizados de una manera que manipulen el comportamiento, las opiniones o las decisiones humanas a través de arquitecturas de elección u otros elementos de interfaz de usuario, para que una persona se comporte, forme una opinión o tome una decisión en su detrimento."
Por eso, considera que “habrá que ver hasta qué punto toda la publicidad o motores de recomendación en los que se basa Google, Facebook, etc. que por recientemente ha sido acusada de promover desinformación no estaría retratada en ese párrafo”.
Además, expresa sus dudas respecto a que se permita a autoridades públicas realizar estos usos prohibidos “siempre que la ley los permita y orientados a la seguridad pública”. “Hay muchas voces alertando de que el potencial de abuso de esta excepción es tremendo (escenario China)”, añade.
Eso sí, este experto se alegra de que en el documento haya compromisos respecto a cuestiones como la prohibición del uso de reconocimiento facial, la obligatoriedad de la IA explicable, o la imposición de aspectos que, motivados por exigencias de la privacidad, podían reducir prestaciones de sistemas de IA. “Se acepta pseudo-anonimización (en lugar de anonimización completa) como compromiso de cara a medir y mitigar sesgos”, lo que, en su opinión, es algo positivo.
Mecanismos de feedback y transparencia
Pereira también valora positivamente que se garantizaría la existencia de mecanismos de feedback y transparencia para sistemas de alto riesgo, “de cara a poder gestionar impactos sociales negativos, en particular sesgos”.
Sin embargo, cree que falta desarrollar más en detalle “qué sucede con los propios datos de entrenamiento y las plataformas empleadas para ellas; es decir, cómo se garantiza que no se van a reutilizar para otros fines que sí pueden tener impacto negativo aunque no sean considerados de alto riesgo, teniendo en cuenta que la trazabilidad del sistema productivo va a requerir que tanto datos de entrenamiento como plataforma de entrenamiento se conserven en el tiempo”.
En este sentido, cree que uno de los principales retos para las organizaciones que empleen IA para procesos de alto riesgo va a ser el “asegurar mecanismos específicos de supervisión humana, identificando a las personas concretas que tengan el conocimiento y la autoridad necesarios para, una vez identificado un riesgo mediante la interpretación de las salidas de la IA, intervenir el sistema y “desconectar” la toma de decisiones del algoritmo”.
Bots y deep fakes
Respecto a la transparencia, este borrador también regula aspectos que han sido ampliamente discutidos, sobre todo el de los asistentes virtuales y deepfakes “cada vez más indiferenciables de personas reales. En este sentido, el artículo 41 de la regulación obliga a "los sistemas que interactúen con personas humanas o que manipulen imágenes, audio o vídeo para parecerse a personas reales a informar de ello”, detalla David Pereira.
Algo que también destaca Torrubia. "Aunque un chatbot llegue a ser tan convincente que pueda parecer una persona, el chatbot deberá identificarse como un chatbot", remarca.
Según este documento, Irene, el bot de Renfe, estaría haciendo mal las cosas mientras que DulcineIA, un chatbot para ayudar con el Quijote, lo estaría haciendo adecuadamente.
Efectos sobre la innovación, startups y PYMES
Torrubia también cree que para una gran multinacional este tipo de regulaciones “pueden ser incluso beneficiosas porque pueden desarrollar sistemas fuera de la Unión Europea y luego adaptarlos técnica y/o regulatoriamente (lo que seguramente harán empresas con los centros de desarrollo de IA que ya están en China, EEUU y Reino Unido; o incluso en lugares de Europa como Suiza que no forman parte de la Unión Europea, y por tanto no están sujetas a regulaciones como GDPR o esta futura regulación de IA)”.
Sin embargo, cree que esto puede generar más barreras a empresas que están empezando y “da ventaja a empresas establecidas con muchos más recursos legales. Para una start-up o una PYME o los inversores potenciales de éstas, el número al que hace referencia la multa (20 millones de euros) es suficientemente disuasoria como para plantearse que estar en Europa pueda incluso ser una desventaja".
Sandbox e innovación
Para evitarlo, el documento hace mención al concepto de sandboxes (entornos de prueba donde proyectos pilotos operan bajo estrecha vigilancia del regulador) y donde "supuestamente puede fomentarse la innovación y dar prioridad a las startups", explica Torrubia. Su opinión como emprendedor es qye "lo último que quieres ver es estar en un sitio donde la IA está entrando en la categoría de tecnología sospechosa y acceder al propio sandbox supone burocracia en sí misma”.
Sin embargo, para Richard Benjamins, dado que la regulación aplica a toda la cadena de valor (diseño, productor, distribuidor, proveedor, operador, etc.) “pero el responsable final es el quien lo pone en el mercado” sí se fomenta la innovación a través de regulatory sandboxes donde es posible experimentar.
Algo en lo que coincide Pereira, quien tilda de “interesante” precisamente el párrafo en el que esto se detalla. “Si esto sirve como base a la existencia de sandboxes regulatorios, creo que se trata de una muy buena noticia para combinar innovación y regulación”, expone, aunque añade que “habrá que ver cómo se desarrolla”.
Torrubia considera que esta regulación no supone un impedimento a la innovación y la competitividad europea en IA. Pero, insiste, “si a la montaña de problemas que conlleva crear una startup que YA tienen los emprendedores europeos (parten de una peor casilla de salida, por ejemplo en financiación, fragmentación de mercado, etc), le añadimos el laberinto legal y regulatorio, corremos el riesgo de espantar esa necesaria inversión en IA, y en España al menos... montaremos bares”.
Algo que se eche en falta
¿Qué echa en falta en la regulación? “No queda claro qué pasa con sistemas ya en producción que, según esta regulación, son de alto riesgo”, como los algoritmos trading en las bolsas; así como especificar “cuánto tiempo hay para cumplir con la regulación a partir de su entrada en vigor” (con GDPR había 2 años), señala Richard Benjamins.
Por eso, y aunque como punto de partida lo ve suficiente (“el listado de alto riesgo se revisa cada 6 meses”), considera que va a requerir una inversión por parte de organizaciones que usan IA y por parte del sector de IA así como “una inversión importante por las autoridades competentes responsable para la implementación y seguimiento de la regulación (están muy lejos de poder hacerlo bien por falta de conocimiento y experiencia). Estoy a su disposición para ayudarlas”.
Ver 5 comentarios