La ONU, preocupada por un modelo de 'estado de bienestar digital' que va dejando la política social en manos de algoritmos

La ONU, preocupada por un modelo de 'estado de bienestar digital' que va dejando la política social en manos de algoritmos
4 comentarios Facebook Twitter Flipboard E-mail

Philip Alston, relator especial para la pobreza de la ONU, presentó el pasado viernes ante la Asamblea General de la organización un informe en el que abordaba el concepto de 'Estado de bienestar digital', en referencia a aquellos países que han optado por intentar mejorar la eficiencia de los sistemas de protección social recurriendo al uso del big data y la tecnología de inteligencia artificial.

Este es un fenómeno creciente: los servicios gubernamentales tienen que mantener sistemas de bienestar caros y los algoritmos prometen llegar al rescate facilitando y acelerando la toma de decisiones. Pero Alston denuncia en su informe que tales promesas no siempre se cumplen, y que este intento de mejorar los mecanismos públicos que intentan favorecer la equidad en muchos caos puede estar dañando la calidad de vida de los colectivos más vulnerables:

"Este informe reconoce la atracción irresistible [a la que se exponen] que los gobiernos que se están moviendo hacia este modelo, pero advierte que existe un grave riesgo de que tropecemos como zombis con una distopía del bienestar digital".

Los pobres, atrapados por algoritmos que ellos no comprenden (y parece que los legisladores tampoco)

Alston pone sitúa como ejemplo de esta distopía a programas como SyRI (System Risk Indication), que permite a las autoridades nacionales y locales combinar múltiples categorías de datos en base a un "modelo de riesgo" no revelado que teóricamente permite identificar a algunas personas como más propensas a cometer fraude en la solicitud de ayudas.

Para Alston, si buscamos garantizar la justicia social, son necesarios "cierto grado de transparencia y garantías de que determinados grupos no están siendo injustamente seleccionados", en referencia al hecho de que SyRI sólo se ha utilizado por ahora para analizar la población de barrios muy concretos.

"Este problema se agrava cuando sabemos que, una vez que el programa fue dotado de base legal, prácticamente no hubo debate en el Parlamento holandés, los medios no dedicaron atención al asunto, y no hubo transparencia sobre el funcionamiento del sistema: el resultado es que los criterios [de SyRI] siguen siendo un misterio incluso para aquellos que lo han estudiado con detenimiento".

Teóricamente, el Reglamento Global de Protección de Datos de la UE garantiza un "derecho a la explicación" para promover la rendición de cuentas, pero los contornos precisos de esa protección en lo que respecta a sistemas automatizados no están del todo claros.

Pocos días antes, The Guardian se hacía eco de los problemas que está causando en algunos países la introducción de este "estado de bienestar digital", desde el uso de la IA en Illinois para detectar excesos en la concesión de ayudas durante los últimos 30 años (lo que ha llevado a exigir ahora su reembolso), hasta la introducción -en países poco preparados para ello- de sistemas tecnológicos de los que depende la recepción de ayudas sociales.

Así, en la India, donde el acceso a las tiendas de racionamiento dependen del visto bueno del sistema biométrico Aadhar, los activistas han denunciado que errores en el mismo han provocado hasta 13 muertes de hambre, y que algunos pueblos han perdido durante dos meses el acceso a estas tiendas por carecer de conexión a Internet.

Pero no hace falta irse a casos tan lejanos y extremos: The Guardian también denuncia que, incluso en Occidente, millones de personas están viendo sus ayudas recortadas por sistemas informáticos que operan de un modo que pocos son capaces de controlar o entender, y en los que los errores de criterio se han convertido en endémicos, sin ninguna opción obvia para que las víctimas de los mismos recurran la decisión.

Vía | ExponentialView

Imagen | PXhere

Comentarios cerrados
Inicio