El informe Xenophobic Machines pone de manifiesto cómo se incluyó el uso de perfiles raciales en el diseño del sistema algorítmico utilizado para determinar si las solicitudes de subvención para el cuidado infantil eran señaladas como incorrectas y potencialmente fraudulentas.
Como consecuencia, decenas de miles de progenitores y cuidadores y cuidadoras de familias principalmente de ingresos bajos fueron acusados falsamente de fraude por las autoridades tributarias neerlandesas, en un proceso que afectó desproporcionadamente a personas de minorías étnicas. Aunque el escándalo provocó la dimisión en pleno del gobierno neerlandés en enero, y a pesar de las múltiples investigaciones llevadas a cabo, no se han extraído lecciones suficientes.
“Miles de vidas quedaron arruinadas por un vergonzoso proceso que incluyó un algoritmo xenófobo basado en el establecimiento de perfiles raciales. Las autoridades neerlandesas amenazan con repetir estos catastróficos errores, ya que los sistemas algorítmicos siguen careciendo de salvaguardias de derechos humanos”, ha manifestado Merel Koning, asesora general sobre tecnología y derechos humanos de Amnistía Internacional.
“Lo más alarmante es que el gobierno neerlandés no es el único. Los gobiernos de todo el mundo se están apresurando a automatizar la prestación de servicios públicos, pero son los sectores más marginados de la sociedad los que pagan el precio más alto.”
Amnistía Internacional pide a todos los gobiernos que implementen una prohibición inmediata del uso de datos sobre nacionalidad y origen étnico al puntuar el riesgo con fines de cumplimiento de la ley en la búsqueda de posibles sospechosos de delito o fraude.
Bucle discriminatorio
Desde el principio, la discriminación étnica y racial ha sido un elemento fundamental del diseño del sistema algorítmico introducido en 2013 por las autoridades tributarias neerlandesas para detectar solicitudes incorrectas de ayuda social para el cuidado infantil y posibles fraudes. Las autoridades tributarias utilizaron como factor de riesgo información sobre si la persona solicitante tenía la nacionalidad neerlandesa, y las personas que no la tenían recibían una puntuación de riesgo más alta.
A muchos progenitores y cuidadores y cuidadoras que fueron seleccionados por el sistema les suspendieron los subsidios y los sometieron a hostiles investigaciones, caracterizadas por duras normas y políticas, rígidas interpretaciones de las leyes e implacables políticas de recuperación de los subsidios. Esto provocó devastadores problemas económicos a las familias afectadas: desde deudas y desempleo, hasta desalojos forzosos porque la gente no podía pagar el alquiler o la hipoteca. Otras personas sufrieron problemas de salud mental y estrés en sus relaciones personales, que dieron lugar a divorcios y hogares rotos.
El diseño del algoritmo reforzó el sesgo institucional de un vínculo entre la raza y el origen étnico con la delincuencia, y asignó de forma generalizada determinadas conductas a grupos raciales o étnicos enteros.
Estos fallos de diseño discriminatorios fueron reproducidos por un mecanismo autodidacta con el cual el algoritmo se adaptaba a lo largo del tiempo basándose en la experiencia, sin una supervisión humana significativa. El resultado fue un bucle discriminatorio en el que las personas sin nacionalidad neerlandesa eran señaladas como posibles defraudadoras con más frecuencia que las nacionales de Países Bajos.
Ausencia de rendición de cuentas
Cuando una persona era señalada como un riesgo de fraude, un funcionario debía realizar una revisión manual, pero no recibía información sobre por qué el sistema había generado una puntuación de riesgo más alta. Estos sistemas opacos de “caja negra”, en los que las entradas y los cálculos del sistema no son visibles, provocaron una ausencia de rendición de cuentas y supervisión.
“El sistema de caja negra creó un agujero negro respecto a la rendición de cuentas, en el que las autoridades tributarias neerlandesas confiaban en un algoritmo para que las ayudara en la toma de decisiones sin una supervisión adecuada”, ha declarado Merel Koning.
Las autoridades tributarias tenían un perverso incentivo para confiscar la mayor cantidad posible de fondos independientemente de la veracidad de las acusaciones de fraude, pues tenían que demostrar la eficiencia del sistema algorítmico de toma de decisiones. Los progenitores y cuidadores y cuidadoras a quienes las autoridades tributarias identificaron como defraudadores estuvieron años sin recibir respuesta a sus preguntas sobre qué habían hecho mal.
Las conclusiones de Xenophobic Machines se presentarán en un acto paralelo de la Asamblea General de las Naciones Unidas sobre discriminación algorítmica el 26 de octubre. Este año, Amnistía Internacional lanza un Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos, un equipo multidisciplinar encargado de llevar a cabo investigaciones y hacer campaña sobre los riesgos que para los derechos humanos entrañan los sistemas de toma de decisiones automáticos en el sector público. Amnistía Internacional insta a los gobiernos a:
- prevenir las violaciones de derechos humanos en relación con el uso de sistemas algorítmicos de toma de decisiones, por medios que incluyen implementar una evaluación obligatoria y vinculante sobre el impacto en los derechos humanos antes de utilizar esos sistemas;
- establecer mecanismos efectivos de vigilancia y supervisión para los sistemas algorítmicos en el sector público;
- hacer que los responsables de violaciones de derechos humanos rindan cuentas de sus actos y proporcionar reparación efectiva a las personas y grupos cuyos derechos han sido violados;
- poner fin al uso de sistemas de caja negra y algoritmos autodidactas cuando haya probabilidades de que la decisión tenga un impacto significativo sobre los derechos de las personas.
|
