Durante la última década, la mayoría de los gobiernos y algunos bloques regionales han adoptado y aplicado estrategias de transformación digital, cuyo objetivo es digitalizar las funciones estatales y los servicios públicos. Más recientemente, han adoptado cada vez más tecnologías basadas en datos que introducen componentes automatizados, algorítmicos o basados en IA en las numerosas funciones que competen al gobierno. Por ejemplo, estos podrían incluir sistemas automatizados que:

• evalúen o “predigan” el riesgo de que los solicitantes de prestaciones sociales cometan fraude;
• predigan el riesgo de que una persona cometa un delito;
• clasifiquen las solicitudes de visado.

Estos sistemas de toma de decisiones automatizada (TDA), desplegados aparentemente con la justificación de la rentabilidad o la mejora de las capacidades de toma de decisiones humanas, han sido ampliamente denunciados por:

• excluir a las personas del acceso a servicios esenciales;
• reproducir las desigualdades por motivos de raza, género, situación migratoria, discapacidad y condición socioeconómica;
• dar a las personas afectadas una capacidad limitada para impugnar una decisión tomada sobre ellas, dejándoles pocos o ningún recurso para obtener reparación;
• reprimir el derecho a la protesta pacífica mediante el despliegue a gran escala de tecnologías de vigilancia masiva, que afectan especialmente a las comunidades ya marginadas.

A medida que el uso de la IA cobra protagonismo en la vida cotidiana y el funcionamiento de la sociedad, surgen constantemente tensiones entre las ventajas previstas del uso de la tecnología y los motivos de preocupación sobre las violaciones de derechos humanos. Estas tensiones se ven agravadas por la falta de una supervisión o regulación adecuadas del uso de la tecnología; de límites claros y salvaguardias cuando el uso de la tecnología viola los derechos, y de definiciones claras de los tipos de violaciones de derechos humanos que se derivan del uso de la tecnología. Investigar el impacto de estos sistemas es un reto por infinidad de cuestiones, que van desde la opacidad de su implementación hasta el acceso a las personas y comunidades que, en última instancia, se ven afectadas por las decisiones que toman.

---

Sobre este conjunto de herramientas

Este conjunto de herramientas está diseñado para cualquier persona que desee investigar e impugnar el uso de sistemas algorítmicos en el sector público. Su objetivo es sintetizar los aprendizajes del trabajo de Amnistía Internacional en este ámbito, en particular los del Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos, especializado en el trabajo de investigación, campaña e incidencia en torno a cuestiones relacionadas con el uso estatal de sistemas automatizados. Amnistía Internacional ha llevado a cabo múltiples investigaciones sobre estos sistemas durante los últimos tres años; este conjunto de herramientas recoge muchos de los aprendizajes y métodos probados a partir de ellas. El conjunto de herramientas no sólo detalla cómo investigar estos sistemas opacos y las violaciones de derechos humanos que provocan, sino que también establece tácticas integrales dirigidas a quienes trabajan para poner fin a estos sistemas abusivos procurando el cambio y la rendición de cuentas a través de campañas, trabajo de incidencia o litigios.

¿Quién puede utilizar este conjunto de herramientas?

Este conjunto de herramientas está destinado a organizaciones de la sociedad civil (OSC), periodistas y organizaciones comunitarias. En resumen, su objetivo es proporcionar información a:

• cualquier persona que busque una mayor transparencia y trate de poner al descubierto los sistemas de IA y de toma de decisiones automatizada que puedan estar afectando áreas clave de su vida o la de los miembros de las comunidades con las que trabaja directamente;
• las OSC/el personal investigador que trabajan con personas y organizaciones comunitarias afectadas para poner al descubierto estos sistemas y buscar la rendición de cuentas y el fin de los que son abusivos.

---

Muchas de nuestras reflexiones y aprendizajes se refieren a llevar a cabo trabajos de rendición de cuentas sobre el uso de algoritmos dentro de una organización con un mandato global; sin embargo, también hemos incluido consideraciones adicionales para las organizaciones comunitarias que trabajan directamente con las comunidades afectadas, basadas en lo que hemos aprendido al colaborar con ellas.

Este conjunto de herramientas adopta un enfoque basado en los derechos humanos para las investigaciones sobre el uso de algoritmos y la búsqueda de la rendición de cuentas con el fin de poner fin a los sistemas abusivos. Este enfoque es una síntesis del propio enfoque de Amnistía Internacional, pero también comparte lecciones de otros estudios de casos. Contiene cuatro elementos fundamentales:

1. Marcos e investigación sobre derechos humanos

Gran parte del trabajo en el ámbito de la rendición de cuentas sobre el uso de algoritmos ha explicado a menudo los riesgos y daños de los sistemas de IA desde un marco ético que, aunque valioso en sí mismo, no sitúa explícitamente los daños en el marco del derecho internacional de los derechos humanos (DIDH). El DIDH es jurídicamente vinculante para los Estados, y basarse en él significa que el equipo de investigación y las organizaciones no tienen que partir de cero cuando intentan impugnar los sistemas mediante su trabajo de campaña, litigio e incidencia, ya que los Estados ya tienen compromisos existentes en virtud del DIDH. Del mismo modo, cuando los Estados se asocian con empresas privadas o adquieren sus sistemas, el equipo de investigación puede basarse en los Principios Rectores sobre las Empresas y los Derechos humanos, de la ONU, que establecen las responsabilidades que tienen las empresas privadas de respetar los derechos humanos en sus operaciones comerciales.

Si bien el DIDH puede resultar a veces complejo y difícil de entender, contextualizar los riesgos y daños de los sistemas algorítmicos en términos de derechos humanos puede, sin embargo, resultar más accesible para muchas personas que no son expertas en tecnología y demostrar que los riesgos y daños no son fenómenos únicos causados exclusivamente por la tecnología moderna, sino más bien reflejos continuos de problemas sociales profundamente arraigados que muchos han puesto de relieve e impugnado anteriormente y que pueden abordarse mediante normas claras de derechos humanos. El marco de derechos humanos describe claramente los resultados que deseamos ver y prevenir, independientemente de la tecnología que se utilice (por ejemplo, todo el mundo tiene derecho a la igualdad y a la no discriminación), en lugar de enzarzarse en debates sobre nuevas normativas y protecciones, que pueden estar vinculados a ciclos de expectación en torno a las nuevas tecnologías y distraer la atención de unos resultados sólidos en materia de rendición de cuentas sobre el uso de algoritmos. Los sistemas de IA y algorítmicos son de naturaleza técnica y su examen permite utilizar enfoques técnicos innovadores. No obstante, estos enfoques se refuerzan cuando se complementan con métodos de investigación de derechos humanos que ponen de relieve las experiencias y los testimonios de las personas, elementos esenciales para comprender plenamente cómo han afectado los sistemas a los derechos de quienes están sujetos a ellos.

2. La importancia de las historias personales

Centrarse en las historias de las personas y las comunidades ayuda a demostrar los problemas causados por los sistemas algorítmicos con un lenguaje más comprensible y que no los enmascara con tecnicismos. Con demasiada frecuencia, el trabajo de rendición de cuentas en materia tecnológica se ha centrado exclusivamente en los aspectos técnicos del sistema en cuestión, lo que deja fuera una investigación basada en las vivencias de las personas sometidas al sistema y afectadas por él, puede distraer la atención de las motivaciones económicas o políticas más profundas que están en juego, y al mismo tiempo socava el poder de las personas y comunidades afectadas para impugnar el sistema. Además, la investigación que se centra únicamente en la tecnología, sin una participación significativa de las personas y comunidades afectadas, también puede dar lugar a la falsa idea de que cualquier problema puede resolverse mediante soluciones técnicas.

Es comprensible que, en ocasiones, las personas y comunidades afectadas puedan mostrarse reacias a hablar públicamente sobre su experiencia por miedo a represalias u otros motivos de preocupación relacionados con la seguridad. Es fundamental que cualquier investigación con personas o comunidades afectadas incorpore enfoques participativos y basados en el consentimiento para garantizar que sus experiencias e historias no se recopilen, documenten o cuenten de manera extractiva.

A efectos de lo anterior, es preciso reconocer que muchas personas con las que trabajaremos han presenciado o vivido acontecimientos traumáticos. Es fundamental que, al centrarse en las historias de las personas, cualquier trabajo de investigación, incidencia y campaña adopte un enfoque sensible al trauma. Por ejemplo, en lo que respecta a las entrevistas, habrá que adaptar las técnicas según sea necesario para garantizar la seguridad y el bienestar físico, emocional y psicológico de la persona entrevistada, de quien entrevista y de cualquier otro miembro del equipo.

3. Un marco sociotécnico

Un enfoque “sociotécnico” para comprender los impactos de un sistema algorítmico significa examinar la tecnología en el contexto de los incentivos políticos, sociales, económicos y culturales y de los factores ambientales que originan su desarrollo y despliegue. El uso de la palabra “sistema” para referirse a la IA o a las herramientas algorítmicas es una elección intencionada para denotar el aspecto sociotécnico de la tecnología. Es una manera de destacar que estas herramientas son “arreglos dinámicos e intrincados de gente y código” y no pueden reducirse al componente tecnológico, separado de los contextos estructurales en los que operan. Adoptar una postura sociotécnica también significa reconocer que la tecnología no es neutral. Los incentivos, los sistemas estructurales de poder y opresión, la desigualdad sistémica y los entornos políticos se integran en la tecnología y se reproducen con su uso. Es importante reconocer que no se trata de un proceso pasivo, sino que en cada etapa del desarrollo de políticas y la creación de sistemas automatizados se toman decisiones activas. Por ejemplo, en el contexto de las tecnologías de reconocimiento facial, significa reconocer que, si bien la IA puede utilizarse como herramienta de vigilancia, las comunidades marginadas ya están por lo general sujetas a una mayor vigilancia estatal.

El enfoque elegido para investigar cualquier sistema debe reflejar este hecho, y cualquier investigación debe procurar emplear diversos métodos investigativos que examinen los factores políticos, sociales, económicos y culturales que subyacen al desarrollo y la implementación de un sistema.

4. Investigación para procurar el cambio

Documentar las pruebas de los daños causados por un sistema algorítmico no es suficiente por sí solo para provocar un cambio. La sensibilización es sólo un paso para lograrlo; tras la publicación de una investigación, es importante que el equipo de investigación y las organizaciones sigan luchando —a través del trabajo de incidencia y de litigio, entre otros medios— para que se rindan cuentas y haya justicia para las personas afectadas, y, cuando no puedan hacerlo, se aseguren de que exista una organización preparada para ello (algo también fundamental para garantizar un impacto a largo plazo para las personas y comunidades afectadas). Este es otro motivo por el que el marco del DIDH es una herramienta fundamental para el trabajo de rendición de cuentas sobre el uso de algoritmos, dado que se basa en legislación de obligado cumplimiento y, por tanto, proporciona, por extensión, una base sobre la que pueden delimitarse claramente los usos aceptables e inaceptables de la tecnología. Ello significa que cualquier investigación debe ir acompañada de estrategias para contribuir a lograr el cambio, ya sea a través de:

• proporcionar pruebas que sirvan de base a las posiciones en cuanto al trabajo de incidencia y las llamadas a la acción.
• denunciar un problema y obligar a los gobiernos y empresas a abordarlo.
• crear una campaña y movilizar personas para que actúen.
• recurrir al sistema jurídico para impugnar un algoritmo.

¿Cómo utilizar este conjunto de herramientas?

Este conjunto de herramientas está diseñado tanto para personas que ya están familiarizadas con las cuestiones de rendición de cuentas en el uso de algoritmos como para quienes quizá no hayan trabajado en este tema anteriormente.

Reconocemos que las cuestiones relacionadas con la rendición de cuentas sobre el uso de algoritmos se entrecruzan con el ámbito de competencia de muchas organizaciones diferentes, no solo las centradas en los derechos digitales. Muchas investigaciones han puesto de relieve que los sistemas algorítmicos atacan y dañan a comunidades específicas (por ejemplo, un sistema que ataca injustamente a las mujeres y las personas de origen migrante por fraude en las prestaciones sociales), lo que significa que la rendición de cuentas sobre el uso de algoritmos es muy pertinente para las organizaciones y los defensores y defensoras que trabajan en numerosos temas de justicia social.

No todo el trabajo relativo a la rendición de cuentas sobre el uso de algoritmos tiene que adoptar la forma de una investigación exhaustiva sobre un sistema específico. El trabajo de incidencia, las campañas y otras actividades son igualmente importantes, y este conjunto de herramientas está diseñado para proporcionar directrices y reflexiones relacionadas con la rendición de cuentas sobre el uso de algoritmos en su conjunto.

Esto significa que hemos dividido el conjunto de herramientas en capítulos distintos, que representan etapas específicas de un proyecto o, en algunos casos, consideraciones y reflexiones generales. A continuación, ofrecemos recomendaciones generales sobre los capítulos que pueden ser pertinentes en un proyecto:

1. Evaluación del alcance de los proyectos: Capítulo centrado en actividades que pueden ser útiles para evaluar el alcance de su trabajo relativo a la rendición de cuentas sobre el uso de algoritmos.
   1. Recomendado a: Equipos de investigación, especialistas en comunicación, responsables de campañas, activistas.
2. Objetivos y ciclo de vida de los proyectos: Capítulo centrado en actividades y consideraciones.
   1. Recomendado a: Equipos de investigación, especialistas en comunicación, responsables de campañas, activistas.
3. Ética y principios de los proyectos: Capítulo centrado en consideraciones éticas y principios generales para abordar su proyecto relativo a la rendición de cuentas sobre el uso de algoritmos.
   1. Recomendado a: Equipos de investigación, especialistas en comunicación, responsables de campañas, activistas.
4. Obtención de acceso a la información: Capítulo centrado en vías para tratar de acceder a más información sobre un sistema algorítmico específico.
   1. Recomendado a: Equipos de investigación.
5. Investigación sobre derechos humanos: Capítulo centrado en enmarcar los daños de los sistemas algorítmicos dentro del derecho de los derechos humanos y el modo de abordar el desarrollo de investigaciones de derechos humanos sobre estos sistemas.
   1. Recomendado a: Equipos de investigación.
6. Auditoría del uso de algoritmos mediante investigaciones empíricas: Capítulo centrado en el aspecto técnico de la investigación empírica sobre los sistemas algorítmicos.
   1. Recomendado a: Equipos de investigación, tecnólogos.
7. Influir en el cambio tras la investigación a través del trabajo de incidencia y las comunicaciones estratégicas: Capítulo centrado en enfoques basados en el trabajo de incidencia y la comunicación estratégica.
   1. Recomendado a: Equipos de investigación, especialistas en comunicación, responsables de campañas, activistas.
8. Vías hacia la rendición de cuentas y la justicia: Capítulo centrado en vías para exigir justicia y rendición de cuentas por los daños algorítmicos, incluidos litigios estratégicos, mecanismos nacionales de supervisión e igualdad y movilización comunitaria.
   1. Recomendado a: Equipos de investigación, especialistas en comunicación, responsables de campañas, activistas.

Investigar el uso de la inteligencia artificial y/o las herramientas de toma de decisiones automatizadas por parte de los gobiernos de todo el mundo es complicado. Muchas de las investigaciones de gran repercusión publicadas, como las relacionadas con los sistemas en Róterdam, Países Bajos, Francia y Dinamarca, se han basado en años de investigación persistente para desmitificar una tecnología aplicada. El difícil papel de exigir a los gobiernos que rindan cuentas sobre su uso de la IA a menudo recae en los periodistas de investigación y la sociedad civil, en lugar de estar consagrado en los mecanismos normativos y de gobernanza. En ausencia de una normativa y una gobernanza sólidas, este conjunto de herramientas tiene por objeto proporcionar a los equipos de investigación y a la sociedad civil recursos mejorados con los que continuar esta labor fundamental de rendición de cuentas.

Embarcarse en un proyecto de investigación de varios años puede resultar abrumador, habida cuenta de que estos proyectos pueden requerir una inversión considerable de tiempo y recursos sin garantías de ser viables. Una fase de evaluación del alcance en profundidad es esencial para comprender la viabilidad de un proyecto de investigación sobre algoritmos. Es fundamental reconocer que, si bien el equipo de investigación y las organizaciones pueden y deben mantener la flexibilidad necesaria para adaptar el tipo de resultado a fin de mitigar este riesgo, en última instancia no todos los proyectos llegarán a buen puerto.

Este capítulo se centrará en la fase de evaluación del alcance de los proyectos, que sirve para afinar los objetivos de la investigación, plantear las posibles metodologías que se emplearán y desarrollar teorías de cambio para el trabajo de incidencia y las actividades de campaña de seguimiento.

La fase de evaluación del alcance de un proyecto será diferente en función del ámbito de actuación de su organización, los intereses del equipo de investigación o de quienes buscan información, o el enfoque geográfico del proyecto. Se requieren sin duda consideraciones distintas en función de los objetivos del proyecto. Por ejemplo, un medio de comunicación de investigación con un ámbito de actuación global tendrá una fase de evaluación del alcance diferente a la de una organización que trabaja a nivel municipal y que busca más información sobre cómo afectan estos sistemas directamente a sus miembros. Del mismo modo, en una organización que opera con un ámbito de actuación global o con mayores recursos, hay consideraciones adicionales que deben tenerse en cuenta durante la fase de evaluación del alcance, como asegurarse de que los esfuerzos no sean extractivos y de que se lleve a cabo un trabajo adicional para reconocer las estructuras de poder y mitigar esos desequilibrios desde el inicio del proyecto.

Objetivos de la fase de evaluación del alcance

Una fase de evaluación del alcance es una visita de investigación cuyo objetivo es obtener una visión general de:

1. Dónde y quién podría estar implementando sistemas algorítmicos.
2. Si tienen un impacto perjudicial en la vida de las personas y de qué manera.
3. Qué información hay disponible sobre ellos en el dominio público.
4. Qué otras vías de investigación son posibles.
5. Qué opciones hay para impugnar los sistemas y buscar cambios.

En las siguientes secciones se ofrecen diferentes consideraciones sobre la evaluación del alcance para organizaciones de distinto tipo y escala, ya que estas variarán en función de factores como sus conocimientos especializados, sus recursos y sus relaciones con las comunidades afectadas. Las hemos dividido en diferentes apartados según el tipo de organización, pero no deben verse como compartimentos estancos; quien use este conjunto de herramientas puede adaptar y combinar estas listas según sea necesario.

Consideraciones de evaluación del alcance para organizaciones y equipos de investigación de ámbito global

Geografía

Para las organizaciones o equipos de investigación que no tienen un enfoque geográfico definido o que trabajan a escala global, una de las principales dificultades al inicio de cualquier proyecto es definir el alcance geográfico de la investigación. Es necesario dedicar mucho tiempo a las fases de evaluación del alcance para identificar una región geográfica específica de interés y, posteriormente, invertir tiempo en comprender el contexto local en el que se implementan los sistemas algorítmicos. A continuación figuran algunas preguntas clave que deben hacerse en esta etapa:

¿Se centra su proyecto en una tecnología específica?

Algunos proyectos pueden centrarse en un área específica (por ejemplo, las prestaciones sociales), mientras que otros pueden abordar una tecnología específica (como los sistemas de reconocimiento facial). En este último caso, la ubicación de su investigación puede estar determinada por los contextos de mayor riesgo en los que se implementa y prueba, o por un lugar específico que esté poco investigado y que pueda sentar un precedente para la investigación en otras zonas geográficas. Por ejemplo, la investigación de Amnistía Internacional en este ámbito se centró en el despliegue de sistemas de reconocimiento facial en:

• El Territorio Palestino Ocupado, donde se prueban y despliegan nuevas tecnologías experimentales para mantener el apartheid.
• Nueva York, donde se utilizaron sistemas de reconocimiento facial para vigilar a las comunidades racializadas durante las protestas de Black Lives Matter en 2020.

¿Duplica trabajo ya existente?

Muchos países de todo el mundo cuentan ahora con una serie de organizaciones y comunidades que trabajan en cuestiones relacionadas con los derechos digitales. Es importante preguntarse si está en la mejor posición para llevar a cabo la investigación, y que sólo proceda si su trabajo contribuirá a las iniciativas locales. Entable relaciones con activistas, periodistas y organizaciones locales para asegurarse de que no duplica investigaciones ya efectuadas o en curso. Siempre que sea posible, intente ceder el liderazgo a las organizaciones locales si éstas tienen la capacidad y los recursos para asumir el trabajo.

¿Qué piden las organizaciones comunitarias?

En algunos casos, las organizaciones comunitarias pueden tener peticiones muy concretas sobre cómo y en qué aspectos podría resultar útil la participación de organizaciones internacionales y equipos de investigación. Si bien éste será un principio rector en todo su trabajo, pueden surgir algunos proyectos específicos a partir de solicitudes concretas. Por ejemplo, en Serbia, la Iniciativa A11 y otras organizaciones contactaron con Amnistía Internacional para solicitarle que apoyara la labor de investigación del impacto de la ley de la tarjeta social.

¿Qué oportunidades de trabajo de incidencia existen en el plano local, nacional o regional?

La investigación tendrá mayor impacto cuando pueda traducirse en llamamientos claros a la acción, por lo que es importante identificar de antemano las oportunidades de trabajo de incidencia. Las propuestas de regulación o legislación en una jurisdicción, por ejemplo, la Ley de Inteligencia Artificial de la UE, ofrecen a las organizaciones de la sociedad civil la oportunidad de lograr un cambio duradero mediante su aportación y trabajo de incidencia en cuestiones concretas, y es fundamental contar con pruebas sólidas que respalden estas posiciones. Sin embargo, es importante señalar que la investigación puede tener valor en sí misma, para documentar y arrojar luz sobre una cuestión específica, por lo que estas oportunidades de trabajo de incidencia no siempre son necesarias.

¿Qué oportunidades de rendición de cuentas existen a escala local, nacional o regional?

Pensar en las oportunidades para influir en el cambio después de un proyecto puede ser una guía útil para determinar dónde investigar. Algunas consideraciones iniciales útiles son:

• ¿Ofrece la normativa o la legislación existente vías de recurso o nuevos mecanismos para su aplicación?
• ¿Qué otros mecanismos existen para lograr transparencia y rendición de cuentas?
• ¿Existen organismos de supervisión o control? ¿Qué facultades tienen?
• ¿Qué disposición tienen los tribunales nacionales para conocer de los casos relacionados con el tema en cuestión?
• ¿Qué instrumentos jurídicos regionales podrían utilizarse?

Incorporación de métodos participativos durante la fase de evaluación del alcance

Si bien la inteligencia artificial y los sistemas algorítmicos son de naturaleza abstracta y técnica, su impacto en la vida de las personas y en los derechos humanos no lo es. Implicar a las partes interesadas, los miembros de la comunidad o las personas directamente afectadas por el sistema garantiza que la investigación se base en las realidades locales y refleje perspectivas diversas. Para que una investigación refleje verdaderamente las experiencias y atienda las necesidades de las personas afectadas por la tecnología en cuestión, es conveniente incorporar enfoques participativos en el ciclo de vida del proyecto lo antes posible, además de garantizar un enfoque sensible al trauma.

En el contexto de la rendición de cuentas sobre el uso de algoritmos, los enfoques de investigación participativa son métodos en los que las personas más afectadas por el sistema algorítmico y las organizaciones locales ayudan a diseñar y llevar a cabo la propia investigación. Pueden incluir actividades como la recopilación de datos dirigida por la comunidad, talleres colaborativos y ejercicios de mapeo, es decir, cualquier cosa que haga que la investigación pase de ser extractiva a colaborativa. Debido al aspecto técnico de los sistemas algorítmicos, es importante dedicar tiempo a establecer una interpretación común del daño algorítmico, lo que crea un espacio para el aprendizaje mutuo y la colaboración, y le permite guiarse por el resultado que las comunidades afectadas desearían alcanzar.

Es esencial establecer relaciones con socios de la comunidad e incorporarlos al proyecto desde el principio, o incluso a la hora de determinar si se lleva a cabo. En esta fase, ampliar el alcance al máximo y hablar con tantas comunidades como sea posible ayudará a desterrar ideas preconcebidas sobre quiénes son los principales afectados por los daños de los sistemas algorítmicos y de qué manera se producen esos daños. Aunque desde el punto de vista de la investigación y teniendo en cuenta la competencia o la experiencia de su organización pueda ser preferible o más cómodo abordar un determinado tema o enfoque, en última instancia, las comunidades, —a través de sus organizaciones representativas y sus activistas— deben tener una voz decisiva en la configuración del proyecto y sus objetivos en función de sus prioridades y necesidades. Todo ello puede plasmarse en un plan y una estrategia de investigación diseñados conjuntamente.

Consideraciones sobre la evaluación del alcance para las organizaciones comunitarias y el equipo de investigación

Las consideraciones sobre la evaluación del alcance para las organizaciones comunitarias o el equipo de investigación que trabaja directamente con las comunidades afectadas pueden ser diferentes. Algunas consideraciones para las organizaciones y el personal investigador que trabajan a este nivel, basadas en nuestras colaboraciones, son:

¿Qué tipo de proyecto desea llevar a cabo?

Las investigaciones de larga duración requieren mucho tiempo y amplios recursos, y no siempre son necesarias para buscar justicia y exigir rendición de cuentas. Es posible que desee hacer trabajo de campaña e incidencia contra un sistema específico, pero no necesariamente llevar a cabo una investigación más extensa. Considere la posibilidad de asociarse con un equipo de investigación o periodistas que puedan apoyar el trabajo de su organización aportando capacidad de investigación y conocimientos de investigaciones técnicas o captando la atención de los medios de comunicación hacia los temas que desea defender y por los que desea hacer campaña.

¿Existen organizaciones asociadas que puedan apoyar su trabajo?

Si decide llevar a cabo una investigación, compartir recursos y conocimientos de otros contextos puede ser muy valioso para orientar su enfoque. Hable con periodistas y equipos de investigación que hayan llevado a cabo proyectos similares y recurra a redes globales que puedan apoyar su trabajo. Las organizaciones internacionales, como Amnistía Internacional, pueden apoyar o promover su trabajo para llegar a un público más amplio. Piense en quién puede involucrar en su trabajo de evaluación del alcance para que le ayude a comprender los parámetros del sistema que está analizando, como tecnólogos con experiencia en la investigación de sistemas automatizados.

¿Hay ejemplos internacionales que puedan concienciar al respecto?

Si bien el impacto de tecnologías específicas dependerá en gran medida del contexto, los Estados suelen recurrir a ejemplos internacionales de nuevas iniciativas. Los países que desean implementar sistemas de identificación digital suelen citar el sistema Aadhaar de la India como ejemplo, mientras que el uso de la tecnología en el sistema de protección social de Dinamarca ha sido imitado por otros gobiernos. La indagación sobre los perjuicios de estos sistemas puede servir tanto de inspiración para su investigación como para concienciar sobre cualquier plan similar que se proponga en su localidad.

¿Puede interactuar directamente con las comunidades con las que trabaja?

Si trabaja en una organización de base o comunitaria que defiende sus derechos, recursos como éste (elaborado por TechTonic Justice) le proporcionan orientación para tratar de comprender si las personas con las que trabaja están sujetas a un sistema algorítmico que afecta a sus vidas.

Conocimiento del sistema

El primer paso para investigar un sistema automatizado específico es simplemente adquirir conocimientos sobre él. Aunque la promoción y la implementación de registros de algoritmos ha aumentado en la última década, muchos sistemas siguen siendo desconocidos para el público, dado que ciudadanos y residentes tienen a disposición escasa o nula información sobre su diseño y despliegue. Las bases de datos gubernamentales suelen ser incompletas y, aunque existen algunas iniciativas comunitarias impresionantes para documentar los sistemas algorítmicos, son difíciles de crear y mantener.

A continuación figuran algunas medidas iniciales que puede tomar el equipo de investigación:

1. Investigación documental e información disponible públicamente: se basa en métodos comúnmente utilizados en el periodismo de investigación a través de la documentación, la revisión de comunicaciones oficiales del gobierno, documentos estratégicos y de contratación pública que indican planes estratégicos para la integración de las tecnologías digitales en la prestación de servicios públicos (para obtener más detalles sobre los documentos de contratación pública pertinentes, véase el capítulo “Obtención de acceso a la información”). Paralelamente, cuando sea posible y las consideraciones de seguridad lo permitan, establecer relaciones con organismos del sector público puede ser una fuente fructífera de información, ya sea a través de entrevistas formales o informales, en especial, si es posible, el recurso a filtraciones o información de denunciantes.
   
   
2. Investigación de hechos a través de solicitudes de información pública: la presentación generalizada de solicitudes de información a los organismos pertinentes del sector público puede ser un primer paso útil para orientar una investigación. El informe Suspicion Machines Series de Lighthouse se basó en este enfoque, presentando más de cien solicitudes de información púbica en las primeras etapas del proyecto, y muchas otras investigaciones sobre la rendición de cuentas sobre el uso de algoritmos han hecho lo mismo. Sea generoso con sus solicitudes y vea qué resultados obtiene. En el enlace se incluye una plantilla de ejemplo de solicitud de información pública que puede adaptarse fácilmente para solicitar información general sobre un sistema.
   
   
3. Hable con las personas o comunidades afectadas: el impacto inmediato de las nuevas tecnologías digitales que introducen los organismos del sector público se hace sentir en quienes están sujetos a ellas. Los casos de exclusión o retrasos en la recepción de los programas de protección social pueden descubrirse mediante la participación directa de las personas y comunidades afectadas, o a través de organizaciones que trabajan directamente con ellas sobre el terreno. En algunos casos, las personas pueden recibir comunicaciones oficiales de los organismos gubernamentales en las que se detallan las decisiones tomadas sobre su situación. Pregunte sobre estas decisiones y, si es posible, intente obtener copias, ya que pueden contener información sobre si se utilizó un sistema automatizado en la toma de decisiones.

En conjunto, estos pasos iniciales de evaluación del alcance reflejan la complejidad de investigar los sistemas algorítmicos en el sector público. Requieren tanto interrogar el sistema a nivel técnico como utilizar métodos de investigación participativos o basados en los derechos humanos para centrarse en las vivencias de las personas afectadas y documentar los riesgos y las violaciones de sus derechos. Lo ideal es que cualquier investigación aborde ambos elementos a la vez para que el equipo de investigación pueda rastrear el impacto humano de un sistema hasta su diseño técnico y su implementación.

---

Lista de verificación para evaluar la viabilidad de un proyecto

Una fase de evaluación del alcance satisfactoria intenta responder a una serie de preguntas para determinar la necesidad y la viabilidad de una investigación. A continuación se muestra una lista de verificación de ejemplo que puede utilizar al final de la fase de evaluación del alcance para determinar si se procede o no con una investigación completa.

• Si los posibles casos plantean importantes motivos de preocupación en materia de derechos humanos que arrojarían luz sobre las experiencias vividas por las personas y los grupos afectados.
• Si hay —o puede haber— acceso a información sobre el sistema algorítmico, como datos recopilados o explotados, documentación o código fuente. Valore si esta información puede obtenerse a través de solicitudes de información pública, entrevistas u otros medios.
• Si los socios internos y externos pueden apoyar la investigación y tienen la capacidad para ello.
• En el caso de trabajar para una organización de ámbito global, si se considera que este trabajo contribuye a las comunidades afectadas y existe la posibilidad de trabajar con grupos afectados, organizaciones de base, sociedad civil u organizaciones de derechos humanos para:
  • Diseñar conjuntamente la investigación y la estrategia para el cambio.
  • Hacer entrevistas conjuntas sobre el impacto de estos sistemas.
• Si trabaja directamente con las comunidades afectadas a escala local, ¿tiene sentido asociarse con organizaciones de ámbito global para aprovechar su alcance y sus recursos?
• Si la investigación de cada caso práctico contribuirá a los objetivos del trabajo de incidencia de su organización y de sus socios.
• Si existen oportunidades normativas o de trabajo de incidencia en el plano local, nacional o regional en las que el proyecto podría influir o a las que podría brindar información.
• Si prevé tener la capacidad de llevar a cabo trabajo de incidencia o rendición de cuentas de seguimiento después de la publicación del proyecto. Y si no es así, ¿se puede traspasar a alguna organización asociada que pueda llevarlo adelante cuando proceda?
• Si para cada estudio de caso existe la posibilidad de recopilar datos sobre el impacto del sistema utilizando información sobre el diseño, la implementación y el uso de datos del sistema (con fines de auditoría estadística).
  
  

---

En este capítulo se analizan los aspectos que debe tener en cuenta al establecer los objetivos de su proyecto, junto con los principios generales que deben estar presentes a lo largo de todo el proyecto.

Objetivos generales, adoptando una visión integral del sistema

Investigar los posibles impactos de los sistemas algorítmicos en los derechos humanos incluye efectuar tanto un análisis sociotécnico del sistema como una investigación centrada en los derechos humanos.

La investigación sobre derechos humanos llevada a cabo por Amnistía Internacional incluye el análisis de los instrumentos y normas internacionales pertinentes en materia de derechos humanos, los informes y estudios pertinentes de la ONU, artículos periodísticos, documentos académicos e informes de organizaciones de la sociedad civil, junto con entrevistas con las comunidades afectadas y otros expertos pertinentes (incluidos miembros de la sociedad civil y autoridades gubernamentales).

La investigación técnica de los sistemas algorítmicos incluye el análisis de datos y documentación sobre la infraestructura técnica y los algoritmos utilizados, incluido el debate sobre los enfoques estadísticos. Ambos tipos de investigación se tratan con mayor profundidad en los capítulos “Obtención de acceso a la información” y “Auditoría del uso de algoritmos mediante investigaciones empíricas” de este conjunto de herramientas.

La investigación de los sistemas algorítmicos mediante el análisis técnico y la investigación sobre derechos humanos permite obtener una visión integral del sistema. Este método combinado de investigación reconoce que, en algunos casos, puede que no sea posible acceder al sistema técnico, pero eso no significa que no sea posible identificar los posibles daños. El análisis de los informes de la sociedad civil y de la ONU, así como de las noticias, junto con las entrevistas a las comunidades afectadas, puede sacar a la luz daños clave a los derechos humanos, incluso si no se puede llevar a cabo una investigación técnica.

Un enfoque holístico de esta investigación también nos obliga a considerar los daños a los derechos humanos a lo largo del ciclo de vida del sistema técnico, desde su creación hasta su uso, e identificar los daños que existen a lo largo del proceso. Sin embargo, no siempre es posible establecer un ciclo de vida de los daños, y centrarse en partes específicas del ciclo de vida o de la cadena de suministro puede ser igual de valioso.

¿Cómo influirá este resultado en el cambio?

Los debates sobre cómo influir en el cambio deben preceder a la conceptualización de cualquier investigación. Como se describe en el capítulo sobre la evaluación del alcance, las decisiones que tome para llevar a cabo un proyecto específico deben estar motivadas por el cambio que desea ver. Las preguntas básicas que debe plantearse en esta etapa son:

• ¿Quiénes son las personas y las comunidades afectadas?
• ¿Cuáles son los daños que les afectan?
• ¿Cuál es la mejor manera de servir y apoyar a las personas y comunidades para contrarrestar estos daños?

El objetivo de un resultado concreto debe decidirse en colaboración con las comunidades afectadas. De este modo, se garantizará que haya un sentido compartido de pertenencia en torno al trabajo y una colaboración más activa, así como una mayor “aceptación” durante el trabajo de incidencia y las comunicaciones estratégicas basadas en el resultado producido. También puede ayudar a su organización a avanzar en sus posiciones sobre cuestiones que afectan a las comunidades, a adoptar posturas más audaces y a garantizar que tengan en cuenta las experiencias que han vivido las personas afectadas por los daños de los sistemas algorítmicos en un contexto más amplio de marginación sistémica. Es fundamental establecer relaciones y generar confianza, así como colaborar de forma continua con las comunidades y las organizaciones que las representan.

Una teoría del cambio establece los cambios que queremos ver como resultado de la investigación y cómo se pueden lograr. Incorpora metas y objetivos, canales de influencia, mensajes clave, así como tácticas y actividades para el cambio, que pueden incluir campañas públicas, trabajo con los medios de comunicación, trabajo de incidencia ante agentes gubernamentales y corporativos clave, etc. Una teoría del cambio que incorpore mecanismos claros para supervisar y evaluar el éxito permite demostrar cómo puede la investigación influir en el cambio. Este tema se analiza con más detalle en el capítulo “Influir en el cambio tras la investigación a través del trabajo de incidencia y las comunicaciones estratégicas” de este conjunto de herramientas.

¿A quién incluir?

Llevar a cabo un proyecto eficaz sobre los posibles daños a los derechos humanos de los sistemas algorítmicos, que se centre en las experiencias de las comunidades afectadas y genere un impacto significativo, requiere una amplia gama de conocimientos especializados. A continuación, se incluye una lista de posibles partes interesadas con las que puede considerar hablar, de manera formal o informal, mientras define los objetivos de su proyecto:

• Personas y comunidades afectadas (cuando sea posible).
• Periodistas e integrantes del equipo de investigación locales y regionales.
• Organizaciones de la sociedad civil locales centradas en los derechos digitales.
• Organizaciones y activistas que trabajan con comunidades afectadas por los sistemas algorítmicos (por ejemplo, en materia de justicia racial, derechos de las personas con discapacidad, derechos de las personas migrantes, derechos de las personas LGBTQ, derechos de las mujeres y la infancia).
• Políticos relevantes.
• Graduados sociales.
• Personal académico y experto en la materia.
• Prestatarios de servicios y profesionales (por ejemplo, trabajadores sociales).
• Tecnólogos con conocimientos sobre el funcionamiento de los sistemas de toma de decisiones automatizada.
• Funcionarios del ámbito nacional y local.
• Funcionarios de la Defensoría del Pueblo pertinentes (autoridades de protección de datos).

En este capítulo se describen los marcos y las consideraciones éticas que pueden resultar útiles a lo largo de la vida útil de un proyecto.

Garantizar una participación significativa de la comunidad a lo largo de todo el proyecto

Para las organizaciones internacionales y de mayor tamaño, que pueden contar con una mayor dotación de recursos, es fundamental incorporar enfoques participativos a lo largo de todo el proyecto, así como establecer y mantener relaciones con las organizaciones comunitarias durante un largo periodo.

Tras una fase de evaluación del alcance, el equipo de investigación debe asegurarse de que se efectúan consultas periódicas y, cuando sea necesario, dejar espacio para remodelar el proyecto de acuerdo con las necesidades de las comunidades afectadas.

Además de garantizar que el trabajo refleje las necesidades de las comunidades afectadas, el uso de metodologías participativas puede facilitar la comunicación de la investigación técnica. La posibilidad de destacar historias y experiencias personales aporta un rostro humano a cuestiones que pueden ser técnicas y complejas.

Una vez publicados, los resultados de la investigación deben ponerse a disposición de las comunidades afectadas. Para ello, es necesario garantizar que los resultados se traduzcan al idioma más hablado por la comunidad afectada y, en la medida de lo posible, hacerlos accesibles a un público diverso. Algunas opciones serían utilizar versiones de“lectura fácil” de los informes, producir vídeos explicativos o presentar los resultados de la investigación a las comunidades afectadas. Cuanto más lideren el proyecto las comunidades afectadas, más fácil será comunicarles los resultados y debatirlos con ellas.

El trabajo con las comunidades afectadas no debe finalizar con la publicación de la investigación, sino integrarse en los objetivos futuros de trabajo de incidencia y campaña. De este modo, es posible establecer una colaboración significativa y a largo plazo que aporte un cambio tangible a las comunidades afectadas.

Adoptar una perspectiva antidiscriminatoria e interseccional en la investigación

Las metodologías participativas deben integrar la justicia racial y la lucha contra la discriminación en la estrategia. Para lograrlo es necesario garantizar que las voces de los grupos marginados sean fundamentales en el trabajo y que las organizaciones que representan a estos grupos participen cuando se trabaje con grupos de base. Mientras desarrolla su investigación, intente entrevistar a personas y grupos con identidades diversas en función de la raza, la nacionalidad, la etnia, la religión, el género, la geografía, la discapacidad, la edad y la clase social.

Es probable que cada proyecto de investigación ponga de relieve daños de los sistemas algorítmicos que afectan de manera desproporcionada a determinados grupos sociales, por lo que es importante garantizar que las experiencias de estos grupos no sólo ocupen un lugar central en el informe, sino también en la metodología de investigación, adoptando enfoques participativos y sensibles al trauma. A fin de garantizar una participación significativa en la investigación, se debe disponer de intérpretes en los idiomas pertinentes, siempre que sea posible.

La interseccionalidad es un marco para examinar cómo se superponen e interactúan diferentes formas de discriminación para crear una experiencia singular y agravada de opresión. Adoptar un enfoque interseccional de los derechos humanos ayuda a derribar las barreras entre las diferentes categorías de opresión o marginación y a mostrar cómo las diferentes categorías de identidad (incluidas el género, la orientación sexual, la raza, la clase social, la casta, la discapacidad, la situación migratoria, la religión, la etnia, la identidad indígena y otras) están intrínsecamente interconectadas. Esto, a su vez, permite comprender cómo se pueden abordar de manera más eficaz y holística los daños que sufre una persona o comunidad por su contexto particular.

La interseccionalidad es un marco fundamental para analizar los riesgos y las violaciones de derechos humanos que plantea la tecnología, ya que arroja luz sobre las formas en que diferentes personas se ven excluidas del acceso a servicios vitales o se enfrentan a daños interrelacionados derivados de los sistemas algorítmicos. Por ejemplo, un sistema algorítmico puede tener sesgos de género, raza y discapacidad, y su análisis debe captar cómo los daños que produce se agravan contra grupos específicos (por ejemplo, las mujeres de color con discapacidad). En última instancia, un enfoque interseccional de la tecnología y los derechos humanos es esencial para elaborar estrategias que permitan reparar y resarcir a las comunidades afectadas por las violaciones de derechos humanos que la tecnología ha hecho posibles.

---

Establecer compromisos compartidos en su equipo de proyecto o investigación cuando colabore para llevar a cabo un trabajo de cambio

El éxito de su trabajo de cambio dependerá en gran medida de los principios fundamentales que establezca para llevarlo a cabo. Dado que el objetivo último de cualquier cambio en el ámbito de las tecnologías digitales es servir a las personas y comunidades que corren un mayor riesgo de ser marginadas y dañadas por las tecnologías digitales, incluso por la falta de acceso a herramientas digitales cuando éstas pueden apoyar la realización de sus derechos, es importante que su trabajo para el cambio se base en los siguientes principios:

• Está dirigido localmente: las necesidades y prioridades de las comunidades afectadas guían su trabajo.
• Da prioridad a las comunidades que corren mayor riesgo de marginación y daño por las tecnologías digitales.
• Es interseccional: su trabajo va más allá de los síntomas y examina cuestiones estructurales y sistémicas que provocan daños interrelacionados. Reconoce y aborda las diferentes manifestaciones del daño tecnológico en las personas y comunidades que sufren marginación por múltiples características, antecedentes y experiencias que se entrecruzan.
• Da prioridad a la alianza, la solidaridad y el trabajo colaborativo con la comunidad y los movimientos de base: puede hacerlo apoyando y promoviendo el trabajo desarrollado por organizaciones con menos recursos y haciéndose visible en las situaciones y modos que mejor puedan servir a las personas y comunidades afectadas por las tecnologías. También debe ser consciente de las posibles limitaciones de sus conocimientos y confiar en la pericia de las comunidades afectadas, adquirida a través de la experiencia, a la hora de fijar posturas sobre el desarrollo y el uso de las tecnologías.
• Es accesible y comprensible para las personas y comunidades afectadas: puede garantizar la diversidad lingüística mediante servicios de traducción e interpretación, y proporcionar servicios de accesibilidad como subtítulos en directo durante las reuniones o resultados con un formato de lectura fácil.

---

Consideraciones de seguridad

Si bien este conjunto de herramientas proporciona muchas tácticas y técnicas para poner al descubierto e impugnar los sistemas, es fundamental dar prioridad a la seguridad y el bienestar de aquellas personas cuyos derechos buscamos defender, de nuestros colaboradores y colaboradoras, y del equipo de investigación, por encima de la revelación de información. El objetivo es tanto minimizar el riesgo de causar o agravar daños como garantizar que se lleven a cabo evaluaciones rigurosas de las consideraciones de seguridad.

Estos riesgos de seguridad pueden aumentar en cualquier paso del ciclo de vida del proyecto. Es posible que no todos los pasos sean adecuados en todos los contextos de seguridad, y cualquier plan de proyecto debe considerar cuidadosamente y mitigar los motivos de preocupación relacionados con la seguridad. Por ejemplo, en algunos casos, alertar a las autoridades sobre una posible investigación, o incluso solicitar información sobre sistemas algorítmicos, puede ser arriesgado.

Es fundamental dedicar tiempo a la planificación y la preparación para evaluar cuidadosamente los riesgos y los posibles beneficios tanto para las comunidades afectadas como para el equipo de investigación. Consideramos que el método más seguro para desarrollar estrategias de mitigación de riesgos es hacerlo en colaboración con las partes interesadas, apoyándose en sus conocimientos especializados. Es fundamental identificar y establecer mecanismos de derivación adecuados para apoyar a víctimas y sobrevivientes según sea necesario, y efectuar revisiones periódicas de los planes. No continúe con el proyecto si el riesgo de daño es demasiado alto y no se puede mitigar.

Para que las investigaciones sobre los sistemas algorítmicos lleguen a buen puerto, es necesario combinar información y pruebas procedentes de diversas fuentes. Los testimonios y las entrevistas con las personas afectadas deben ser el núcleo de cualquier investigación; sin embargo, también es fundamental tener acceso suficiente a la información sobre el sistema algorítmico en cuestión. El equipo de investigación suele encontrarse con grandes dificultades en este aspecto, ya que los organismos gubernamentales y las empresas privadas de todo el mundo suelen mostrarse reacios a conceder acceso a investigadores externos y a someterse a examen.

Este capítulo se centra en las diversas medidas que pueden tomar los equipos de investigación, tras identificar un sistema algorítmico concreto de interés, para tratar de recopilar información sobre él. En la práctica, muchas de las actividades que se describen a continuación pueden llevarse a cabo tanto durante la fase de evaluación del alcance como en el marco de la investigación principal.

Colaboración directa con autoridades gubernamentales

Aunque los organismos del sector público suelen ser opacos en cuanto al despliegue de sistemas algorítmicos, la colaboración directa con ellos debe ser el primer paso, siempre que las consideraciones de seguridad y el contexto de gobernanza lo permitan. Pese a que no todos los gobiernos estarán dispuestos o en condiciones de participar y revelar información, es importante que el equipo de investigación les dé la oportunidad de presentar su relato argumentado sobre la finalidad y la justificación del sistema algorítmico, ya que esto en sí mismo es esencial para examinar los fundamentos sociotécnicos del sistema y comprender los verdaderos motivos políticos que hay detrás de su uso. También brinda al equipo de investigación la oportunidad de someter el sistema a escrutinio y formular preguntas directas a quienes han gestionado su desarrollo y despliegue.

Como parte de la investigación de Amnistía Internacional sobre Udbetaling Danmark (UDK), el equipo de investigación llevó a cabo una serie de reuniones y entrevistas para debatir el uso de sistemas algorítmicos en los programas de protección social en Dinamarca, que se grabaron y utilizaron como prueba en el producto final de la investigación. Las primeras se centraron en la historia de la administración de la protección social en Dinamarca y las estructuras legales y de gobernanza que la sustentan, mientras que las segundas se centraron en los aspectos técnicos de la transformación digital de la administración pública y en un debate sobre los sistemas algorítmicos existentes.

Amnistía Internacional también propuso una auditoría colaborativa de los algoritmos de UDK, que posteriormente fue denegada; sin embargo, otras investigaciones, como las de Lighthouse Reports, han demostrado que especialistas externos y representantes públicos pueden colaborar satisfactoriamente para evaluar el impacto de los sistemas algorítmicos propuestos y aumentar la transparencia.

Solicitudes de información pública (y sus equivalentes)

La legislación sobre la libertad de información es un mecanismo fundamental a través del cual el equipo de investigación puede sortear la falta de información pública disponible sobre un sistema algorítmico. A diferencia del ejemplo de solicitud de información pública presentado en el capítulo de evaluación del alcance, se puede recurrir a solicitudes de este tipo centradas en un sistema algorítmico concreto para solicitar documentación, comunicaciones y otros recursos sobre aspectos específicos de ese sistema (por ejemplo, el diseño de un algoritmo, los datos explotados, la supervisión y la gobernanza).

Este proceso puede ser arduo. Aunque en muchos casos la legislación sobre el acceso a la información exige a los gobiernos que respondan en un plazo determinado (a menudo inferior a un mes), muchas investigaciones de éxito han requerido meses y, en ocasiones, años de idas y venidas con organismos del sector público, que se acogen a diversas exenciones para denegar las solicitudes de información adicional. Puede ser útil consultar los registros públicos de las solicitudes de información pública presentadas y sus respuestas para encontrar ejemplos de casos en los que otras personas hayan formulado preguntas sobre un sistema algorítmico de su interés. Por ejemplo, en Reino Unido, éstas se encuentran en un sitio web llamado What Do They Know? (¿Qué saben?)

Un informe reciente de Reino Unido analizó más de 50 solicitudes de información pública dirigidas al Departamento de Trabajo y Pensiones en relación con su uso de técnicas de análisis avanzado de datos. Aunque muchas se denegaron, gracias a ellas el equipo de investigación externo pudo hacerse una idea de varios sistemas algorítmicos implementados por dicho departamento, incluida información sobre su finalidad, desarrollo y procedimientos de supervisión y gobernanza.

Las solicitudes de información pública que se centran en un sistema algorítmico específico deben adaptarse al caso de uso concreto en cuestión. En general, intentarán obtener información sobre los tres pilares del sistema —documentación, código y datos— para evaluarlo técnicamente. Se adjunta una plantilla de solicitud de información pública, orientada a la consecución de información, documentación y correspondencia sobre:

• Documentación técnica, incluida la arquitectura del sistema o el diseño algorítmico.
• Información sobre los datos recopilados o explotados.
• Ejemplos de entradas y salidas del modelo.
• Evaluaciones de impacto en la protección de datos.
• Cualquier evaluación de impacto en la igualdad o los derechos humanos que se haya llevado a cabo.
• Cualquier prueba o evaluación del sistema para identificar riesgos y determinar las medidas de mitigación de sesgos adecuadas.
• Cualquier documentación sobre los controles adecuados de gobernanza de datos.

Los ejemplos de entradas y salidas del modelo y la documentación técnica (arquitectura del sistema o diseño algorítmico) son esenciales y constituyen el primer punto de referencia para cualquier investigación técnica. Contendrán información sobre el objetivo y las metas del modelo, junto con las variables y características que se utilizan. Pueden ser suficientes por sí mismos para ofrecer una visión técnica del sistema en cuestión.

Tenga en cuenta que la plantilla es larga y que las solicitudes de información pública pueden ser denegadas por considerar que llevaría demasiado tiempo localizar y recopilar la información solicitada. Recomendamos presentar una solicitud más breve o enviar la plantilla en varias veces.

Solicitudes de acceso de interesados (y sus equivalentes)

En algunas jurisdicciones, la legislación de protección de datos otorga a las personas el derecho a acceder a la información que una organización tiene sobre ellas y a saber cómo se procesa. Estas solicitudes se conocen como solicitudes de acceso de interesados y ayudan a las personas a comprender cómo y por qué una organización utiliza sus datos, así como a comprobar si lo hace de forma legal. En virtud de esta legislación, las organizaciones están obligadas a proporcionar información sobre:

• La confirmación de que tratan los datos personales de alguien.
• Copias de los datos personales que poseen.
• Explanations of:
  • Por qué los tratan.
  • Las categorías de datos implicadas.
  • Con quién los comparten.
  • Cuánto tiempo los conservan.
  • Los derechos del interesado a rectificar y suprimir sus datos personales.

Las solicitudes de acceso de interesados pueden constituir una herramienta de investigación útil para examinar los sistemas algorítmicos. Cuando se trabaja con personas que se sospecha que están sujetas a un sistema algorítmico por el que se ven afectadas, la presentación de una solicitud de acceso de interesados puede ser otra fuente de información sobre las entradas del sistema y su procesamiento de los datos. Las solicitudes de acceso de interesados pueden ser presentadas por una persona particular o una organización que actúe en su nombre. Si está pensando en trabajar con un particular para presentar una solicitud de acceso de interesados, es importante asegurarse de que la persona sabe qué es esta solicitud, en qué consiste el proceso de presentación y que está de acuerdo con todo lo que implica (incluido compartir una copia de los resultados con el equipo de investigación extenso).

Entrevistas a especialistas

Las entrevistas con especialistas en el ámbito en cuestión o en temas digitales y tecnológicos, especialmente si tienen conocimientos sobre el contexto geográfico, son esenciales para cualquier investigación. Es fundamental establecer relaciones con ellos, ya que pueden proporcionar valiosa información contextual y pistas que no siempre están disponibles en los registros públicos o en las fuentes en Internet. Identifique y entreviste a personal académico, analistas, profesionales y trabajadores de primera línea que tengan experiencia directa o un profundo conocimiento del ámbito (por ejemplo, la aplicación de la ley o la protección social), o del funcionamiento de la prestación y la administración de los servicios públicos locales.

Para ello, un buen punto de partida es buscar artículos académicos y de medios de comunicación pertinentes sobre el sistema algorítmico o el ámbito en cuestión, y ponerse en contacto con los autores y cualquier persona relevante que se cite en ellos. Del mismo modo, puede ser útil ponerse en contacto con organizaciones de la sociedad civil que trabajen en el ámbito de los derechos digitales u otras áreas pertinentes, pues pueden tener otros conocimientos no públicos sobre el sistema. Indique siempre claramente por qué se pone en contacto con ellos, el propósito de su proyecto y cómo podría beneficiarse de sus aportaciones. Después de entrevistar de manera formal o informal a especialistas relevantes, recuerde siempre preguntarles si hay otros contactos con los que le recomendarían hablar.

Fuentes de datos alternativas

La evaluación del impacto de un sistema algorítmico no requiere necesariamente revelar información del sector público. También es importante considerar fuentes de datos alternativas que puedan utilizarse para ello, especialmente en el ámbito del análisis de sesgos y discriminación (se ofrece más información al respecto en el capítulo “Auditoría del uso de algoritmos mediante investigaciones empíricas”).

Después de identificar un sistema algorítmico, considere los datos disponibles públicamente que puedan ser útiles para una investigación. Muchos Estados llevan registros públicos de ámbito nacional y regional, incluidos datos de encuestas sobre la prestación de servicios públicos. Del mismo modo, los organismos del sector público publican regularmente informes trimestrales o anuales que pueden ser valiosas fuentes de datos e información sobre los cambios en la prestación y el suministro de servicios.

Un punto de partida útil para el equipo de investigación es trazar un mapa de los datos y las pruebas del “escenario ideal” que requiere la investigación. A partir de ahí, el equipo de investigación puede intentar construirlo por sí mismo, triangulando la información disponible públicamente con solicitudes en virtud de la legislación sobre la libertad de información.

Cuando los sistemas algorítmicos son desarrollados por empresas privadas y adquiridos por organismos públicos, las solicitudes de información suelen ser denegadas invocando excepciones basadas en la titularidad privada de la información. En este caso, el equipo de investigación puede intentar crear conjuntos de datos que se centren en los resultados del sistema algorítmico, absteniéndose de solicitar información sobre su funcionamiento interno o su funcionalidad.

En la investigación de Lighthouse Reports sobre el organismo de seguridad social de Suecia, el equipo de investigación pudo obtener un conjunto de datos a tal efecto, cuyos detalles se hallan en el capítulo “Auditoría del uso de algoritmos mediante investigaciones empíricas”.

Investigación sobre la adquisición y análisis de la cadena de suministro

Los sistemas algorítmicos se basan en cadenas de suministro complejas, cada una de las cuales está compuesta por una red de actores responsables de los distintos aspectos del entrenamiento y el desarrollo del sistema. Estos diferentes actores suelen estar vinculados entre sí por flujos de datos y, juntos, producen la funcionalidad de la tecnología. Por ejemplo, un fabricante de hardware informático puede suministrar servidores a un proveedor de servicios en la nube para construir centros de datos. A su vez, el proveedor de servicios en la nube puede alquilar espacio en el servidor a una empresa de IA que desee desarrollar y desplegar un producto de IA. El proveedor de servicios en la nube también puede ofrecer interfaces de programación de aplicaciones (API) que permiten a la empresa de IA crear partes de su producto con código previamente desarrollado.

La empresa privada puede proporcionar su producto concreto —por ejemplo, un sistema avanzado de detección del fraude— a los organismos encargados de hacer cumplir la ley, o incluso a proveedores de seguros o servicios sanitarios, bajo el pretexto de aumentar la eficacia de su trabajo. Si la implementación de la IA, por ejemplo, condujera a la discriminación continua de los derechos de algunos grupos sobre otros, tendría implicaciones para toda la cadena de suministro. En virtud de los Principios Rectores sobre las Empresas y los Derechos Humanos, de la ONU, las empresas deben garantizar que se lleve a cabo la diligencia debida en materia de derechos humanos para identificar los daños que puedan aparecer en cualquier etapa de la cadena de suministro o del ciclo de vida del producto, y proporcionar medidas de mitigación y reparación cuando se identifiquen y sean aplicables.

Trazar un mapa de toda la cadena de suministro puede resultar difícil en el caso de las tecnologías desplegadas por el Estado que son desarrolladas o diseñadas por empresas privadas, o adquiridas directamente a ellas, y no es necesario en todos los procesos de rendición de cuentas sobre el uso de algoritmos. Sin embargo, puede ser útil investigar la cadena de suministro para determinar con precisión dónde recae la responsabilidad de las violaciones de derechos humanos y también encontrar nuevas vías para generar cambios, como ejercer presión externa en las empresas privadas responsables.

La adquisición de sistemas tecnológicos a empresas privadas limita los poderes de las solicitudes de información; sin embargo, ofrece otras oportunidades para descubrir información sobre un sistema tecnológico, a saber:

• Anuncios de licitaciones y solicitudes de propuestas: los Estados suelen estar obligados a publicar en sus sitios web licitaciones competitivas u ofertas para proyectos de contratación pública. Acceda y analice las propuestas y los documentos contractuales para trazar un mapa de las empresas con las que contrata el gobierno para adquirir tecnologías digitales.
• Estrategias publicadas: los organismos gubernamentales divulgan periódicamente estrategias públicas que detallan los planes de transformación digital. A menudo se trata de documentos muy extensos, pero muy valiosos para identificar la estrategia general y los principales actores involucrados.
• Acuerdos de préstamo o memorandos de entendimiento con actores internacionales: puede ocurrir que el despliegue de nuevos sistemas tecnológicos forme parte de una estrategia de desarrollo a largo plazo diseñada con organizaciones internacionales (como el Banco Mundial). El análisis de los acuerdos de préstamo o memorandos de entendimiento que puedan existir con actores internacionales puede ofrecer percepciones valiosas y, como mínimo, proporcionar información contextual importante.
• Información pública y solicitud de demostraciones: las empresas privadas comercializan sus tecnologías digitales públicamente; analice sus materiales publicitarios para comprender mejor su oferta de productos y profundice en sus informes periódicos para conocer sus operaciones comerciales. Siempre que sea posible, intente solicitar una demostración de sus productos.
• Búsqueda de empresas y anuncios de empleo: utilice mecanismos para hallar información sobre empresas privadas. La búsqueda de empresas le permite consultar la información oficial sobre una empresa que figura en cualquier base de datos del registro mercantil. Considere la posibilidad de recopilar los anuncios de empleo publicados por la empresa para comprender mejor su organigrama.
• Cartas de investigación: aunque no están sujetas a la legislación sobre la libertad de información, puede escribir cartas para formular preguntas a empresas privadas sobre sus actividades comerciales, la prestación de servicios y la diligencia debida en materia de derechos humanos. Cuando mencione a empresas privadas en cualquier publicación, concédales siempre el derecho a responder a las declaraciones que haga y las pruebas que aporte en relación con su implicación en riesgos o violaciones de derechos humanos.

La utilización del marco jurídico internacional de los derechos humanos permite situar los daños causados por los sistemas digitales en un lenguaje claro en materia de derechos humanos y abre la posibilidad de interpelar a los Estados sobre la base de disposiciones jurídicas vinculantes de las que son parte. Cuando los Estados utilizan sistemas de IA en la prestación de servicios, ponen en riesgo una amplia gama de derechos humanos. En este capítulo se describen algunos de ellos, junto con varios estudios de casos.

En este capítulo se presenta una lista no exhaustiva de métodos de investigación de derechos humanos que pueden ser útiles a la hora de abordar los sistemas algorítmicos. A continuación, se analizan los riesgos y violaciones de derechos humanos más habituales que causan los sistemas algorítmicos, junto con estudios de casos.

Métodos de investigación de derechos humanos y fuentes de datos

Llevar a cabo una investigación de derechos humanos sobre un sistema algorítmico requiere una comprensión profunda, multifacética y contextual de las complejas cuestiones que rodean el impacto que tiene el uso de algoritmos del sector público en los derechos de las personas, incluida la política del sistema. Algunos de los métodos disponibles y las posibles fuentes de datos primarios y secundarios son:

• Testimonios y grupos de enfoque con las comunidades afectadas: las pruebas testimoniales son el núcleo de las investigaciones sobre derechos humanos. Organizar entrevistas o grupos de enfoque con las personas y comunidades afectadas constituye la columna vertebral de cualquier prueba de daños de los sistemas algorítmicos. Todo ello puede combinarse con métodos participativos, o también implementarse de manera que las comunidades puedan llevar a cabo sus propias investigaciones entre pares.
  
  
• Análisis jurídico: el análisis de los instrumentos y normas internacionales de derecho internacional de los derechos humanos pertinentes, los informes y estudios pertinentes de la ONU, las interpretaciones nacionales de las normas internacionales y el análisis de la legislación local que rige los organismos del sector público que utilizan el sistema algorítmico (como los encargados de aplicar la ley o de la protección social). Otras fuentes de datos pueden ser las transcripciones de los tribunales y de las decisiones de los organismos de igualdad y defensores del pueblo.
  
  
• Análisis del discurso: el análisis del entorno sociopolítico en el que se implementa el sistema algorítmico. Considere la posibilidad de examinar la cobertura mediática del tema, las entrevistas concedidas por autoridades gubernamentales a los medios de comunicación, los documentos de política gubernamental y las declaraciones oficiales. Entreviste a personas que trabajen en temas de justicia social en el plano local para comprender el contexto.
  
  
• Datos de encuestas: considere la posibilidad de llevar a cabo encuestas breves a personas sujetas a la tecnología o al sistema. En la investigación de Amnistía Internacional sobre el uso de la tecnología por parte del gobierno de Reino Unido en la protección social, se utilizaron encuestas para comprender las experiencias de los solicitantes de prestaciones sociales.
  
  

Fuentes del derecho de los derechos humanos

Aunque los derechos humanos pueden tener varias bases en el derecho internacional, la mayoría se reflejan en tratados internacionales y regionales, que son vinculantes para los Estados que son parte en ellos.

En el ámbito internacional, incluyen:

• el Pacto Internacional de Derechos Civiles y Políticos (PIDCP),
• el Pacto Internacional de Derechos Económicos, Sociales y Culturales (PIDESC),
• la Convención Internacional sobre la Eliminación de todas las Formas de Discriminación Racial (ICERD),
• la Convención sobre la Eliminación de Todas las Formas de Discriminación contra la Mujer (CEDAW),
• la Convención sobre los Derechos del Niño (CDN)
• y la Convención sobre los Derechos de las Personas con Discapacidad (CRPD).

La información sobre si un Estado concreto es parte en un tratado específico se puede encontrar en Internet.

El significado práctico de estos derechos evoluciona con el tiempo, por lo que se debe hacer referencia a formas de “derecho indicativo” que puedan ayudar en esta interpretación. Entre las fuentes de derecho indicativo se incluyen las resoluciones y declaraciones de los órganos de la ONU y los informes de mecanismos expertos, entre ellos las Observaciones generales y otros trabajos de los Órganos creados en virtud de tratados encargados de interpretar tratados específicos, y los informes de los titulares de mandatos temáticos de la ONU (“procedimientos especiales”).

Muchos Estados también están obligados por tratados regionales de derechos humanos. Entre ellos figuran la Convención Americana sobre Derechos Humanos (en el sistema interamericano) y la Carta Africana de Derechos Humanos y de los Pueblos (en el sistema africano de derechos humanos), así como la Carta de los Derechos Fundamentales de la Unión Europea y el Convenio Europeo de Derechos Humanos, (en los sistemas de la Unión Europea y del Consejo de Europa, respectivamente). Los tribunales regionales y los órganos creados en virtud de tratados, como la Comisión y la Corte Interamericanas de Derechos Humanos, la Corte Africana de Derechos Humanos y de los Pueblos, el Tribunal de Justicia de la Unión Europea y el Tribunal Europeo de Derechos Humanos examinan casos y dictan sentencias en las que interpretan la aplicación de estas normas; los sistemas regionales también suelen tener sus propios titulares de mandatos temáticos. Los tribunales subregionales, como el Tribunal de Justicia de África Oriental o el Tribunal de Justicia de la CEDEAO, también pueden dictar sentencias en las que interpretan los tratados regionales.

Más allá de los tratados de derechos humanos, los tratados y reglamentos internacionales o regionales sobre protección de datos también pueden contener salvaguardias pertinentes. Entre ellos figuran el Convenio para la protección de las personas con respecto al tratamiento de datos personales (“Convenio 108+”, abierto a la firma de países no miembros del Consejo de Europa), la Convención Africana sobre Ciberseguridad y Protección de Datos Personales y el Reglamento General de Protección de Datos (RGPD) de la UE.

Además, los derechos humanos están —o deberían estar— protegidos por la legislación nacional, incluidas las decisiones de los tribunales nacionales.

Derecho a la intimidad

El derecho a la intimidad es un derecho garantizado por el Pacto Internacional de Derechos Civiles y Políticos, un tratado fundamental y vinculante en materia de derechos humanos que han ratificado 174 de los 193 Estados miembros de la ONU, así como por tratados regionales y la legislación nacional de muchos Estados. Para cumplir la legislación y las normas en materia de derechos humanos, las restricciones al derecho a la intimidad deben ajustarse al principio de legalidad, servir a un objetivo legítimo y ser necesarias y proporcionadas a dicho objetivo.

Las estrategias utilizadas para detectar el fraude en los Estados del bienestar digitales pueden socavar el derecho a la intimidad. Los Estados del bienestar digitales a menudo requieren fusionar múltiples bases de datos gubernamentales para detectar posibles fraudes dentro del sistema de bienestar. A menudo, ello supone la extracción y el tratamiento a gran escala de datos personales, lo que socava el derecho a la intimidad. Algunos sistemas de bienestar utilizan tanto el tratamiento de datos personales como formas “analógicas” de vigilancia, como pedir a vecinos y amigos que denuncien a personas sospechosas de cometer fraude en las prestaciones sociales. Todo ello agrava aún más la violación del derecho a la intimidad. Esta vigilancia analógica y digital combinada demuestra la importancia de adoptar un enfoque holístico en la investigación sobre derechos humanos.

Estudio de caso: Dinamarca

La investigación de Amnistía Internacional sobre el sistema de prestaciones sociales de Dinamarca, administrado por la autoridad pública Udbetaling Danmark (UDK, o Pay Out Denmark) y la empresa Arbejdsmarkedets Tillægspension (ATP), demuestra la vigilancia generalizada en el sistema de bienestar social y socava el derecho a la intimidad.

La investigación reveló que el gobierno danés aplicó una legislación que permite la extracción y el tratamiento a gran escala de los datos personales de los beneficiarios de prestaciones sociales con fines de detección de fraudes. Ello incluye permitir la fusión de bases de datos gubernamentales y el uso de algoritmos de control del fraude en estos datos, así como el uso no regulado de las redes sociales y, según informes, el uso de datos de geolocalización para investigaciones de fraude. Son datos de la población residente que recibe prestaciones y de los miembros de sus hogares, y se recopilan sin su consentimiento. Esta recopilación y fusión de grandes cantidades de datos personales contenidos en las bases de datos gubernamentales obliga a los beneficiarios de prestaciones sociales a renunciar a su derecho a la intimidad y a la protección de datos. La recopilación y el procesamiento de grandes cantidades de datos —incluidos datos sensibles que contienen características que podrían revelar la raza y el origen étnico, la salud, la discapacidad o la orientación sexual— y el uso de las redes sociales son métodos muy invasivos y desproporcionados para detectar el fraude. Además, la investigación de Amnistía Internacional reveló que el uso de estos datos solo originó el 30% de las investigaciones de fraude, lo que suscita dudas sobre la necesidad de procesarlos.

Los solicitantes y beneficiarios de prestaciones también están sujetos a formas “tradicionales” o “analógicas” de vigilancia y control con fines de detección del fraude. Estos métodos incluyen la reevaluación persistente por parte de los municipios del cumplimiento de los requisitos, casos o informes de control del fraude de otras autoridades públicas, incluidas las fiscales y policiales, y denuncias anónimas de miembros del público. Cuando se combinan con métodos de examen digital excesivamente amplios, estas formas analógicas de control y vigilancia crean un sistema de vigilancia pernicioso que entra en conflicto con el derecho a la intimidad.

Derecho a la igualdad y a la no discriminación

El derecho a la no discriminación y el derecho a la igualdad son derechos garantizados por el Pacto Internacional de Derechos Civiles y Políticos (PIDCP), así como por la mayoría de los demás tratados internacionales y regionales, y por la legislación nacional de la mayoría de los Estados. El Comité de Derechos Humanos (CCRP) de la ONU define la discriminación como “toda distinción, exclusión, restricción o preferencia que se basen en determinados motivos, como la raza, el color, el sexo, el idioma, la religión, la opinión política o de otra índole, el origen nacional o social, la posición económica, el nacimiento o cualquier otra condición social, y que tengan por objeto o por resultado anular o menoscabar el reconocimiento, goce o ejercicio, en condiciones de igualdad, de los derechos humanos y libertades fundamentales de todas las personas”. El PIDCP establece que “todas las personas son iguales ante la ley” y que la ley “prohibirá toda discriminación y garantizará a todas las personas protección igual y efectiva contra cualquier discriminación por motivos de raza, color, sexo, idioma, religión, opiniones políticas o de cualquier índole, origen nacional o social, posición económica, nacimiento o cualquier otra condición social”.

La digitalización y la introducción de la automatización y la toma de decisiones algorítmica pueden tener un impacto negativo desproporcionado en determinadas comunidades, lo que da lugar a una violación de los derechos a la igualdad y la no discriminación. Como ha señalado el relator especial de la ONU sobre el racismo, los sistemas de IA pueden dar lugar a discriminación cuando se utilizan para clasificar, diferenciar, jerarquizar y categorizar, ya que “reproducen los sesgos incorporados en los conjuntos de datos a gran escala capaces de imitar y reproducir los sesgos implícitos de los humanos, incluso en ausencia de reglas algorítmicas explícitas que generen estereotipos”. El relator especial afirmó que las tecnologías digitales “pueden combinarse de manera intencional y no intencional para generar estructuras racialmente discriminatorias que socavan de manera holística o sistemática el disfrute de los derechos humanos de determinados grupos, por motivos de raza, etnia u origen nacional, solos o en combinación con otros motivos. […] las tecnologías digitales [son] capaces de crear y mantener la exclusión racial y étnica en términos sistémicos o estructurales”. El relator especial pidió a los Estados “abordar no solo el racismo y la intolerancia explícitos en el uso y diseño de las tecnologías digitales emergentes, sino también, y con la misma seriedad, las formas indirectas y estructurales de discriminación racial que se derivan del diseño y uso de dichas tecnologías”.

En general, el uso de la IA y los sistemas automatizados de toma de decisiones en la distribución de la seguridad social puede afianzar las prácticas discriminatorias hacia grupos ya marginados.

En el contexto de la IA y la toma de decisiones algorítmica, es especialmente importante señalar la distinción entre discriminación directa e indirecta.

• La discriminación directa se produce cuando se establece una distinción explícita entre grupos de personas que da lugar a que las personas de algunos grupos tengan menos capacidad que otras para ejercer sus derechos. Por ejemplo, una ley que exija a las mujeres, y no a los hombres, presentar pruebas de un determinado nivel de estudios como requisito previo para votar constituiría una discriminación directa.
  
• La discriminación indirecta se produce cuando una ley, política o trato se presenta en términos neutros (es decir, sin distinciones explícitas), pero perjudica de manera desproporcionada a uno o varios grupos específicos. Por ejemplo, una ley que exige a todo el mundo presentar una prueba de un determinado nivel de estudios como requisito previo para votar tiene un efecto indirectamente discriminatorio sobre cualquier grupo que tenga menos probabilidades de disponer de una prueba de estudios de ese nivel (como los grupos étnicos u otros grupos sociales desfavorecidos, las mujeres u otros, según proceda).

Sin embargo, algunos sistemas algorítmicos han incluido características protegidas que hacen que el sistema discrimine directamente entre grupos de personas. Se ha descubierto que otros discriminan indirectamente, a menudo mediante la inclusión de entradas proxy.

Un proxy es una entrada o variable, como una cualidad individual que define a los seres humanos, que utiliza un sistema de IA para establecer distinciones entre personas o grupos sociales. Un proxy puede parecer un dato inocuo que se incluye en un algoritmo. Sin embargo, cuando se correlaciona directa o indirectamente con una característica protegida —como el género, la edad, la raza o la etnia—, da lugar a que el sistema de IA genere decisiones sesgadas. Por ejemplo, cuando se incluye en un algoritmo un dato como el código postal, a menudo se correlaciona con el estatus socioeconómico y la raza, y se convierte en un indicador indirecto —o proxy— de éstos. Por lo tanto, puede discriminar indirectamente a determinados grupos raciales o étnicos debido a la segregación residencial histórica.

---

Estudio de caso: Serbia

La ley de la tarjeta social entró en vigor en marzo de 2022 e introdujo la automatización en el proceso de determinación de la elegibilidad de las personas para diversos programas de asistencia social. Una de las piedras angulares de la ley de la tarjeta social es el registro de la tarjeta social, un sistema de información completo y centralizado que utiliza la automatización para consolidar los datos personales de los solicitantes y beneficiarios de asistencia social procedentes de diversas bases de datos oficiales del gobierno.

La introducción de la ley de la tarjeta social y el registro de la tarjeta social no pueden aislarse de los contextos sociales e históricos en los que se integran. Si bien las leyes de Serbia, incluida la ley de la tarjeta social, garantizan la igualdad formal de todas las personas, la aplicación práctica de la ley de la tarjeta social y el registro de la tarjeta social no proporciona una igualdad sustantiva o de facto.

Las lagunas y los desequilibrios en los datos procesados por sistemas automatizados o semiautomatizados pueden dar lugar a discriminación. Una trabajadora social comunicó a Amnistía Internacional que, antes de la introducción del registro de la tarjeta social, y especialmente cuando se trabajaba con comunidades marginadas como la romaní, los equipos de trabajo social sabían que algunos datos eran inexactos o estaban desactualizados. Por ejemplo, varios coches registrados a nombre de una persona que vivía en la pobreza extrema no se consideraban activos importantes para tener derecho a la asistencia social, sino que se entendía que eran vehículos vendidos como chatarra o que ya no existían.

El Ministerio de Trabajo de Serbia insistió en que las leyes que regulan la seguridad social —incluida la ley de la tarjeta social— no trataran de manera diferente a los romaníes ni a ningún otro grupo marginado. El Ministerio también afirma que tiene el derecho legítimo de utilizar “datos veraces y precisos que son necesarios para el disfrute de los derechos de seguridad social”. El Ministerio no reconoció el hecho de que los conjuntos de datos aparentemente inocuos y objetivos que se utilizan como indicadores de la situación socioeconómica a menudo ignoran el contexto específico de marginación de una comunidad, como sus condiciones de vida, las barreras al empleo y sus necesidades particulares.

Debido al contexto histórico y estructural de Serbia, muchas personas de entornos marginados tienen niveles de alfabetización básica y alfabetización digital persistentemente bajos. Por lo tanto, se enfrentan a dificultades a la hora de interactuar con los departamentos administrativos para mantener al día su documentación o para apelar su expulsión del sistema de asistencia social. En este sentido, el registro de la tarjeta social representa otra barrera más para acceder a la asistencia social, lo que puede equivaler a una discriminación indirecta.

La investigación de Amnistía Internacional reveló que el registro de la tarjeta social no estaba diseñado para tener en cuenta las dificultades y barreras a las que se enfrentan las comunidades que más dependen de la asistencia social, como los romaníes, las personas con discapacidad y las mujeres. Las mujeres, que están representadas en todos los grupos, tienen más probabilidades de recibir protección social y también pueden enfrentarse a barreras interseccionales adicionales para acceder a sus derechos.

---

Más allá de los derechos a la igualdad, la intimidad y la no discriminación

El uso de herramientas automatizadas en los Estados del bienestar puede tener un impacto claro en el derecho a la intimidad y el derecho a la no discriminación. Sin embargo, llevar nuestro análisis más allá de estos derechos puede proporcionar una comprensión más profunda sobre el modo en que estos sistemas afectan a las comunidades.

Derecho a la seguridad social y a un nivel de vida adecuado

El Pacto Internacional de Derechos Económicos, Sociales y Culturales (PIDESC) exige a los Estados que respeten, protejan y cumplan un conjunto más amplio de derechos humanos centrados en la necesidad de que los Estados velen por el bienestar y la prosperidad de sus poblaciones. Estos derechos también están protegidos por numerosos tratados regionales y por la legislación nacional de muchos Estados.

Las disposiciones clave del PIDESC pertinentes para los sistemas de bienestar automatizados son el derecho a la seguridad social y el derecho a un nivel de vida adecuado. El derecho a un nivel de vida adecuado incluye “alimentación, vestido y vivienda adecuados”; el incumplimiento de la obligación de proporcionar prestaciones de seguridad social pone en peligro la capacidad de satisfacer estas necesidades básicas. Por ejemplo, la automatización de las prestaciones sociales también puede reducir el acceso a las prestaciones relacionadas con la salud o la discapacidad, lo que puede tener un impacto directo en el derecho a un nivel de vida adecuado y el derecho a la salud.

Derecho a la libertad de reunión pacífica y de asociación

La sociedad civil lleva años advirtiendo de que los Estados disfrutan de una “edad de oro de la vigilancia”, ya que cada vez más aspectos de nuestra vida —tanto en Internet como en el mundo físico— son accesibles a una creciente gama de nuevas herramientas diseñadas para rastrearnos. Amnistía Internacional ha documentado numerosos tipos de tecnología cuyo uso afecta a los derechos humanos, en particular los derechos a la libertad de reunión pacífica y de asociación, que están protegidos por los artículos 21 y 22 del PIDCP, así como por la CDN, la CRPD y numerosos tratados regionales, además de la legislación nacional de muchos Estados.

El uso de la tecnología de reconocimiento facial, que es fundamentalmente incompatible con los derechos humanos, se está convirtiendo en algo preocupantemente habitual. Amnistía Internacional ha documentado abusos relacionados con esta tecnología en el Territorio Palestino Ocupado, Hyderabad y Nueva York. En Francia, las autoridades propusieron un sistema de videovigilancia basado en la inteligencia artificial en vísperas de los Juegos Olímpicos de París. En Países Bajos, el uso insuficientemente regulado de cámaras en manifestaciones pacíficas y la falta de transparencia que lleva aparejado han creado un efecto disuasorio en torno al ejercicio del derecho de manifestación. En Hungría, los cambios jurídicos que permiten el uso de la tecnología de reconocimiento facial para vigilar, entre otras cosas, las marchas del Orgullo, son un motivo de preocupación grave.

El uso y abuso de estas herramientas tiene efectos especialmente perjudiciales para las comunidades marginadas. Las personas migrantes, en particular, suelen quedar excluidas de las protecciones normativas y ser tratadas como “campos de pruebas” de tecnologías controvertidas, incluidas las de identificación biométrica. La precaria situación de la población migrante puede llevarla a ser objeto de persecución por ejercer su derecho a la protesta, protegido por la ley, incluso mediante el uso de software de vigilancia y monitorización de las redes sociales, como ha destacado Amnistía Internacional en Estados Unidos.

Este capítulo se centrará en las “investigaciones empíricas” de los sistemas algorítmicos, término que utilizamos para referirnos a las pruebas de los sistemas algorítmicos mediante la experimentación y los datos estadísticos. Existen diferentes métodos y enfoques para hacerlo, que a menudo se engloban bajo el término genérico de “auditoría algorítmica”.

Los enfoques de auditoría algorítmica tienen sus raíces en los enfoques tradicionales de auditoría de las ciencias sociales, que suelen utilizarse para estudiar la discriminación racial y de género en situaciones reales (como las solicitudes de empleo o de alquiler de propiedades). La auditoría algorítmica se ha convertido en un método de investigación técnica omnipresente para diagnosticar comportamientos problemáticos dentro de los sistemas algorítmicos. Se trata de un término genérico que engloba una serie de enfoques para evaluar los sistemas algorítmicos, desde la comprobación de la documentación de gobernanza hasta la prueba de los resultados y el impacto de un algoritmo, pasando por la inspección de su funcionamiento interno. La premisa básica de cualquier auditoría es intentar supervisar los resultados de un algoritmo y, a continuación, relacionarlos con los datos introducidos para obtener una visión general del funcionamiento del algoritmo.

Las auditorías algorítmicas nos permiten comprender mejor:

• El sesgo o la discriminación sistemáticos contra determinados grupos y la forma en que las desigualdades estructurales existentes pueden automatizarse, especialmente en el caso de las personas con identidades interseccionales.
• La escala a la que opera un sistema.
• Los factores subyacentes en el diseño algorítmico, su implementación o el uso y la recopilación de datos que causan daño, y las suposiciones (a menudo políticas o sociales) que se aplican durante la implementación.
• Cómo funciona internamente el algoritmo.

Los algoritmos del sector público difieren en complejidad, ya que algunos utilizan enfoques de aprendizaje automático para hacer predicciones y clasificaciones prospectivas sobre las personas, mientras que otros son sistemas automatizados que toman decisiones basadas en un conjunto de reglas predeterminadas. Por lo tanto, el enfoque de la auditoría debe reflejar este grado de complejidad, ya que algunos sistemas requieren un ejercicio muy técnico (que puede intentar aplicar ingeniería inversa a un algoritmo basándose en información y datos conocidos), mientras que otros requieren un enfoque menos complejo (por ejemplo, evaluar la información disponible públicamente para encontrar pruebas de impactos diferenciales entre grupos).

La mayoría de los enfoques de auditoría algorítmica requieren un nivel de conocimientos técnicos que incluye una base sólida en aprendizaje automático y estadística, además de algunos conocimientos en lenguajes de programación como Python o R. Entendemos que no todas las organizaciones que trabajan en cuestiones de rendición de cuentas sobre el uso de algoritmos disponen de estos conocimientos, pero hay tecnólogos y otras organizaciones (como Amnistía Internacional) a los que se puede recurrir para encontrar colaboradores en este ámbito.

En el siguiente apartado ofrecemos primero una breve descripción general de las pruebas de sesgo y equidad estadísticos y, a continuación, presentamos diversos enfoques que se han adoptado en diferentes escenarios, en función del nivel de acceso y de la información que el equipo de investigación ha conseguido obtener sobre un sistema algorítmico. Estos se dividen a grandes rasgos en dos tipos de auditorías:

1. “Caja blanca”: cuando se ha obtenido acceso suficiente al funcionamiento interno de un algoritmo a partir de la documentación, el código y los datos, de modo que se puede probar directamente o aplicar ingeniería inversa a partir de la información de que se dispone.
2. “Caja negra”: en la que no se le ha concedido acceso al funcionamiento interno, las entradas o el diseño de un algoritmo; sin embargo, se pueden hacer pruebas recopilando datos sobre su impacto.

Debate sobre el sesgo y la equidad estadísticos

Los debates sobre cómo abordar las pruebas para determinar si los sistemas algorítmicos son estadísticamente sesgados o poco equitativos cobraron impulso después de que el medio de investigación periodística estadounidense ProPublica publicara Machine Bias en 2016. Machine Bias era una investigación sobre COMPAS —algoritmo utilizado en el sistema judicial de Estados Unidos para evaluar el riesgo de que una persona cometiera un delito en el futuro— cuyos resultados se utilizarían para tomar decisiones relativas a la libertad bajo fianza. La investigación reveló que COMPAS presentaba sesgos porque era más probable que etiquetara erróneamente como futuros delincuentes a las personas acusadas negras que a las blancas. Sin embargo, la empresa que había desarrollado el sistema COMPAS rechazó las conclusiones y cuestionó la métrica utilizada para medir el sesgo.

En los años transcurridos desde entonces, se han propuesto multitud de definiciones estadísticas de equidad para determinar si un algoritmo de aprendizaje automático tiene un sesgo contra determinados grupos. La idea central es comparar la precisión de las decisiones tomadas por un sistema algorítmico en diferentes grupos demográficos. Sin embargo, medir la “equidad” no es estrictamente una cuestión técnica, cualquier medida propuesta debe cuestionarse desde un marco jurídico, filosófico y sociológico. Las diferentes definiciones de equidad pueden tener diferentes implicaciones dependiendo de cómo, contra quién y en qué contexto se implemente el sistema algorítmico en cuestión, así como de la definición de discriminación en los diferentes sistemas jurídicos. En el ejemplo de las tecnologías de reconocimiento facial, además del importante trabajo efectuado para demostrar que los sistemas que la emplean son menos precisos en el caso de las personas de color, en cualquier medida de equidad debe evaluarse si los diferentes grupos demográficos son objeto de su uso por igual.

Al efectuar pruebas de sesgo o equidad estadísticos, dependiendo de los datos a los que tenga acceso vale la pena efectuar pruebas de diferentes tipos de equidad. Pueden realizarse en colaboración con organizaciones académicas, de la sociedad civil o periodísticas, si no se dispone de los conocimientos especializados necesarios. El estudio de la equidad es complejo, pero, a modo de aproximación inicial, ofrecemos una explicación general de qué son las pruebas de equidad estadística a fin de situarlas dentro de una investigación algorítmica más amplia. Tenga en cuenta que se trata sólo de una herramienta más del conjunto de herramientas de rendición de cuentas: en sí mismas, estas definiciones de equidad pueden ser informativas, pero limitadas. Aun cuando se cumpla una definición específica de equidad, es posible que siga existiendo discriminación. A continuación se enumeran algunas definiciones seleccionadas junto con ejemplos; sin embargo, puede encontrar un debate completo aquí y más detalles técnicos aquí.

1. Prueba de paridad demográfica

Hay paridad demográfica cuando la proporción de predicciones positivas es la misma en dos grupos. Superar la prueba de paridad demográfica sugiere que el sistema está funcionando “de manera equitativa”, según esta definición. Por ejemplo, en el contexto de un algoritmo de evaluación de riesgos como el descrito en la investigación de COMPAS, el sistema satisfaría la paridad demográfica si la proporción de personas a las que se les negó la libertad bajo fianza fuera igual en todos los grupos demográficos.

2. Prueba de paridad predictiva

Hay paridad predictiva cuando dos grupos tienen la misma precisión. En otras palabras, como porcentaje de predicciones positivas, tienen una proporción igual de predicciones correctas (verdaderos positivos). En el contexto de COMPAS, entre las personas que el sistema predice que son de “alto riesgo”, la paridad predictiva se satisfaría si la proporción de reincidentes fuera la misma en los diferentes grupos demográficos.

3. Prueba de tasa de error de falsos positivos

La prueba de tasa de error de falsos positivos se supera cuando la tasa de falsos positivos es la misma en dos grupos. En el contexto de COMPAS, la prueba de tasa de error de falsos positivos se superaría si, entre las personas que no reinciden, el sistema etiquetara incorrectamente como “de alto riesgo” a la misma proporción de ellas en los diferentes grupos demográficos.

Revisión de la documentación: cómo extraer información del material disponible

Como se explica en el capítulo sobre el acceso a la información, una prueba habitual que se solicita y obtiene a través de las solicitudes de acceso a información pública es la documentación interna relativa a un sistema algorítmico. La documentación sobre el sistema algorítmico suele ofrecer una descripción detallada de la arquitectura del sistema algorítmico, la fuente de datos (entradas), el diseño algorítmico y cualquier comprobación del sistema. Del mismo modo, como se indica en las plantillas de solicitud de información pública anteriores, solicite siempre cualquier información sobre sesgos o evaluaciones estadísticas del sistema que pueda haber efectuado internamente el organismo del sector público. La documentación suele venir censurada de una forma u otra. Algunos pasos que puede seguir cuando examine la documentación:

1. Elabore una lista de puntos que puede averiguar: Intente detallar qué datos y entradas se incluyen en el sistema algorítmico, cómo pueden haberse tratado los datos antes de su inclusión en el modelo, los modelos algorítmicos elegidos y su justificación, cuáles son los resultados propuestos del sistema y cómo se utilizan.
2. Examine críticamente las decisiones de diseño: el desarrollo y el diseño de sistemas algorítmicos requieren que el desarrollador tome una serie de decisiones valorativas, por ejemplo, sobre qué datos incluir y excluir y qué modelo concreto utilizar. No se trata de decisiones neutras, sino que pueden cuestionarse. Si forma parte del equipo de investigación sin formación técnica, póngase en contacto con especialistas en la materia para obtener asistencia.
3. Examine los campos censurados; no siempre se aplican correctamente, así que compruébelo.
4. Utilice esta información para formular preguntas de seguimiento; si tiene tiempo para presentar más solicitudes de acceso a información pública o entrevistar a autoridades gubernamentales, elabore preguntas técnicas más específicas basándose en la información que haya obtenido. Se adjuntan algunos ejemplos más arriba.
5. Corrobore esto con sus pruebas testimoniales, compruebe si la información técnica concuerda con las experiencias de las personas o comunidades afectadas. Cuando se utiliza la toma de decisiones algorítmica para evaluar riesgos o determinar el acceso a los servicios públicos, ¿existe una constante en cuanto a quiénes pueden quedar excluidos? ¿Cómo se compara este hecho con los datos incluidos en la documentación técnica que ha recibido?

SITUACIÓN 1: Acceso al código y a los datos: Prueba de estrés directa de un sistema

En circunstancias muy selectas, es posible que se le conceda acceso al conjunto completo de materiales necesarios para evaluar un sistema algorítmico. Lighthouse Reports logró alcanzar este nivel de acceso en su evaluación del algoritmo de bienestar del Ayuntamiento de Róterdam. Consiguieron acceder a:

• El código fuente utilizado para entrenar el modelo.
• La lista de variables y su importancia relativa.
• Las evaluaciones del rendimiento del modelo y el Manual de Róterdam para científicos de datos.
• La documentación sobre los datos utilizados por el modelo.
• El propio archivo del modelo de aprendizaje automático entrenado y los datos en bruto.

Este acceso les permitió probar directamente el rendimiento del modelo y efectuar pruebas de sesgo y equidad estadísticos. Puede encontrar una guía sobre su enfoque aquí.

SITUACIÓN 2: Acceso al código: Ingeniería inversa y simulaciones

Una situación más probable es que obtenga acceso a documentación censurada y, en determinados casos, al código fuente del sistema algorítmico. Este fue el caso de la investigación de Lighthouse Report sobre el despliegue por parte de la agencia de bienestar social francesa, la CNAF, de un algoritmo de puntuación del riesgo de fraude.

Este nivel de acceso permitió al equipo de investigación reconstruir el sistema algorítmico y efectuar pruebas estadísticas sobre su rendimiento. El equipo de investigación utilizó datos demográficos disponibles públicamente para ejecutar el modelo reconstruido y evaluar qué entradas tienen mayor impacto en los resultados. También crearon “perfiles” de diferentes beneficiarios de prestaciones sociales para ver qué personas corrían un riesgo especial de ser discriminadas por el sistema algorítmico. Puede encontrar la metodología completa aquí.

SITUACIÓN 3: Datos de resultados: pruebas sin acceso a los datos de entrada de un modelo

En muchos casos, es posible que no se le conceda acceso al código fuente ni a la información sobre los datos de entrada de un sistema algorítmico. Muchos Estados se han mostrado reacios a proporcionar estos detalles alegando que se trata de información sujeta a derechos de propiedad o que hacerlo reduciría la eficacia del sistema, ya que la gente tendría demasiada información sobre su funcionamiento.

Sin embargo, para eludir este problema, puede solicitar datos sobre los resultados y los productos del sistema algorítmico y efectuar pruebas de sesgo y equidad estadísticos con dichos datos. Este enfoque puede seguir proporcionando información fundamental sobre el impacto del sistema, aunque no desvele su funcionamiento interno. Por ejemplo, podrían solicitarse datos y desgloses sobre las decisiones que ha tomado un algoritmo de evaluación de riesgos. Para ello es preciso conocer dos datos clave:

1. Cómo toma el sistema algorítmico una decisión para determinados grupos demográficos y si estas decisiones son correctas.
2. Un grupo de comparación, por ejemplo, si se utilizó un enfoque de selección aleatoria en lugar del sistema algorítmico de toma de decisiones.

Este fue el enfoque adoptado en la investigación sobre el sistema algorítmico de la Agencia de Seguridad Social de Suecia, que puede consultarse aquí.

Este capítulo se centrará en las consideraciones clave para abordar el trabajo de incidencia y comunicaciones estratégicas, tanto a lo largo del ciclo de vida del proyecto como tras la publicación de cualquier investigación. Estas dos vías son clave para lograr un impacto continuo después de una investigación algorítmica, pero no son los únicos métodos disponibles y, en última instancia, deben guiarse por la estrategia de cambio determinada al comienzo del proyecto, después de la fase de evaluación del alcance.

Sugerimos tres pilares fundamentales para el enfoque orientado al cambio, que pueden adaptarse en función de las necesidades y prioridades contextuales.

1. Generar poder dentro y fuera de su organización

El primer paso para generar poder consiste en dotarse personalmente de los conocimientos especializados necesarios en torno a la cuestión que desea abordar, y hacer partícipes de ellos a la organización y a sus socios. Para ello, es necesario que centre su atención en reflexionar de forma colaborativa sobre el modo de utilizar los resultados de la investigación para alcanzar otros objetivos de los miembros de la coalición, con vistas a lograr un cambio en las cuestiones relacionadas con la justicia en el uso de algoritmos.

Basándose en la evaluación de las necesidades existentes, resulta útil desarrollar, compartir y distribuir documentos de orientación, resúmenes de políticas y talleres pertinentes. Es igualmente importante crear espacios para el intercambio de conocimientos y el apoyo entre pares. En la medida de lo posible, estos recursos y espacios deben estar disponibles y abiertos a las organizaciones asociadas y los activistas, y lo ideal es que se desarrollen de forma colectiva.

Esta colaboración también contribuirá a generar poder con las organizaciones asociadas, los activistas, y los movimientos de las personas y comunidades afectadas. Cada vez es más importante crear alianzas con organizaciones digitales y de derechos humanos, organizaciones comunitarias, movimientos sociales, ambientales, raciales, de migrantes, de género, de discapacidad, queer y de justicia interseccional, así como con la comunidad periodística, para hacer frente a los daños digitales y a los sistémicos más amplios. Este trabajo de coalición cruzada también es un reconocimiento del hecho de que los derechos y las tecnologías digitales no existen en una burbuja, sino que están integrados en estructuras más amplias de desigualdad, explotación y opresión.

2. Dar forma al relato (trabajo de comunicación)

Otro elemento esencial para el cambio es influir en las percepciones, los debates y los discursos públicos en torno a la tecnología, su valor y sus riesgos potenciales. La reflexión sobre este tema debe comenzar en la fase de evaluación del alcance del proyecto y revisarse periódicamente a lo largo de su ciclo de vida. Los relatos a favor de la innovación y en contra de la regulación, a menudo impulsados por la industria tecnológica, dominan actualmente los debates sobre la IA y la digitalización en los medios de comunicación convencionales y están configurando el desarrollo de políticas y la proliferación de los daños tecnológicos en un amplio ámbito de la vida pública.

Todo proyecto de investigación, campaña o incidencia se ve reforzado por una reflexión cuidadosa sobre su estrategia de comunicación y sus mensajes clave. Cualquier evidencia sobre los daños y riesgos de los sistemas algorítmicos y la automatización sirve para contrarrestar los discursos dominantes sobre los beneficios del desarrollo tecnológico y su implementación. A la hora de llevar a cabo su proyecto, algunas consideraciones útiles para la comunicación son:

• ¿Cómo puede contribuir el proyecto a satisfacer las necesidades de la comunidad local?
  • ¿Se centra el proyecto en la experiencia vivida por las personas afectadas? ¿De qué manera?¿Tienen sus mensajes clave suficientemente en cuenta el contexto local?
  • ¿Cómo se alinean sus mensajes clave con las demandas de la sociedad civil local y las organizaciones comunitarias?
• ¿Cómo puede contribuir el proyecto a desmitificar la tecnología en cuestión?
  • ¿Se puede explicar el proyecto en un lenguaje sencillo y sin tecnicismos?
  • ¿Se puede utilizar un gráfico o una ilustración para representar la tecnología?
• ¿Cómo puede el proyecto plantar cara a las narrativas y debates existentes en torno a la tecnología?
  • ¿Cómo puede el proyecto romper la falsa dicotomía entre innovación y regulación que se suele presentar?¿Qué visión positiva y afirmativa de los derechos presenta sobre el papel de la tecnología en la sociedad?
  • ¿Cómo sirven los mensajes clave del proyecto a las personas y comunidades afectadas por la tecnología en cuestión? ¿Cómo puede diseñarlos conjuntamente con las organizaciones asociadas?
• ¿Qué estrategias pueden usar en sus comunicaciones para llegar al máximo de personas e influir en el cambio?
  • ¿Hay eventos específicos pertinentes en torno a los cuales pueda publicar y que beneficien al proyecto?¿A qué otros idiomas puede traducir sus comunicaciones o comunicados de prensa clave?¿En qué plataformas de redes sociales puede promover el trabajo?
  • ¿Qué días de la semana son los mejores para obtener cobertura mediática? Evitar los días más tranquilos de la semana, como los lunes y los viernes, puede ser una regla general útil.

3. Influir en las políticas (trabajo de incidencia “tradicional”)

Mientras tanto, el trabajo constante de incidencia para lograr una regulación digital de obligado cumplimiento que respete los derechos es el tercer pilar esencial para lograr un cambio positivo. Este trabajo implica impulsar una mayor protección jurídica en las regulaciones nuevas o en desarrollo, procurar la derogación de las leyes injustas, exigir la aplicación efectiva de la legislación vigente y, cuando sea necesario, oponerse a su debilitamiento.

Participar en debates de coaliciones colaborativas en torno a la búsqueda de la justicia y la rendición de cuentas servirá, de partida, para establecer qué alcance y formato son los más adecuados para alcanzar los objetivos políticos acordados y necesarios. Por ejemplo, si el objetivo es influir y participar en negociaciones sobre política digital (como la regulación de la IA) o presionar a los actores públicos o privados para que dejen de utilizar una tecnología concreta, podría considerar la posibilidad de redactar un artículo más breve y contundente para llamar la atención del público sobre la cuestión, incluso mediante la colaboración con los medios de comunicación. Por el contrario, si su objetivo es un cambio a largo plazo, como cambiar la opinión pública sobre la IA o solicitar el establecimiento de un nuevo marco de gobernanza en torno a la IA, es posible que deba considerar un proyecto a más largo plazo con una recopilación exhaustiva de pruebas, una serie de talleres y una colaboración sostenida con organizaciones asociadas.

Del mismo modo, dado que los discursos sobre la tecnología pueden influir en la formulación de políticas públicas al respecto, los ejemplos de regulaciones eficaces que respetan los derechos pueden apoyar debates positivos y equilibrados sobre la tecnología y desacreditar discursos falaces, como la idea de que la regulación frena la innovación. El éxito en una ciudad o un país, o en relación con una regulación específica, también puede utilizarse como buena práctica para motivar una mayor regulación en otros lugares o en relación con otros aspectos del impacto tecnológico. El trabajo de incidencia centrado en el contexto local puede apoyarse en los marcos de derechos humanos y derechos digitales existentes a nivel regional o internacional (como las normativas digitales regionales o los marcos internacionales de derechos humanos).

Al pensar en un trabajo de incidencia específico relacionado con el desarrollo, el uso o la regulación de las tecnologías digitales, es útil hacerse las siguientes preguntas:

• Cuál es el resultado que le gustaría ver: ¿cuáles son sus objetivos de incidencia y los de sus organizaciones asociadas?
• ¿Qué mensajes clave desea promover para alcanzar esos objetivos? Pueden incluir recomendaciones de políticas públicas, así como establecer un discurso más amplio a través del trabajo de comunicación.
• ¿Cuál es la mejor manera de alcanzar sus objetivos? ¿Es a través de la colaboración directa con los responsables de políticas? ¿O mediante un trabajo más amplio de campaña y con los medios de comunicación para ejercer presión pública sobre las autoridades? A menudo puede ser por ambas vías.
• ¿Cuál es el contexto en el que trabaja? ¿Existe voluntad política por parte de quienes ostentan el poder para promulgar los cambios que reclama? ¿Cuál es el debate público en torno a la cuestión?
• ¿Cuáles son los plazos en los que trabaja? ¿Hay alguna fecha clave para ejercer influencia? ¿Existe un procedimiento establecido con plazos fijos para la toma de decisiones (como negociaciones en torno a una normativa concreta)?
• ¿Cuál es su público objetivo? ¿En quién intenta influir? ¿Quiénes son las personas y organizaciones objetivo? ¿Cuáles son los canales para influir en ellas?
• ¿Quiénes son sus aliados? ¿Trabaja dentro de una coalición? ¿Hay algún aliado entre los responsables de políticas o los medios de comunicación con el que pueda trabajar?
• ¿Quiénes son sus adversarios? ¿Quiénes tienen objetivos contrarios?

Amnistía Internacional y sus socios exigen justicia y rendición de cuentas por los daños causados por los algoritmos por diversas vías, entre ellas, el litigio estratégico, los mecanismos nacionales de supervisión e igualdad y la movilización comunitaria. Los mecanismos que se describen a continuación no pretenden ser exhaustivos, sino que destacan una serie de enfoques que las organizaciones comunitarias pueden aprovechar o adaptar de forma creativa para generar presión y exigir justicia y rendición de cuentas de la manera que mejor se adapte a sus contextos.

También queremos señalar que algunos de los mecanismos son bastante complejos y requieren dotación de recursos, por lo que, para las organizaciones más pequeñas que trabajan en la rendición de cuentas sobre el uso de algoritmos, la creación de coaliciones y la colaboración con socios expertos puede ser una forma eficaz de apoyar el desarrollo de respuestas estratégicas más amplias, como las que se describen a continuación.

Litigio estratégico

Una de las formas a través de las cuales Amnistía Internacional exige justicia y rendición de cuentas para las personas perjudicadas por los sistemas algorítmicos es el litigio estratégico. Esta vía implica la conceptualización estratégica o la selección e intervención en procedimientos judiciales con el objetivo de generar un cambio social específico a largo plazo. Va más allá de la resolución de reclamaciones de personas, utilizando el sistema judicial como herramienta para buscar recursos efectivos y rendición de cuentas, promover los derechos humanos, impugnar leyes o prácticas injustas y sentar precedentes que beneficien a comunidades más amplias.

En Francia, Amnistía Internacional y otras catorce entidades asociadas de la coalición encabezada por La Quadrature du Net (LQDN) presentaron una demanda ante el Consejo de Estado, máximo tribunal administrativo de Francia, para exigir la retirada de un sistema algorítmico de puntuación de riesgos utilizado por el Fondo Nacional de Prestaciones Familiares de la Agencia Francesa de Seguridad Social. El sistema algorítmico se utilizaba para detectar sobrepagos y errores en relación con el abono de prestaciones y trataba como sospechosas a las personas marginadas, entre ellas las que viven con discapacidad, las que encabezan familias monoparentales —en su mayoría mujeres— y las que viven en la pobreza. El carácter discriminatorio del sistema motivó que se cuestionara su legalidad.

La fuerza de esta iniciativa de litigio estratégico radica en la combinación de los conocimientos especializados de diversas organizaciones de la sociedad civil francesa, que contribuyeron a garantizar que el caso reflejara las necesidades y experiencias de las comunidades afectadas en todo el país.

Mecanismos nacionales de supervisión e igualdad

Los defensores del pueblo y los organismos de supervisión nacionales ofrecen una vía diferente para exigir justicia y rendición de cuentas.

Muchos Estados, especialmente los que cuentan con instituciones de derechos humanos sólidas, tratan de proteger diversos derechos a través de algún tipo de mecanismo nacional, que puede ser un ministerio o comité, un defensor del pueblo específico o un organismo de igualdad o entidad equivalente. La existencia de estos mecanismos abre oportunidades para realizar investigaciones que expongan el sesgo y la discriminación algorítmicos.

En Suecia, tras la revelación por parte de Lighthouse Reports y Svenska Dagbladet (SvD) de un sistema algorítmico que señalaba de manera desproporcionada a determinados grupos para su posterior investigación en relación con el fraude en las prestaciones sociales (entre ellos, mujeres, personas de origen extranjero —nacidas en el extranjero o cuyos progenitores habían nacido en otros países— y personas con bajos ingresos), el trabajo de incidencia con el defensor del pueblo especializado en discriminación les llevó a hacer un llamamiento abierto para encontrar un caso adecuado con el fin de impugnar el sistema en cuestión por motivos de discriminación.

Los Estados que cuentan con algún tipo de legislación nacional en materia de protección de datos y privacidad suelen disponer de un organismo o autoridad reguladora que supervisa su aplicación y cumplimiento. La Autoridad Sueca de Protección de Datos (IMY) abrió una investigación sobre el uso de sistemas algorítmicos por parte de la Agencia Sueca de Seguridad Social después de que la publicación de los informes de Lighthouse y la investigación de SvD sacaran a la luz la discriminación existente en un sistema algorítmico, lo que provocó la desactivación del sistema.

Generación de poder, movilización de comunidades y fortalecimiento de las capacidades

Hay muchas vías para generar poder con las comunidades e impulsar colectivamente los objetivos de derechos humanos. Por ejemplo, en la lucha por prohibir el reconocimiento facial, Amnistía Internacional ha colaborado con decenas de organizaciones locales y voluntarios digitales para buscar justicia y rendición de cuentas en los tribunales locales.

En septiembre de 2020, Amnistía Internacional presentó una solicitud de acceso a los registros públicos en virtud de la Ley de Libertad de Información (FOIL) de Nueva York para obtener los registros del Departamento de Policía de Nueva York (NYPD) sobre su vigilancia de las históricas protestas de Black Lives Matter (BLM) en 2020.

Inicialmente, el Departamento se negó a proporcionar la información solicitada —denegó tanto la solicitud inicial como la apelación posterior— sobre el uso de la vigilancia mediante reconocimiento facial contra participantes en las protestas de Black Lives Matter de 2020, donde los activistas fueron objeto de esta tecnología y sometidos a hostigamiento sin orden judicial en su domicilio.

En julio de 2021, Amnistía Internacional y el Proyecto de Supervisión de la Tecnología de Vigilancia (S.T.O.P.) —grupo de defensa de la privacidad y los derechos civiles— presentaron una demanda contra el Departamento de Policía de Nueva York por negarse a revelar sus registros.

En febrero de 2022, Amnistía Internacional colaboró con más de 7.000 voluntarios digitales para cartografiar las cámaras con reconocimiento facial de Nueva York, utilizando imágenes de Google Street View y la plataforma interna de microtareas “decoders”. La investigación reveló que, en Nueva York, las personas que viven en zonas con mayor riesgo de que la policía decida dar el alto y registrar también están más expuestas a una tecnología de reconocimiento facial invasiva. El análisis, que forma parte de la campaña global Ban the Scan (Veto al escaneo), mostró cómo la vasta operación de vigilancia del Departamento de Policía de Nueva York afecta especialmente a las personas que ya son objeto de cacheos y registros en los cinco distritos de la ciudad. En el Bronx, Brooklyn y Queens, la investigación también reveló que cuanto mayor es la proporción de residentes pertenecientes a comunidades racializadas, mayor es la concentración de cámaras de videovigilancia compatibles con el reconocimiento facial. Los datos de esta investigación se presentaron ante la Corte Suprema de Nueva York como argumento adicional en nuestro caso contra el Departamento de Policía de Nueva York, demostrando que la rendición de cuentas sobre el reconocimiento facial es una cuestión de interés público.

En agosto de 2022, la Corte Suprema de Nueva York falló a favor de Amnistía Internacional y S.T.O.P. en su demanda conjunta en virtud del artículo 78 y ordenó al Departamento de Policía de Nueva York que revelara miles de registros sobre cómo la fuerza policial había adquirido y utilizado la tecnología de reconocimiento facial en las manifestaciones de Black Lives Matter. Hasta la fecha, hemos recibido cerca de 2.700 documentos que arrojan nueva luz sobre el uso indebido de esta tecnología por parte del Departamento de Policía.

Amnistía Internacional expresa su más profundo agradecimiento a Anna Dent por su revisión experta y sus aportaciones al conjunto de herramientas para la rendición de cuentas sobre el uso de algoritmos.