Ces dix dernières années, la plupart des gouvernements, ainsi que certains blocs régionaux, ont adopté et mis en œuvre des stratégies de transformation numérique visant à dématérialiser les fonctions assurées par l’État et les services publics. Plus récemment, ils ont adopté un nombre croissant de technologies fondées sur l’exploitation de données, qui intègrent des éléments automatisés, basés sur des algorithmes ou sur l’IA, aux nombreuses fonctions relevant de la compétence du gouvernement. Par exemple, cela peut inclure des systèmes automatisés visant à :

• Évaluer ou « prédire » le risque que des personnes demandeuses de prestations sociales commettent des fraudes.
• Prédire le risque qu’une personne commette une infraction.
• Trier les demandes de visa.

Selon de nombreuses sources, ces systèmes de prise de décision automatisée, déployés sous prétexte d’améliorer la rentabilité et/ou les capacités humaines de prise de décision :

• Empêchent certaines personnes d’obtenir des services essentiels.
• Perpétuent les inégalités fondées sur l’origine ethnique, le genre, la situation au regard de la législation relative à l’immigration, le handicap et la situation socioéconomique.
• Offrent peu de possibilités aux personnes affectées de contester une décision les concernant, et peu, voire aucun, accès à des réparations.
• Répriment le droit de manifestation pacifique à travers le déploiement à grande échelle de technologies de surveillance de masse, qui affectent particulièrement les populations déjà marginalisées.

Alors que l’utilisation de l’IA continue de prendre une place prépondérante dans la vie quotidienne et le fonctionnement de la société, des tensions ne cessent d’émerger entre les bénéfices attendus de l’utilisation de cette technologie et les inquiétudes liées aux atteintes aux droits humains qu’elle entraîne. Ces tensions sont exacerbées par l’absence de surveillance ou de réglementation adéquate de l’usage des technologies, de limites et de garanties claires concernant les atteintes aux droits humains qu’il peut entraîner, ainsi que l’absence de véritable définition du type d’atteintes aux droits humains qui découlent du recours aux technologies. Étudier l’impact de ces systèmes est une entreprise complexe pour de nombreuses raisons, allant de l’opacité de leur déploiement à la difficulté d’entrer en contact avec les personnes et les populations affectées par les décisions qu’ils prennent.

---

À propos de ce guide

Ce guide s’adresse aux personnes souhaitant étudier et lutter contre l’utilisation de systèmes algorithmiques dans le secteur public. Il propose une synthèse des enseignements tirés du travail d’Amnesty International sur le sujet, en particulier au sein de l’Algorithmic Accountability Lab (laboratoire de la responsabilité algorithmique), spécialisé dans le travail de recherche, de campagne et de plaidoyer sur les questions liées à l’utilisation par les États de systèmes automatisés. Au cours des trois dernières années, Amnesty International a mené plusieurs enquêtes sur ces systèmes, et le présent guide rassemble bon nombre des enseignements et des méthodes éprouvées dans le cadre de ces recherches. Le guide explique non seulement comment mener des recherches sur ces systèmes opaques et les atteintes aux droits humains qu’ils entraînent, mais propose également des stratégies très complètes pour les personnes qui s’efforcent de mettre un terme à ces systèmes abusifs et œuvrent en faveur du changement et de l’obligation de rendre des comptes, à travers un travail de campagne ou de plaidoyer ou des actions en justice.

Qui peut utiliser ce guide ?

Ce guide s’adresse aux organisations de la société civile (OSC), aux journalistes et aux organisations locales. En bref, il vise à fournir des informations :

• Aux personnes qui souhaitent plus de transparence et cherchent à mieux comprendre les systèmes d’IA et de décision automatisée susceptibles d’affecter leur vie dans des domaines clés, ou celle des populations avec lesquelles elles travaillent directement.
• Aux organisations de la société civile et aux chercheur·euse·s qui travaillent avec des personnes affectées et avec des organisations locales afin de mettre au jour ces systèmes, de demander des comptes et de mettre un terme aux systèmes abusifs.

---

Bon nombre de nos réflexions et enseignements concernent la mise en œuvre d’un travail de responsabilisation algorithmique au sein d’une organisation qui œuvre à l’échelle internationale. Cependant, nous avons également inclus des considérations destinées aux organisations locales, qui travaillent directement avec les populations affectées, sur la base des enseignements tirés de nos collaborations avec elles.

Ce guide adopte une démarche fondée sur les droits humains pour enquêter sur les technologies algorithmiques et demander des comptes afin de mettre fin aux systèmes abusifs. Cette méthode est une synthèse de l’approche d’Amnesty International, mais inclut également des enseignements tirés d’autres études de cas. Cette approche repose sur quatre éléments principaux :

1. Cadres et recherches axés sur les droits humains

Bien souvent, les travaux effectués dans le domaine de la responsabilité algorithmique expliquent les risques et les préjudices engendrés par les systèmes d’IA du point de vue de l’éthique liée à l’intelligence artificielle. Bien que cette analyse soit importante, elle ne permet toutefois pas d’inscrire explicitement les préjudices dans le cadre du droit international relatif aux droits humains. Le droit international relatif aux droits humains est juridiquement contraignant pour les États, et s’appuyer sur ce cadre évite aux chercheur·euse·s et aux organisations d’avoir à réinventer la roue chaque fois qu’elles cherchent à lutter contre certains systèmes par des campagnes, des actions en justice et un travail de plaidoyer, puisque les États sont déjà tenus de respecter leurs engagements au titre du droit international relatif aux droits humains. De la même manière, lorsque les États s’associent à des entreprises privées ou se procurent des systèmes auprès d’elles, les chercheur·euse·s peuvent s’appuyer sur les Principes directeurs relatifs aux entreprises et aux droits de l’homme de l’ONU, qui définissent les responsabilités incombant aux entreprises privées en matière de respect des droits humains dans le cadre de leurs activités.

Bien que le droit international relatif aux droits humains puisse parfois être complexe et difficile à comprendre, définir les risques et les préjudices causés par les systèmes algorithmiques en adoptant une approche fondée sur les droits humains peut toutefois s’avérer plus compréhensible pour les personnes moins à l’aise avec la technologie. Cela permet de démontrer que ces risques et ces préjudices ne constituent pas un phénomène unique, causé exclusivement par la technologie moderne, mais plutôt une manifestation supplémentaire de problématiques sociales profondément ancrées, déjà révélées et combattues par de nombreuses personnes auparavant, et qu’il est possible de les résoudre en s’appuyant sur des normes claires en matière de droits humains. Le cadre des droits humains permet de définir précisément ce que l’on cherche à obtenir ou au contraire à éviter, quelle que soit la technologie utilisée (par exemple, tout le monde a le droit à l’égalité et à la non-discrimination), plutôt que de se laisser entraîner dans des discussions concernant l’adoption de nouvelles réglementations et de nouvelles protections, qui peuvent être liées à des périodes de battage autour de nouvelles technologies et nous détourner des conséquences concrètes en matière de responsabilité algorithmique. Si la nature technique de l’intelligence artificielle et des systèmes algorithmiques permet de les étudier à l’aide d’approches techniques innovantes, celles-ci se trouvent renforcées lorsqu’elles sont complétées par des méthodes de recherche axées sur les droits humains, qui mettent en avant les expériences et les témoignages de personnes, essentiels pour comprendre pleinement l’impact de ces systèmes sur les droits de celles et ceux qu’ils visent.

2. L’importance des témoignages

Mettre l’accent sur les témoignages de personnes ou de groupes aide à mettre en lumière les problèmes liés aux systèmes algorithmiques en levant le voile du langage technique et en les présentant de manière plus compréhensible. Trop souvent, les travaux sur la responsabilité algorithmique se concentrent uniquement sur les aspects techniques des systèmes. Or, cela empêche d’ancrer la recherche dans l’expérience vécue par les personnes visées et affectées par le système en question, peut détourner l’attention de certains enjeux financiers ou politiques plus profonds, et porte également atteinte à la capacité des personnes et des populations affectées à lutter contre ce système. Par ailleurs, les recherches qui se concentrent uniquement sur la technologie, sans participation significative des personnes et des populations affectées, risquent également de laisser entendre à tort que n’importe quel problème peut être résolu grâce à des mesures techniques.

Il arrive que les personnes et les populations affectées hésitent à parler publiquement de leur expérience, par peur de représailles ou en raison d’autres inquiétudes liées à leur sécurité, ce qui est parfaitement compréhensible. Il est essentiel que toute recherche menée auprès de personnes ou de populations affectées adopte des approches participatives et fondées sur le consentement, afin de garantir que leurs expériences et leurs récits soient recueillis, consignés ou relatés de façon collaborative.

Cela implique de prendre en compte le fait que de nombreuses personnes avec lesquelles nous allons travailler ont vécu des événements traumatisants ou en ont été témoins. Il est crucial que tout travail de recherche, de plaidoyer et de campagne mettant l’accent sur les récits personnels adopte une approche tenant compte des traumatismes. Il faut par exemple adapter les techniques d’entretien en fonction de ceux-ci et assurer la sécurité et le bien-être physique, émotionnel et psychologique de la personne interrogée, de celle qui conduit l’entretien, ainsi que de tout autre membre de l’équipe.

3. Une perspective « sociotechnique »

Adopter une approche « sociotechnique » pour comprendre les effets d’un système algorithmique implique d’analyser cette technologie en tenant compte des motivations politiques, économiques et culturelles, ainsi que des facteurs contextuels à l’origine de son développement et de son déploiement. L’utilisation du terme « système » pour désigner des outils d’intelligence artificielle ou algorithmiques est intentionnelle, elle permet de souligner le caractère sociotechnique de cette technologie. Elle souligne le fait que ces outils constituent des « associations complexes et dynamiques entre des êtres humains et un code » et ne sauraient être réduits à leur seule composante technologique, indépendamment des contextes structurels dans lesquels ils sont utilisés. Adopter une démarche sociotechnique revient également à reconnaître que la technologie n’est pas neutre. Les incitations, les systèmes de pouvoir et d’oppression structurels, les inégalités systémiques et les environnements politiques sont intégrés à ces technologies et l’utilisation de ces technologies les perpétue. Il est important de prendre conscience qu’il ne s’agit pas d’un processus passif : des choix sont faits à chaque étape de l’élaboration des politiques et de la création de systèmes automatisés. Dans le cas des technologies de reconnaissance faciale, par exemple, cela implique d’admettre que, si l’IA peut être utilisée comme un outil de surveillance, les populations marginalisées font en général déjà l’objet d’une surveillance d’État plus importante.

L’approche choisie pour étudier un système, quel qu’il soit, doit tenir compte de cela et toute enquête sur le sujet devrait utiliser plusieurs méthodes de recherche, afin d’examiner les facteurs politiques, sociaux, économiques et culturels qui sous-tendent le développement et le déploiement de ce système.

4. Mener des recherches pour obtenir des changements

Rassembler des preuves sur les préjudices causés par un système algorithmique ne suffit pas à susciter des changements. La sensibilisation n’est que la première étape vers le changement : après la publication d’une enquête, il est important que les chercheur·euse·s et les organisations continuent à exiger l’obligation de rendre des comptes et la justice pour les personnes touchées, en menant un travail de plaidoyer ou des actions en justice et par d’autres moyens. Lorsque cela leur est impossible, elles doivent s’assurer qu’une autre organisation est en mesure de le faire (cela est également essentiel pour garantir un impact durable en faveur des personnes et des populations affectées). Il s’agit là d’une autre raison pour laquelle le cadre du droit international relatif aux droits humains est un outil décisif pour mener un travail de responsabilisation algorithmique, puisqu’il repose sur une législation applicable et fournit donc, par extension, une base permettant de définir clairement quelles utilisations d’une technologie sont acceptables ou non. Cela signifie que tout travail de recherche doit s’accompagner de stratégies visant à favoriser le changement, par exemple :

• Fournir des preuves afin d’étayer les positions de plaidoyer et les revendications.
• Dénoncer un problème pour contraindre les gouvernements et les entreprises à le résoudre.
• Concevoir une campagne et mobiliser des personnes afin qu’elles passent à l’action.
• Recourir au système judiciaire pour s’opposer à un algorithme.

Comment utiliser ce guide ?

Ce guide a été conçu à la fois pour les personnes ayant déjà des connaissances en matière de responsabilité algorithmique et pour celles qui n’ont peut-être encore jamais travaillé sur ce sujet.

Nous avons conscience que les questions liées à la responsabilité algorithmique sont des sujets traités par de nombreuses organisations différentes, pas uniquement celles qui se concentrent sur les droits numériques. De nombreuses enquêtes ont démontré comment des systèmes algorithmiques ciblent et nuisent à certains groupes en particulier (par exemple, un système de détection des fraudes aux prestations sociales qui cible de manière disproportionnée les femmes et les personnes issues de l’immigration). Cela signifie que la responsabilité algorithmique constitue une thématique extrêmement pertinente pour des organisations et des personnes mobilisées en faveur de diverses causes liées à la justice sociale.

Tous les travaux sur la responsabilité algorithmique ne doivent pas nécessairement prendre la forme d’une longue enquête sur un système spécifique. Les travaux de plaidoyer, de campagne et autres sont tout aussi importants, et ce guide est conçu pour fournir des lignes directrices et des pistes de réflexion au sujet de la responsabilité algorithmique en général.

Nous avons donc divisé le document en chapitres distincts, qui présentent tous une étape différente pour l’élaboration d’un projet ou bien, dans certains cas, des considérations et des réflexions globales. Vous trouverez ci-dessous des recommandations générales sur les chapitres susceptibles d’être pertinents pour votre projet :

1. Préparation du projet : A chapter focused on activities that can be helpful to scope your work on algorithmic accountability
   1. Lecture recommandée aux : chercheur·euse·s, spécialistes de la communication, chargé·e·s de campagne, militant·e·s
2. Objectifs et cycle de vie du projet : A chapter focused on activities and considerations
   1. Lecture recommandée aux : chercheur·euse·s, spécialistes de la communication, chargé·e·s de campagne, militant·e·s
3. Éthique et principes du projet : A chapter focused on ethical considerations and general principles for approaching your project on algorithmic accountability
   1. Lecture recommandée aux : chercheur·euse·s, spécialistes de la communication, chargé·e·s de campagne, militant·e·s
4. Accès à l’information : A chapter focused on how to try to access more information on a specific algorithmic system
   1. Lecture recommandée aux : chercheur·euse·s
5. Recherches axées sur les droits humains A chapter focused on framing the harms of algorithmic systems within Human Rights Law, and how to approach conducting human rights research on these systems
   1. Lecture recommandée aux : chercheur·euse·s
6. Audit algorithmique par le biais d’études empiriques : A chapter focused on the technical side of conducting empirical research on algorithmic systems
   1. Lecture recommandée aux : chercheur·euse·s, spécialistes des technologies
7. Obtenir des changements après le travail de recherche grâce à un travail de plaidoyer et de communication stratégique : A chapter focused on advocacy and strategic communications approaches
   1. Lecture recommandée aux : chercheur·euse·s, spécialistes de la communication, chargé·e·s de campagne, militant·e·s
8. Vers la justice et l’obligation de rendre des comptes : A chapter focused on pursuing justice and accountability for algorithmic harms in a variety of ways, including strategic litigation, national supervisory and equalities mechanisms, and community mobilization
   1. Lecture recommandée aux : chercheur·euse·s, spécialistes de la communication, chargé·e·s de campagne, militant·e·s

L’analyse de l’utilisation de l’intelligence artificielle et/ou des outils de décision automatisée par les gouvernements à travers le monde est une entreprise complexe. Bon nombre des enquêtes très médiatisées qui ont été publiées – notamment celles qui traitent des systèmes déployés à Rotterdam (Pays-Bas), en France et au Danemark – s’appuient sur des années de recherches assidues menées pour démystifier la technologie en question, le rôle délicat de demander des comptes aux gouvernements pour leur utilisation de l’IA incombant souvent aux journalistes d’investigation ainsi qu’à des membres de la société civile, plutôt que de reposer sur des mécanismes de réglementation et de gouvernance. En l’absence d’une réglementation et d’une gouvernance solides, ce guide vise à fournir aux chercheur·euse·s et à la société civile de meilleures ressources afin de leur permettre de poursuivre ce travail essentiel de responsabilisation algorithmique.

Se lancer dans un projet de recherche sur plusieurs années peut sembler intimidant, surtout lorsqu’on sait que ce type de projet peut demander de mobiliser énormément de temps et de ressources sans garantie qu’il soit viable pour autant. Prévoir une phase de préparation approfondie est essentiel afin d’estimer la viabilité de tout projet d’enquête sur un système algorithmique. Il est important de reconnaître que, même si les chercheur·euse·s et les organisations peuvent et doivent conserver une certaine souplesse pour adapter la nature d’une publication afin d’atténuer ce problème, tous les projets ne seront pas couronnés de succès.

Ce chapitre se concentre sur la phase de préparation des projets, qui permet d’affiner les objectifs de recherche, d’identifier les différentes méthodologies pouvant être employées et d’élaborer des théories du changement pour assurer le suivi du travail de plaidoyer et des activités de campagne.

La phase de préparation d’un projet diffère en fonction du domaine d’activité de votre organisation, du champ d’étude des chercheur·euse·s et de toute personne en quête d’informations, ou encore de la zone géographique sur laquelle se concentre le projet. Cela implique nécessairement des réflexions différentes en fonction des objectifs poursuivis. Par exemple, la phase de préparation du projet d’un organisme aux attributions mondiales se distingue de celle d’une organisation qui travaille à l’échelle d’une ville, qui cherchera à obtenir davantage d’informations sur la façon dont ces systèmes affectent les personnes qui constituent directement sa base de membres. De la même façon, si votre organisation travaille à l’échelle mondiale ou bénéficie de moyens très importants, il faut tenir compte d’encore plus d’éléments durant la phase de préparation, en veillant notamment à ce que votre travail emploie des méthodes collaboratives, et non unilatérales, pour l’obtention d’informations et à effectuer un travail supplémentaire pour identifier les rapports de pouvoir et compenser ces déséquilibres dès le début du projet.

Objectifs de la phase préparatoire du projet

La phase préparatoire d’un projet est une mission d’enquête qui vise à établir :

1. Où et par qui les systèmes algorithmiques sont susceptibles d’être déployés
2. S’ils ont des effets néfastes sur la vie des personnes et de quelle manière
3. Quelles informations sont actuellement disponibles à leur sujet dans le domaine public
4. Quelles sont les autres pistes de recherche possibles
5. Quelles sont les options possibles pour remettre en question ces systèmes et obtenir des changements

Les parties suivantes présentent les différents éléments à prendre en compte dans votre étude de projet en fonction de votre type d’organisation et de l’échelle à laquelle vous travaillez, car ces éléments varient selon divers facteurs tels que votre expertise, vos ressources et les rapports que vous entretenez avec les populations affectées. Nous avons divisé ces recommandations en plusieurs parties, correspondant aux différents types d’organisations, mais elles ne doivent pas être considérées comme entièrement dissociées les unes des autres. Ainsi, toute personne qui utilise ce guide peut adapter et combiner les éléments de ces listes au besoin.

Éléments dont doivent tenir compte les organisations et les chercheur·euse·s travaillant à l’échelle mondiale lors de la phase de préparation d’un projet

Géographie

Pour les organisations et les chercheur·euse·s qui travaillent à l’échelle mondiale ou qui n’ont pas de cible géographique prédéfinie, il est indispensable de définir dès le début d’un projet la zone géographique sur laquelle porteront les recherches, et cela peut s’avérer difficile. Des phases préparatoires chronophages sont nécessaires afin de déterminer la région du monde sur laquelle l’étude va porter. Il faut ensuite consacrer du temps à la compréhension du contexte local dans lequel les systèmes algorithmiques sont déployés. Voici plusieurs questions essentielles à vous poser à ce stade :

Votre projet se concentre-t-il sur une technologie en particulier ?

Certains projets se focalisent sur un domaine en particulier (par exemple, l’aide sociale), tandis que d’autres ciblent une technologie spécifique (telles que les technologies de reconnaissance faciale). Dans ce dernier cas, le choix du lieu étudié pourra se porter sur les contextes dans lesquels le déploiement ou le test de la technologie présentent le plus d’enjeux, ou sur un endroit en particulier qui reste peu étudié et dont l’analyse pourrait créer un précédent pour les recherches dans d’autres zones géographiques. Par exemple, Amnesty International a mené ce type de recherches en se focalisant sur le déploiement de technologies de reconnaissance faciale :

• Dans le territoire palestinien occupé, où de nouvelles technologies expérimentales sont testées et déployées dans le but de maintenir le système d’apartheid.
• À New York, où la technologie de reconnaissance faciale a été utilisée pour surveiller les populations racisées durant les manifestations Black Lives Matter en 2020.

Votre projet ne fait-il pas doublon avec un travail déjà mené ?

Beaucoup d’organisations et groupes dans de nombreux pays travaillent sur les questions liées aux droits numériques. Il est important de vous demander si votre organisation est la mieux placée pour mener ces recherches, et de ne poursuivre votre travail que s’il permet de compléter les initiatives locales. Établissez des relations avec des militant·e·s, des journalistes et des organisations au niveau local afin de vous assurer que vous ne reproduisez pas des recherches qui ont déjà été menées ou sont en cours. Dans la mesure du possible, essayez de confier la direction des activités aux organisations locales si elles ont les capacités et les ressources nécessaires pour effectuer le travail.

Que demandent les organisations locales ?

Dans certains cas, les organisations locales peuvent avoir des attentes et des demandes très spécifiques concernant la façon dont la participation des chercheur·euse·s et des organisations internationales pourrait leur être utile. Bien qu’il s’agisse là d’un principe directeur pour l’ensemble de votre travail, certains projets ponctuels peuvent voir le jour en réponse à des demandes spécifiques. En Serbie, par exemple, Amnesty International a été contactée par A11 Initiative et par d’autres ONG afin de soutenir les travaux visant à analyser l’impact de la Loi relative à la carte sociale.

Quelles sont les possibilités de plaidoyer au niveau local, national ou régional ?

Pour avoir le maximum d’impact, le travail de recherche doit pouvoir donner lieu à des appels clairs à l’action. Il est donc important d’identifier les possibilités de plaidoyer en amont. Un projet de réglementation ou de législation au sein d’un territoire, tel que la Loi de l’Union européenne sur l’intelligence artificielle par exemple, offre aux organisations de la société civile l’occasion d’obtenir un changement durable en apportant leur contribution et en plaidant en faveur de questions spécifiques. Elles doivent impérativement disposer d’éléments de preuve solides afin d’étayer ces positions. Il est toutefois important de noter que la recherche peut avoir une valeur en soi, puisqu’elle fournit des informations et met en lumière un problème en particulier, de sorte que ces possibilités de plaidoyer ne sont pas toujours nécessaires.

Quelles sont les possibilités permettant de veiller au respect de l’obligation de rendre des comptes au niveau local, national ou régional ?

Réfléchir aux possibilités d’obtenir des changements à la suite d’un projet peut vous aider à mieux orienter vos recherches. Voici quelques éléments à prendre en compte pour commencer :

• La réglementation ou la législation actuelle offre-t-elle des voies de recours ou prévoie-t-elle de nouveaux mécanismes de mise en œuvre de législations existantes ?
• Existe-t-il d’autres mécanismes qui permettent de garantir la transparence et l’obligation de rendre des comptes ?
• Existe-t-il des organes de surveillance ou de contrôle et quels pouvoirs ont-ils ?
• Dans quelle mesure les tribunaux nationaux sont-ils disposés à examiner des affaires liées à la problématique en question ?
• Quels instruments juridiques régionaux pourraient être utilisés ?

Utiliser des méthodes participatives durant la phase de préparation d’un projet

Si l’intelligence artificielle et les systèmes algorithmiques présentent une nature abstraite et technique, leur impact sur la vie des personnes est quant à lui bien concret. Impliquer les parties intéressées, les membres de la population et toutes les personnes directement affectées par le système en question permet de garantir que les recherches soient ancrées dans les réalités locales et reflètent différents points de vue. Pour que les recherches reflètent véritablement es expériences et répondent aux besoins des personnes touchées par cette technologie, intégrez des méthodes participatives le plus tôt possible dans le cycle de vie du projet, tout en adoptant une approche tenant compte des traumatismes.

Dans le contexte de la responsabilité algorithmique, les méthodes de recherche participative impliquent que les personnes les plus affectées par le système algorithmique ainsi que des organisations locales aident à planifier et à mener les recherches. Cela peut comprendre des collectes de données, des ateliers participatifs et des exercices de cartographie dirigés par la population – tout ce qui peut transformer un travail de recherche fondé sur une relation unilatérale en un travail collaboratif. En raison de l’aspect technique des systèmes algorithmiques, il est important de prendre le temps de bâtir une compréhension commune des préjudices qu’ils entraînent, afin de créer un espace de collaboration et d’apprentissage mutuel et d’orienter votre travail en fonction des résultats souhaités par les populations affectées.

Il est essentiel d’établir des relations et de s’associer à des partenaires locaux dès le début du projet, voire au moment de décider de procéder ou non à son lancement. À ce stade, il convient de se donner un champ d’action aussi large que possible et de dialoguer avec autant de groupes que possible afin de remettre en question les idées reçues quant aux personnes étant les plus touchées par les préjudices algorithmiques et à la manière dont ceux-ci se produisent. Même si une question ou une approche particulière peut vous sembler préférable d’un point de vue de recherche ou mieux vous convenir en raison du champ d’action ou de l’expérience de votre organisation, les populations, par l’intermédiaire des organisations locales et des militant·e·s qui les représentent, devraient, au bout du compte, avoir le dernier mot dans l’élaboration du projet et de ses objectifs, en fonction de leurs priorités et de leurs besoins. Cela peut passer par un plan et une stratégie de recherche élaborés conjointement.

Éléments dont doivent tenir compte les organisations et les chercheur·euse·s travaillant à l’échelle locale lors de la phase de préparation d’un projet

Les questions que se posent les organisations locales ou les chercheur·euse·s qui travaillent directement avec les populations affectées lors de la phase de préparation d’un projet peuvent être différentes. Voici certains des éléments que, d’après nos expériences de collaboration, les organisations et les chercheur·euse·s qui travaillent à cette échelle doivent prendre en considération :

Quel type de projet souhaiteriez-vous mettre en place ?

Les recherches à long terme nécessitent un temps et des ressources considérables et ne sont pas toujours indispensables pour demander justice et obligation de rendre des comptes. Vous pouvez souhaiter mener un travail de campagne et de plaidoyer contre un système en particulier, sans forcément réaliser une longue étude sur le sujet. Réfléchissez à la possibilité de vous associer à des chercheur·euse·s ou des journalistes, qui pourraient contribuer au travail de votre organisation grâce à leurs capacités de recherche, leurs connaissances en matière de recherches techniques ou en attirant l’attention des médias sur les sujets sur lesquels vous souhaitez mener des campagnes et des actions de plaidoyer.

Quelles organisations partenaires sont susceptibles de vous aider dans votre travail ?

Si vous décidez de vous lancer dans un travail de recherche, le partage de ressources et de connaissances issues d’autres contextes peut s’avérer précieux pour orienter votre approche. Parlez avec des journalistes et des chercheur·euse·s ayant mené des projets similaires et faites appel à des réseaux mondiaux susceptibles d’appuyer votre travail. Les organisations internationales, telles qu’Amnesty International, peuvent vous aider à promouvoir votre travail afin de toucher un public plus vaste. Réfléchissez aux personnes que vous pourriez faire participer au travail préparatoire de votre projet, afin de vous aider à mieux comprendre le fonctionnement du système que vous étudiez, tels que des spécialistes des technologies disposant d’une expérience de la recherche sur les systèmes automatisés.

Existe-t-il des exemples à l’échelle internationale permettant une sensibilisation ?

Bien que l’impact de certaines technologies dépende fortement du contexte, des États du monde entier s’inspirent souvent d’exemples internationaux pour lancer de nouvelles initiatives. Les pays qui souhaitent mettre en place des systèmes d’identification numérique citent souvent l’exemple du système Aadhar, déployé en Inde, tandis que l’utilisation de la technologie au sein du système de protection sociale du Danemark a été imitée par plusieurs gouvernements. Les recherches menées sur les préjudices causés par ces outils peuvent servir d’inspiration pour votre propre travail de recherche et vous aider à attirer l’attention sur tout projet similaire proposé dans votre périmètre d’action.

Pouvez-vous intervenir directement auprès des populations avec lesquelles vous travaillez ?

Si vous travaillez pour une organisation locale ou citoyenne qui défend les droits de ses membres, des ressources comme celle-ci (rédigée par TechTonic Justice) vous fourniront des conseils pour tenter de déterminer si les personnes avec lesquelles vous collaborez sont visées par un système algorithmique ayant une incidence sur leur vie.

Connaissance du système

Lorsqu’on étudie un système automatisé en particulier, la première étape consiste simplement à acquérir des connaissances sur ce système. Bien que la promotion et la mise en œuvre de registres d’algorithmes aient augmenté au cours des dix dernières années, de nombreux systèmes demeurent opaques pour le grand public, les informations sur leur conception et leur déploiement étant difficilement accessibles. Les bases de données gouvernementales s’avèrent souvent incomplètes et, bien qu’il existe plusieurs initiatives locales remarquables visant à recueillir des informations sur les systèmes algorithmiques, celles-ci sont difficiles à mettre en place et à poursuivre dans le temps.

Quelques actions que peuvent entreprendre les chercheur·euse·s dès le début du projet :

1. Recherche documentaire et recueil d’informations accessibles au public : cette approche s’appuie sur des méthodes couramment utilisées par les journalistes d’investigation, à savoir des recherches documentaires, l’analyse de communications officielles du gouvernement, de documents stratégiques et de documents d’achats qui suggèrent l’existence de projets visant l’intégration de technologies numériques dans le cadre des prestations de services publics (pour plus de détails sur les documents d’achats pertinents, voir le chapitre « Accès à l’information »). En parallèle, lorsque cela est possible et ne comporte pas trop de risques, établir des relations avec des organismes du secteur public peut offrir une précieuse source d’informations, par le biais d’entretiens formels ou informels, et notamment, si possible, grâce à des divulgations d’informations ou des informations fournies par des lanceur·euse·s d’alerte.
   
   
2. Établissement des faits grâce à des demandes déposées au titre de la liberté d’information : déposer de nombreuses demandes au titre de la liberté d’information auprès d’organismes du secteur public pertinents peut être une première étape utile pour orienter les recherches. Lighthouse Reports a utilisé cette méthode pour sa série d’enquêtes « Suspicion Machines », présentant plus de 100 demandes au titre de la liberté d’information au début du projet, et cela a également été fait dans le cadre de nombreuses autres enquêtes sur la responsabilité algorithmique. Envoyez un maximum de demandes et voyez ce que cela donne. Voici un lien vers un modèle de demande au titre de la liberté d’information, facile à adapter pour solliciter des informations détaillées concernant un système.
   
   
3. S’entretenir avec les personnes et les populations affectées : les personnes visées par les nouvelles technologies numériques utilisées par des organismes du secteur public en subissent directement les conséquences. Des cas d’exclusion des dispositifs de protection sociale ou de retard dans l’accès à ces dispositifs peuvent être mis au jour en dialoguant directement avec les personnes et les populations concernées, ou par l’intermédiaire d’organisations qui travaillent directement avec elles sur le terrain. Il arrive que des personnes reçoivent des communications officielles de la part d’organismes gouvernementaux, détaillant les décisions qui ont été prises concernant leur situation. Demandez et essayez, si possible, d’obtenir des copies de ces documents, car ils pourraient contenir des informations sur l’éventuelle utilisation de systèmes automatisés dans le cadre de la prise de décisions.

Ensemble, ces premières phases de préparation d’un projet reflètent les difficultés spécifiques liées à la recherche sur les systèmes algorithmiques dans le secteur public. Elles nécessitent en effet d’étudier le système sur le plan technique, tout en utilisant des méthodes de recherche axées sur les droits humains et/ou participatives afin de mettre en avant l’expérience des personnes affectées et de recueillir des informations sur les risques et les violations de leurs droits. Idéalement, toute enquête doit employer ces deux méthodes conjointement pour permettre aux chercheur·euse·s de comprendre l’impact d’un système sur le plan humain en analysant sa conception technique et sa mise en œuvre.

---

Liste de contrôle pour évaluer la viabilité d’un projet

Une phase préparatoire de projet réussie consiste à répondre à une série de questions afin de déterminer la nécessité et la viabilité d’un travail de recherche. Voici un exemple de liste de contrôle que vous pouvez utiliser à la fin de votre phase de préparation de projet pour décider de mener des recherches complètes ou non.

• Les éventuelles situations constatées soulèvent-elles des préoccupations importantes en matière de droits humains qui mettraient en lumière les expériences des personnes et des groupes affectés ?
• Avez-vous accès ou pouvez-vous avoir accès à des informations sur le système algorithmique en question, comme les données collectées/exploitées, de la documentation ou le code source ? Pouvez-vous obtenir ces informations grâce à des demandes déposées au titre de la liberté d’information, des entretiens, ou par d’autres moyens ?
• Des partenaires internes et externes peuvent-ils contribuer aux recherches et en ont-ils les moyens ?
• If you are working for an organization with a global remit, is this work considered additive by impacted communities, and is there potential to work with affected groups, grassroots organizations, civil society, or human rights organizations, in order to:
  • Si vous travaillez pour une organisation au périmètre d’action mondial, ce travail est-il considéré comme complémentaire par les populations touchées ? Et est-il possible de travailler avec des groupes ou organisations locales, de la société civile ou de défense des droits humains affectés afin de : Concevoir les stratégies de recherche et de changement de manière collaborative ?
  • Mener des entretiens sur l’impact de ces systèmes de manière collaborative ?
• Si vous travaillez directement avec des populations affectées au niveau local, avez-vous intérêt à vous associer à des organisations qui œuvrent à l’échelle mondiale afin de bénéficier de leur influence et de leurs ressources ?
• Les recherches menées pour chaque étude de cas servent-elles les objectifs de plaidoyer définis par votre organisation et vos partenaires ?
• Existe-t-il, au niveau local, national ou régional, des échéances en matière de réglementation ou de plaidoyer que votre projet pourrait éclairer ou influencer ?
• Pensez-vous avoir la capacité de mener un travail de plaidoyer ou de reddition de comptes complémentaire une fois les recherches publiées ? Si non, pouvez-vous confier cette tâche à des organisations partenaires capables de l’accomplir, lorsque cela est approprié ?
• Est-il possible, pour chaque étude de cas, de recueillir des éléments de réponse sur les conséquences du système en utilisant des informations sur sa conception, son déploiement et son utilisation des données (à des fins d’audit statistique) ?
  
  

---

Ce chapitre aborde les éléments que vous devez prendre en compte lorsque vous fixez les objectifs de votre projet, ainsi que les principes généraux à respecter tout au long de celui-ci.

Objectifs principaux, adopter une vision d’ensemble d’un système

Enquêter sur les conséquences potentielles en matière de droits humains que peuvent avoir les systèmes algorithmiques implique de mener à la fois une analyse sociotechnique et des recherches axées sur les droits humains.

Les recherches menées par Amnesty International sur les droits humains comprennent une analyse des normes et des instruments internationaux relatifs aux droits humains pertinents, de rapports et d’études pertinents de l’ONU, d’articles de presse, de publications universitaires et de rapports d’organisations de la société civile, ainsi que des entretiens avec les populations affectées et d’autres spécialistes du domaine (y compris des représentant·e·s de la société civile et du gouvernement).

Les recherches techniques sur les systèmes algorithmiques comprennent une analyse des données et un recueil d’informations sur l’infrastructure technique et les algorithmes déployés, ainsi qu’une discussion sur les approches statistiques. Ces deux types de recherches sont abordés plus en détail dans les chapitres « Accès à l’information » et « Audit algorithmique par le biais d’études empiriques » du présent guide.

Étudier les systèmes algorithmiques en menant à la fois une analyse technique et des recherches axées sur les droits humains permet d’en avoir une vision globale. Cette double méthode de recherche prend en compte le fait que, lorsqu’il n’est pas possible d’obtenir des informations sur le fonctionnement technique du système, il existe d’autres moyens d’identifier de potentiels préjudices. L’analyse de rapports de la société civile et de l’ONU et d’articles de presse, associée à des entretiens avec les populations affectées, peut suffire à mettre en évidence les principales atteintes aux droits humains, même lorsqu’on ne peut mener de recherches techniques.

Une approche globale de ce travail de recherche nécessite également de prendre en compte les atteintes aux droits humains tout au long du cycle de vie du système technique, depuis sa conception jusqu’à son utilisation, et d’identifier celles qui apparaissent au cours de ce processus. Cependant, il n’est pas toujours possible d’identifier toutes les atteintes commises tout au long du cycle de vie du système technique, et il peut donc être tout aussi pertinent de se concentrer sur certaines étapes en particulier de ce cycle de vie ou de la chaîne d’approvisionnement.

Comment cette publication permettra-t-elle des changements ?

Les réflexions sur la manière d’obtenir des changements devraient être menées avant la planification de tout travail de recherche. Comme expliqué dans le chapitre concernant la préparation du projet, les décisions que vous prenez pour mettre en œuvre un projet en particulier doivent être motivées par les changements que vous souhaitez obtenir. Voici quelques questions essentielles à vous poser à ce stade :

• Qui sont les personnes et les populations affectées ?
• De quelles atteintes sont-elles victimes ?
• Quel est le meilleur moyen d’aider et de soutenir ces personnes et ces populations dans la lutte contre ces atteintes ?

L’objectif d’une publication en particulier devrait être décidé conjointement avec les populations affectées. Cela permettra à toutes les parties de partager un même sentiment d’appropriation vis-à-vis du projet et de garantir une collaboration plus active, ainsi qu’une plus grande adhésion aux actions de plaidoyer et aux communications stratégiques liées à la publication. Cela peut également contribuer à faire progresser les positions de votre organisation sur les problématiques qui touchent les populations, à lui faire adopter des positions plus audacieuses et à garantir que celles-ci tiennent compte des expériences vécues par les personnes qui subissent des préjudices causés par les systèmes algorithmiques dans un contexte plus large de marginalisation systémique. Il est essentiel d’établir des relations, un climat de confiance ainsi qu’une collaboration durable avec les populations et les organisations qui les représentent.

Une théorie du changement présente les évolutions que nous souhaitons obtenir grâce au travail de recherche et la manière dont nous pouvons y parvenir. Elle énumère les buts et les objectifs, les moyens d’exercer une influence, les messages clés, ainsi que les tactiques et les activités à mener pour obtenir un changement, qui peuvent inclure des campagnes publiques, un travail en direction des médias, des actions de plaidoyer auprès d’acteurs clés du gouvernement et des entreprises, etc. Une théorie du changement qui intègre des mécanismes clairs de suivi et d’évaluation des résultats contribue à montrer comment la recherche peut susciter des changements. Ce point est abordé de manière plus approfondie dans le chapitre « Obtenir des changements après le travail de recherche grâce à un travail de plaidoyer et de communication stratégique » de ce guide.

Qui impliquer ?

Pour qu’un projet sur les atteintes aux droits humains que peuvent entraîner les systèmes algorithmiques soit efficace, mette en avant les expériences des populations affectées et provoque un véritable changement, il est nécessaire de faire appel à une grande diversité de compétences. Voici une liste de parties prenantes potentielles avec lesquelles vous pourriez envisager de vous entretenir de manière formelle ou informelle au moment de définir les objectifs de votre projet :

• Personnes et populations affectées (si possible)
• Journalistes et chercheur·euse·s locaux
• Organisations de la société civile locales qui militent en faveur des droits numériques
• Organisations et militant·e·s qui travaillent avec des populations affectées par l’utilisation de systèmes algorithmiques (par exemple, sur des questions de justice raciale ou de droits des personnes en situation de handicap, des personnes migrantes, des personnes LGBTQ, des femmes et des enfants)
• Responsables politiques pertinents
• Juristes
• Universitaires et spécialistes
• Prestataires de services et praticien·ne·s (par exemple, travailleur·euse·s sociaux)
• Spécialistes des technologies ayant une bonne compréhension du fonctionnement des systèmes de décision automatisée
• Représentant·e·s du gouvernement aux niveaux national et municipal
• Médiateur·trice·s concernés (autorités chargées de la protection des données)

Ce chapitre présente le cadre et les considérations éthiques auxquelles il peut être utile de se référer tout au long du projet.

Garantir une participation significative des populations tout au long du projet

Pour les organisations internationales et les grandes organisations, susceptibles d’être dotées de meilleurs moyens, il est essentiel d’intégrer des approches participatives durant toute la durée d’un projet, en établissant et en maintenant des relations avec des organisations locales sur le long terme.

Après une phase de préparation du projet, les chercheur·euse·s doivent veiller à consulter régulièrement les populations affectées et prévoir, si nécessaire, la possibilité de remanier le projet en fonction des besoins de ces populations.

En plus de garantir que les travaux reflètent les besoins des populations affectées, les méthodes participatives peuvent faciliter la communication des résultats de la recherche technique. Le fait de mettre en avant des histoires et des expériences personnelles donne une dimension humaine à des questions parfois techniques et complexes.

Une fois publiés, les rapports de recherche doivent être mis à la disposition des populations concernées. Cela nécessite de traduire le rapport dans la langue majoritairement parlée par la population en question et, autant que possible, de le rendre accessible à un public diversifié. Cela peut impliquer l’utilisation d’une version « simplifiée » du document, la production de vidéos explicatives ou la présentation des résultats de recherche auprès des populations affectées. Plus le projet sera dirigé par ces populations affectées, plus il sera facile de communiquer et de discuter des conclusions avec elles.

La collaboration avec ces populations ne doit pas cesser avec la publication des recherches, mais doit faire partie intégrante des objectifs du travail de plaidoyer et de campagne qui la suit. Cela permet une collaboration significative et durable, qui aboutit à un changement concret pour les populations affectées.

Adopter une perspective non discriminatoire et intersectionnelle dans vos recherches

Lorsqu’on applique une méthode participative, la justice raciale et le principe de non-discrimination doivent faire partie intégrante de cette stratégie. Cela nécessite de veiller à ce que les voix des groupes marginalisés occupent une place centrale dans le travail et à ce que les organisations qui les représentent soient impliquées dans la collaboration avec les groupes locaux. Lors de vos recherches, essayez de vous entretenir avec des personnes et des groupes aux identités diverses, notamment en termes de race, de nationalité, d’origine ethnique, de religion, de genre, de situation géographique, de handicap, d’âge et de classe sociale.

Chaque projet de recherche mettra probablement en lumière le fait que certains groupes sociaux subissent de manière disproportionnée des préjudices liés aux algorithmes. Il est important de placer les expériences de ces groupes au cœur non seulement du rapport, mais également de votre méthodologie de recherche, en adoptant des approches participatives et tenant compte des traumatismes. Pour garantir une participation active de ces personnes au travail de recherche, il convient de faire appel à des interprètes dans les langues concernées, dans la mesure du possible.

L’intersectionnalité permet d’examiner comment les différentes formes de discrimination peuvent se superposer et s’influencer mutuellement, de telle sorte qu’elles créent une situation unique et complexe d’oppression. Adopter une approche intersectionnelle des droits humains aide à faire tomber les barrières entre différentes catégories d’oppression ou de marginalisation, et à montrer comment différentes identités (liées au genre, à l’orientation sexuelle, à la race, à la classe sociale, à la caste, au handicap, au statut migratoire, à la religion, à l’appartenance ethnique, à l’identité autochtone, etc.) sont profondément interconnectées. On comprend ainsi comment apporter une réponse plus efficace et globale aux atteintes dont certaines personnes ou certaines populations sont victimes en raison du contexte unique dans lequel elles évoluent.

L’intersectionnalité constitue un cadre essentiel pour analyser les risques et atteintes en matière de droits humains qu’entraîne la technologie, car elle met en lumière la façon dont différentes personnes sont exclues de l’accès à des services vitaux ou subissent des préjudices croisés en raison du recours à des systèmes algorithmiques. Par exemple, un système algorithmique peut présenter des biais liés au genre, à la race et au handicap, et toute analyse doit tenir compte de la manière dont les préjudices sont aggravés pour certains groupes en particulier (par exemple, les femmes de couleur en situation de handicap). En définitive, adopter une approche intersectionnelle de la technologie et des droits humains est essentiel pour élaborer des stratégies visant à obtenir réparation pour les populations victimes d’atteintes aux droits humains rendues possibles par la technologie.

---

Définir des engagements communs au sein de l’équipe du projet/de recherche lorsque vous collaborez afin d’œuvrer pour le changement

Le succès de votre travail en vue d’obtenir des changements dépendra largement des principes fondateurs que vous aurez fixés avant de l’entreprendre. Étant donné que l’objectif ultime de toute stratégie de changement dans le domaine des technologies numériques est d’aider les personnes et les populations les plus exposées à la marginalisation et aux préjudices causés par ces technologies, notamment en raison d’un manque d’accès aux outils numériques qui pourraient favoriser l’exercice de leurs droits, il est important que votre action en faveur du changement repose sur les principes suivants :

• Elle est dirigée localement : les besoins et les priorités des populations affectées guident votre travail.
• Elle donne la priorité aux populations les plus exposées à la marginalisation et aux préjudices causés par les technologies numériques.
• Elle est intersectionnelle : votre travail dépasse l’analyse des symptômes et étudie également les problèmes structurels et systémiques aboutissant à des préjudices intersectionnels. Elle tient compte des différentes formes de préjudices technologiques que subissent les personnes et les groupes marginalisés en raison de caractéristiques, d’origines et d’expériences multiples et croisées, et s’efforce d’y remédier.
• Elle privilégie les alliances, la solidarité et le travail collaboratif avec les populations et les mouvements citoyens. Pour cela, vous pouvez soutenir et encourager le travail effectué par des organisations disposant de moyens limités et vous rendre visibles au moment opportun et de la manière la plus efficace possible pour venir en aide aux personnes et aux populations affectées par les technologies. Vous devez également tenir compte des limites potentielles de vos connaissances et faire confiance à l’expertise empirique des populations concernées lorsque vous élaborez des positions sur le développement et l’utilisation des technologies.
• Elle est accessible et compréhensible pour les personnes et les populations affectées. Pour vous en assurer, vous pouvez notamment garantir la diversité linguistique grâce à des services de traduction et d’interprétation ainsi que d’autres services permettant une meilleure accessibilité, tels que le sous-titrage en direct lors des réunions ou la publication de documents dans une version « simplifiée ».

---

Considérations relatives à la sécurité

Bien que ce guide présente de nombreuses tactiques et techniques pour dénoncer et lutter contre l’utilisation de certains systèmes, il est essentiel de privilégier la sécurité et le bien-être des personnes dont nous cherchons à défendre les droits, de nos collaborateurs et collaboratrices et de celles et ceux qui mènent les recherches, par rapport à la publication des informations recueillies. Il s’agit à la fois de limiter le risque de provoquer ou d’aggraver des préjudices, et de veiller à ce qu’une évaluation rigoureuse du respect des conditions de sécurité soit effectuée.

Ces risques peuvent s’accroître à n’importe quelle étape du cycle de vie d’un projet. En fonction du contexte sécuritaire, il ne sera peut-être pas approprié de mener chacune des étapes, et toute élaboration de projet doit prendre en compte et atténuer les risques liés à la sécurité. Par exemple, dans certains cas, alerter les autorités d’une éventuelle enquête, même en demandant des informations sur les systèmes algorithmiques, peut s’avérer risqué.

Il est essentiel de consacrer du temps à la planification et à la préparation du projet, afin d’évaluer soigneusement les risques et les bénéfices potentiels, tant pour les populations affectées que pour l’équipe de recherche. Nous estimons que la méthode la plus sûre pour élaborer une stratégie d’atténuation des risques consiste à le faire en partenariat avec les parties intéressées, en s’appuyant sur leurs connaissances et leur expertise. Il est crucial de définir et de mettre en place des mécanismes d’orientation adéquats pour aider les victimes selon leurs besoins, et de réexaminer régulièrement les plans. Ne poursuivez pas le projet si le risque de préjudice est trop élevé et ne peut être atténué.

Toute recherche sur des systèmes algorithmiques réussie nécessite de rassembler des informations et des preuves provenant de sources diverses. Les témoignages et les entretiens avec des personnes affectées doivent être au cœur de ce travail, mais il est également essentiel de disposer d’un accès suffisant à l’information sur le système algorithmique en question. Il s’agit souvent d’un des plus grands obstacles auxquels les chercheur·euse·s se trouvent confrontés, les organismes gouvernementaux et les entreprises privées du monde entier étant généralement réticents à fournir les informations à des chercheur·euse·s externes et à s’exposer à un examen minutieux.

Ce chapitre se concentre sur les différentes mesures que les chercheur·euse·s peuvent prendre, après avoir identifié un système algorithmique en particulier à analyser, pour tenter de recueillir des informations au sujet de celui-ci. En pratique, bon nombre des activités présentées ci-dessous peuvent être menées à la fois durant la phase de préparation et au cours de l’enquête elle-même.

Dialoguer directement avec des représentant·e·s du gouvernement

Bien que les organismes du secteur public fassent souvent preuve d’opacité quant à leur déploiement de systèmes algorithmiques, ce sont eux que vous devez contacter en premier lieu, à condition que les considérations relatives à la sécurité et le contexte de gouvernance le permettent. Certes, tous les gouvernements ne voudront ou ne pourront pas forcément engager un dialogue et divulguer des informations, mais il est important que les équipes de recherche leur donnent la possibilité d’exprimer leur point de vue et d’expliquer pourquoi et dans quel objectif ils ont adopté un système algorithmique, car il s’agit d’une information essentielle pour examiner les fondements sociotechniques du système en question et comprendre les véritables motivations politiques qui sous-tendent son utilisation. Ce dialogue permet également aux équipes de recherche de mieux comprendre le système et de poser directement leurs questions aux responsables de son développement et de son déploiement.

Dans le cadre du rapport d’Amnesty International sur le déploiement de systèmes algorithmiques par Udbetaling Danmark (UDK), l’équipe de recherche a mené une série de réunions et d’entretiens pour discuter du recours à ces systèmes au sein des dispositifs de protection sociale au Danemark, qui ont tous été enregistrés et utilisés comme éléments de preuve dans le rapport final. Le premier entretien portait sur l’histoire des services de protection sociale dans le pays ainsi que sur les structures juridiques et de gouvernance qui les sous-tendent, tandis que le second se concentrait sur les aspects techniques de la transformation numérique de l’administration publique et présentait les systèmes algorithmiques en place.

Amnesty International a également proposé un audit collaboratif des algorithmes d’UDK, qui a par la suite été rejeté. D’autres enquêtes, comme celles de Lighthouse Reports, ont cependant démontré que des collaborations réussies étaient possibles entre des spécialistes externes et des représentant·e·s de l’État en vue d’évaluer l’impact de systèmes algorithmiques actuellement à l’étude et d’accroître la transparence.

Demandes déposées au titre de la liberté d’information (et équivalents)

Les lois relatives à la liberté d’information constituent un mécanisme essentiel, grâce auquel les équipes de recherche peuvent compenser le manque d’informations publiques sur un système algorithmique en particulier. Contrairement à l’exemple de demande déposée au titre de la liberté d’information présenté dans le chapitre sur la préparation du projet, les requêtes spécifiques déposées au titre de la liberté d’information portant sur un système algorithmique précis peuvent être utilisées pour demander des documents, des communications et d’autres ressources sur certains aspects du système en particulier (par exemple, la conception de l’algorithme, les données exploitées, sa supervision et sa gouvernance).

Ce processus s’avère souvent compliqué. Bien que de nombreuses lois sur l’accès à l’information obligent les gouvernements à répondre dans un délai précis (souvent moins d’un mois), beaucoup d’enquêtes ayant abouti ont nécessité des mois, voire des années, d’échanges avec des organismes du secteur public qui invoquent toutes sortes d’exemptions pour refuser les demandes de renseignements complémentaires. Il peut être utile de consulter les registres publics répertoriant les demandes déposées au titre de la liberté d’information et les réponses qui leur ont été apportées pour voir si d’autres personnes ont déjà posé des questions sur le système algorithmique qui vous intéresse. Au Royaume-Uni, par exemple, elles sont recensées sur un site Internet appelé What do they Know ? (Que savent-ils ?).

Dans le cadre d’un récent rapport publié au Royaume-Uni, des chercheuses ont analysé plus de 50 demandes au titre de la liberté d’information adressées au ministère du Travail et des Retraites au sujet de son utilisation de techniques avancées d’analyse des données. Bien que de nombreuses requêtes aient été rejetées, les chercheuses externes ont progressivement réussi à dresser un tableau de plusieurs systèmes algorithmiques déployés par le ministère, et notamment à recueillir des informations sur leurs objectifs, leur développement, ainsi que les procédures de supervision et de gouvernance.

Les demandes d’informations déposées au titre de la liberté d’information sur un système algorithmique en particulier doivent être adaptées en fonction des spécificités de celui-ci. En général, elles visent à obtenir des informations sur les trois piliers permettant d’examiner un système sur le plan technique : la documentation, le code et les données. Voici un lien vers un modèle de demande déposée au titre de la liberté d’information, qui vise avant tout à obtenir ce type d’informations, de documents et de correspondances :

• Documentation technique, y compris sur l’architecture du système ou la conception de l’algorithme
• Informations sur les données collectées/exploitées
• Exemples de données d’entrées et de sorties du modèle
• Analyses d’impact relatives à la protection des données
• Évaluations de l’impact sur l’égalité ou les droits humains
• Tests ou évaluations du système ayant été réalisés afin d’identifier les risques et mettre en place des mesures adaptées d’atténuation des biais algorithmiques
• Documentation relative aux contrôles appropriés de la gouvernance des données

Les exemples de données d’entrée et de sortie et la documentation technique (architecture du système ou conception de l’algorithme) sont essentiels et constituent le point de départ de toute recherche technique. Ils contiennent des informations sur les buts et les objectifs du modèle, ainsi que les variables et les caractéristiques utilisées. Celles-ci peuvent suffire à vous donner un aperçu technique du système en question.

Veuillez noter que le modèle est long. Or, il arrive que des demandes au titre de la liberté d’information soient rejetées au motif que retrouver et compiler les informations demandées prendrait trop de temps. Nous vous recommandons de déposer une demande plus courte, ou de procéder par étapes, en envoyant une partie différente du modèle à chaque fois.

Demandes d’accès aux données personnelles (et équivalents)

Dans certains pays, la législation relative à la protection des données accorde aux personnes le droit d’accéder aux informations détenues par une organisation à leur sujet et de savoir comment celles-ci sont traitées. Il faut pour cela déposer une demande d’accès aux données personnelles, qui aident les personnes à comprendre comment et pourquoi une organisation utilise leurs données, et à vérifier si elle le fait de manière légale. Ces lois obligent les organisations à fournir les informations suivantes :

• Une confirmation du fait qu’elles traitent bien les données personnelles de l’individu en question
• Une copie des données personnelles qu’elles détiennent
• Explanations of:
  • La raison pour laquelle elles les traitent
  • Les catégories de données utilisées
  • Les personnes et organismes avec qui elles les partagent
  • La durée pendant laquelle elles les conservent
  • Les droits des personnes à la rectification et à l’effacement de leurs données personnelles

Il peut s’agir d’un outil de recherche utile pour étudier des systèmes algorithmiques. Lorsque vous pensez que des personnes avec qui vous travaillez sont visées et affectées par un système algorithmique, déposer une demande d’accès aux données personnelles peut constituer une source d’informations supplémentaire sur les entrées qui alimentent le système et la façon dont celui-ci traite les données. Une demande d’accès aux données personnelles peut être déposée par une personne ou bien par une organisation au nom d’une personne. Si vous envisagez de collaborer avec quelqu’un pour présenter une telle demande, il est important de vous assurer que la personne sache de quoi il s’agit et ce qu’implique le processus, et qu’elle en accepte toutes les conditions (y compris le partage des résultats avec l’équipe de recherche au complet).

Entretiens avec des spécialistes

Mener des entretiens et établir des relations avec des spécialistes du domaine et/ou des questions numériques et technologiques, en particulier celles et ceux qui connaissent le contexte géographique, est essentiel pour tout travail de recherche.

Ces personnes peuvent vous fournir des informations complémentaires et des pistes qui ne sont pas toujours disponibles dans les documents publics ou les sources en ligne. Identifiez et interrogez des universitaires, des analystes, des praticien·ne·s et des personnes travaillant en première ligne, qui ont une expérience directe ou une connaissance approfondie d’un domaine (par exemple, l’application des lois ou la protection sociale), ou du fonctionnement de l’administration et des services publics locaux.

Pour cela, vous pouvez commencer par chercher des articles pertinents sur le système algorithmique ou le domaine en question, rédigés par des universitaires ou parus dans la presse, et joindre leurs auteur·e·s ainsi que toute personne citée qu’il vous semble intéressant de contacter. Vous pouvez également prendre contact avec n’importe quelle organisation de la société civile travaillant sur les droits numériques ou d’autres sujets utiles, car elles ont parfois d’autres connaissances non publiques sur le système. Veillez à toujours indiquer clairement les raisons de votre démarche, les objectifs de votre projet et en quoi leur contribution pourrait le faire avancer. Après avoir interrogé de manière formelle ou informelle des spécialistes des domaines en question, demandez-leur toujours s’ils peuvent vous recommander d’autres personnes à qui vous adresser.

Autres sources d’informations

Pour évaluer l’impact d’un système algorithmique, il n’est pas forcément nécessaire d’avoir accès à des informations issues du secteur public. Il est également important de se tourner vers d’autres sources d’informations qui peuvent servir dans ce cadre-là, en particulier pour analyser tout ce qui relève des biais et de la discrimination (vous trouverez plus de détails à ce sujet dans le chapitre « Audit algorithmique par le biais d’études empiriques »).

Après avoir identifié un système algorithmique, intéressez-vous aux données publiques potentiellement utiles dans le cadre d’une enquête. De nombreux États conservent des archives publiques accessibles au niveau national et régional, notamment des résultats d’enquête sur la prestation de services publics. De plus, les organismes du secteur public publient régulièrement des rapports trimestriels ou annuels, pouvant constituer de précieuses sources de données et d’informations sur les changements apportés à la fourniture et à la prestation de services.

Dresser la liste des données et des éléments de preuve dont il serait idéal de disposer pour mener des recherches constitue un bon point de départ. Une fois cet inventaire établi, les chercheur·euse·s peuvent alors tenter de regrouper eux-mêmes les informations en question, en recoupant celles qui sont disponibles publiquement avec celles qu’ils auront pu recueillir grâce à des demandes déposées au titre de la liberté d’information.

Lorsque les systèmes algorithmiques ont été conçus par des entreprises privées et achetés par des organismes du secteur public, les demandes déposées au titre de la liberté d’information sont souvent rejetées au motif que les informations demandées sont confidentielles. Dans ces cas-là, les chercheur·euse·s peuvent s’efforcer d’élaborer des ensembles de données centrés sur les résultats du système algorithmique en question, plutôt que de solliciter des informations sur ses rouages internes ou ses fonctionnalités.

L’équipe de Lighthouse Report qui a enquêté sur l’Agence suédoise de sécurité sociale a réussi à recueillir un tel ensemble de données, dont vous trouverez le détail dans le chapitre « Audit algorithmique par le biais d’études empiriques ».

Recherches sur les fournisseurs et analyse de la chaîne d’approvisionnement

Les systèmes algorithmiques reposent sur des chaînes d’approvisionnement complexes, chacune composée d’un réseau d’acteurs responsables des différents aspects de la conception et du développement du système. Ces différents acteurs sont souvent liés entre eux par des flux de données et, ensemble, ils permettent les fonctionnalités de la technologie en question. Par exemple, un fabricant de matériel informatique peut fournir des serveurs à un fournisseur de services cloud pour qu’il construise des centres de données. Celui-ci pourra ensuite louer de l’espace serveur à une entreprise spécialisée dans l’intelligence artificielle qui souhaite développer et déployer un produit d’IA. Le fournisseur de services cloud peut également proposer des interfaces de programmation d’application (API) permettant à l’entreprise d’IA de développer certaines parties de son produit à l’aide d’un code pré-écrit.

L’entreprise privée peut alors vendre son produit – par exemple, un système avancé de détection des fraudes – à des organes chargés de l’application des lois, ainsi qu’à des compagnies d’assurance et/ou des prestataires de soins de santé, sous prétexte d’améliorer l’efficacité de leur travail. Si le déploiement de ce système d’IA conduit, par exemple, à des atteintes discriminatoires continues aux droits de certains groupes, cela a des implications pour l’ensemble de la chaîne d’approvisionnement. Conformément aux Principes directeurs des Nations unies relatifs aux entreprises et aux droits de l’homme, les entreprises doivent appliquer dûment la diligence requise afin de mettre en évidence les atteintes aux droits humains susceptibles d’apparaître au niveau de n’importe quel maillon de la chaîne d’approvisionnement ou à tout moment du cycle de vie du produit, et adopter des mesures d’atténuation et de réparation lorsque les atteintes sont identifiées et avérées.

Il peut être difficile de remonter la totalité de la chaîne d’approvisionnement des technologies déployées par l’État ayant été développées, conçues ou directement achetées à des entreprises privées, et ce n’est pas nécessaire pour la totalité des travaux sur la responsabilité algorithmique. Il peut toutefois s’avérer utile d’examiner la chaîne d’approvisionnement afin d’identifier précisément les acteurs responsables des atteintes aux droits humains, mais aussi de trouver de nouvelles pistes pour faire évoluer la situation, en exerçant par exemple une pression externe sur les entreprises privées responsables.

Lorsque les outils technologiques sont achetés auprès d’entreprises privées, les chances que des demandes déposées au titre de la liberté d’information aboutissent sont plus faibles ; en revanche, cela offre d’autres possibilités de recueillir des informations sur un système.

• Appels d’offres et demandes de proposition : les États sont souvent tenus de publier les appels d’offres et les candidatures aux projets d’achats publics sur leur site Internet. Consultez et analysez les propositions et les contrats afin de faire l’inventaire des entreprises auxquelles le gouvernement achète des technologies numériques.
• Stratégies publiées : les organismes gouvernementaux publient régulièrement des stratégies publiques qui présentent en détail leurs projets de transformation numérique. Il s’agit souvent de documents très longs, mais ils sont très utiles pour se faire une idée de la stratégie globale et identifier les principaux acteurs concernés.
• Contrats de prêts et protocoles d’accord avec des acteurs internationaux : il se peut que le déploiement de nouveaux systèmes technologiques fasse partie d’une stratégie de développement à plus long terme élaborée avec des organisations internationales (telles que la Banque mondiale). Analyser n’importe quel contrat de prêt ou protocole d’accord ayant pu être signé avec des acteurs internationaux peut fournir des informations précieuses et, au minimum, apporter d’importantes informations contextuelles.
• Informations publiques et demandes de démonstrations de produits : les entreprises privées commercialisent publiquement leurs technologies numériques, vous pouvez donc analyser leurs supports publicitaires afin de mieux comprendre leur offre de produits et étudier les rapports qu’ils publient régulièrement pour mieux comprendre leurs opérations commerciales. Si vous le pouvez, essayez de demander une démonstration de leurs produits.
• Recherche d’entreprises et offres d’emploi : utilisez les outils de recherche d’informations sur les entreprises privées. La recherche d’entreprises vous permet de consulter les informations officielles sur une entreprise, enregistrées dans n’importe quelle base de données du registre du commerce. Pensez à analyser plusieurs offres d’emploi publiées par l’entreprise afin de mieux comprendre sa structure organisationnelle.
• Courriers à l’entreprise : bien que ces communications n’entrent pas dans le cadre des lois relatives à la liberté d’information, vous pouvez écrire aux entreprises privées afin de leur demander des informations au sujet de leurs activités commerciales, des services qu’elles proposent et de leur obligation de diligence en matière de droits humains. Lorsque vous nommez des entreprises privées dans une publication, accordez-leur toujours la possibilité de répondre à toute déclaration et à tout élément de preuve avancé au sujet de leur implication dans des risques en matière de droits humains ou des atteintes aux droits humains.

Utiliser le cadre du droit international relatif aux droits humains permet d’adopter une analyse du point de vue des droits humains des préjudices causés par des systèmes numériques et offre la possibilité de demander des comptes aux États au sujet des obligations juridiques qu’ils se sont engagés à respecter. Lorsqu’un État déploie des systèmes d’IA dans les services qu’il fournit, il met en péril un vaste éventail de droits humains. Ce chapitre en décrit certains et donne des exemples tirés d’études de cas.

Ce chapitre propose une liste non exhaustive de méthodes de recherche axées sur les droits humains, qui peuvent vous aider à enquêter sur des systèmes algorithmiques. Il aborde ensuite les risques en matière de droits humains et les atteintes aux droits humains que peuvent causer les systèmes algorithmiques, ainsi que des études de cas.

Méthodes de recherche axées sur les droits humains et sources de données

Mener des recherches axées sur les droits humains au sujet d’un système algorithmique nécessite une compréhension approfondie, tenant compte des différentes facettes et de la spécificité de chaque contexte, des enjeux complexes en matière de droits humains qui découlent de l’utilisation d’algorithmes dans le secteur public, ainsi qu’une compréhension des enjeux politiques du système en question. Voici quelques-unes des méthodes et des sources d’informations primaires et secondaires disponibles :

• Groupes de discussion et témoignages des populations affectées : les témoignages constituent des éléments de preuve au cœur de toute recherche sur les droits humains. Mener des entretiens ou des discussions de groupe avec les personnes et les populations affectées permet de corroborer toute preuve de préjudices algorithmiques. Cela peut être associé à des méthodes participatives, ou encore mis en œuvre de manière à permettre aux populations de mener leurs propres recherches.
  
  
• Analyse juridique : analyser les normes et instruments internationaux relatifs aux droits humains pertinents, les rapports et études utiles publiés par les Nations unies, les interprétations nationales des normes internationales, et la législation locale encadrant l’utilisation de systèmes algorithmiques par des organismes du secteur public (tels que les organes chargés de l’application des lois ou les services de protection sociale). Vous pouvez également consulter d’autres sources de données, comme des comptes rendus d’audience et de décisions prises par des organes chargés de la promotion de l’égalité et par des médiateur·trice·s.
  
  
• Analyse de discours : analyser le contexte sociopolitique dans lequel le système algorithmique est déployé. Pensez à observer la façon dont les médias traitent le sujet, les entretiens que des représentant·e·s du gouvernement leur accordent et les déclarations officielles. Menez des entretiens avec les personnes qui travaillent sur les questions de justice sociale à l’échelle locale pour mieux comprendre le contexte.
  
  
• Résultats d’enquêtes : vous pouvez demander à des personnes visées par la technologie ou le système de répondre à un bref questionnaire. Dans le cadre du rapport d’Amnesty International sur le recours à la technologie par le gouvernement britannique au sein du système de protection sociale, des enquêtes ont été réalisées auprès des personnes demandeuses d’aide sociale pour comprendre leur expérience.
  
  

Les sources du droit relatif aux droits humains

Si plusieurs droits humains se fondent sur le droit international, la plupart sont inscrits dans des traités internationaux et régionaux juridiquement contraignants pour les États parties.

Au niveau international, ceux-ci comprennent

• le Pacte international relatif aux droits civils et politiques (PIDCP),
• le Pacte international relatif aux droits économiques, sociaux et culturels (PIDESC),
• la Convention internationale sur l’élimination de toutes les formes de discrimination raciale,
• la Convention sur l’élimination de toutes les formes de discrimination à l’égard des femmes,
• la Convention relative aux droits de l’enfant
• et la Convention relative aux droits des personnes handicapées.

Pour savoir si un État est ou non partie à un traité en particulier, vous pouvez consulter cette page web.

En pratique, la signification de ces droits évolue avec le temps, et il convient de se référer à des formes de législation non contraignantes pour mieux les interpréter. Les sources de droit non contraignant comprennent des résolutions et des déclarations émanant d’organes des Nations unies, ainsi que des rapports de spécialistes, tels que les observations générales et d’autres documents publiés par les organes de surveillance des traités, chargés de l’interprétation de certains traités en particulier, et les rapports de titulaires de mandats thématiques aux Nations unies (« procédures spéciales »).

De nombreux États sont également tenus de respecter des traités régionaux relatifs aux droits humains. Parmi ceux-ci figurent notamment la Convention américaine relative aux droits de l’homme (au sein du système interaméricain), la Charte africaine des droits de l’homme et des peuples (au sein du système africain des droits humains), ainsi que la Charte des droits fondamentaux de l’Union européenne et la Convention européenne des droits de l’homme (au sein respectivement du système de l’Union européenne et de celui du Conseil de l’Europe). Des tribunaux et organes de suivi des traités régionaux, tels que la Commission interaméricaine des droits de l’homme et la Cour interaméricaine des droits de l’homme, la Cour africaine des droits de l’homme et des peuples, la Cour de justice de l’Union européenne et la Cour européenne des droits de l’homme, examinent des affaires et prononcent des jugements relatifs à la mise en œuvre de ces normes. Les systèmes régionaux disposent souvent de leurs propres titulaires de mandats thématiques. Certains tribunaux sous-régionaux, tels que la Cour de justice d’Afrique de l’Est ou la Cour de justice de la Communauté économique des États de l’Afrique de l’Ouest (CEDEAO), peuvent également prononcer des jugements relatifs à l’interprétation de traités régionaux.

En plus des traités relatifs aux droits humains, certains traités et réglementations internationaux ou régionaux en matière de protection des données offrent également des garanties applicables. C’est le cas de la Convention pour la protection des personnes à l’égard du traitement automatisé des données à caractère personnel (« Convention 108+ », ouverte à la signature de pays non membres du Conseil de l’Europe), de la Convention de l’Union africaine sur la cybersécurité et la protection des données à caractère personnel et du règlement général sur la protection des données (RGPD) de l’Union européenne.

En outre, le droit national, et notamment les décisions des tribunaux nationaux, protège – ou devrait protéger – les droits humains.

Droit à la vie privée

Le droit au respect de la vie privée est garanti par le Pacte international relatif aux droits civils et politiques, un traité relatif aux droits humains essentiel et contraignant ratifié par 174 des 193 États membres des Nations unies, ainsi que par des traités régionaux et par le droit national dans de nombreux États. Au titre du droit relatif aux droits humains et des normes connexes, toute restriction du droit à la vie privée doit respecter le principe de légalité, poursuivre un but légitime et être nécessaire et proportionnée à celui-ci.

Les stratégies adoptées par les États-providence numériques pour détecter les fraudes peuvent porter atteinte au droit à la vie privée. En effet, ceux-ci ont souvent recours à une fusion de diverses bases de données gouvernementales afin de détecter de potentielles fraudes au sein du système de protection sociale. Cela entraîne généralement une collecte et un traitement à grande échelle de ces données personnelles, ce qui nuit au droit à la vie privée. Certains systèmes de protection sociale s’appuient à la fois sur le traitement de données personnelles et sur des formes « analogiques » de surveillance, en demandant notamment aux personnes de dénoncer leurs voisin·e·s et leurs ami·e·s si elles les soupçonnent de commettre des fraudes aux prestations sociales. Ces pratiques renforcent encore davantage les violations du droit au respect de la vie privée. L’utilisation, par certains États, de formes de surveillance à la fois numériques et analogiques démontre l’importance d’une approche globale de la recherche sur les droits humains.

Étude de cas : Danemark

Les recherches d’Amnesty International sur le système de prestations sociales du Danemark, géré par l’organisme public Udbetaling Danmark (UDK) et l’entreprise Arbejdsmarkedets Tillægspension (ATP), ont révélé une surveillance généralisée au sein de ce système et des atteintes au droit à la vie privée.

Ces recherches ont montré que les autorités danoises appliquaient des dispositions législatives permettant la collecte et le traitement à grande échelle des données personnelles des bénéficiaires de prestations sociales à des fins de détection des fraudes. Ces dispositions autorisent la fusion des bases de données gouvernementales et l’utilisation d’algorithmes de lutte contre la fraude pour analyser ces données, ainsi que l’utilisation sans la moindre régulation des réseaux sociaux, voire, selon certaines informations, de la géolocalisation dans le cadre d’enquêtes concernant d’éventuelles fraudes. Ces données sont collectées auprès des habitant·e·s bénéficiaires de prestations sociales et des membres de leurs foyers sans leur consentement. La collecte et le regroupement d’importants volumes de données personnelles contenues dans les bases de données gouvernementales obligent de fait les bénéficiaires de prestations à renoncer à leur droit au respect de la vie privée et à la protection des données. La collecte et le traitement d’importants volumes de données – y compris de données sensibles comportant des renseignements susceptibles d’indiquer l’origine ou l’appartenance ethnique, l’état de santé, le handicap ou l’orientation sexuelle des personnes – et le recours aux réseaux sociaux constituent des méthodes invasives et disproportionnées de détection des fraudes. De plus, les recherches d’Amnesty International ont montré que seulement 30 % des enquêtes sur des fraudes présumées avaient été engagées à la suite de recommandations de l’algorithme, ce qui soulève des inquiétudes quant à la nécessité de traiter ces données.

Les personnes demandeuses ou bénéficiaires de prestations sociales sont également soumises à des formes de surveillance et de contrôle « classiques » ou « analogiques » dans le cadre de la lutte contre la fraude. Elles consistent par exemple pour les municipalités à réexaminer très régulièrement l’éligibilité des bénéficiaires et à enquêter sur les affaires ou les rapports transmis par d’autres services publics (administration fiscale, police, etc.). Il peut également s’agir de signalements anonymes émanant de particuliers. Appliquées en association avec des méthodes de suivi numérique à la portée trop large, ces formes de contrôle analogiques aboutissent à la mise en place d’un système de surveillance pernicieux contraire au droit à la vie privée.

Droit à l’égalité et à la non-discrimination

Le droit à la non-discrimination et le droit à l’égalité sont tous deux garantis par le Pacte international relatif aux droits civils et politiques (PIDCP), ainsi que par la plupart des autres traités internationaux et régionaux, et par le droit national dans la majorité des États. Le Comité des droits de l’homme des Nations unies (CDH) définit la discrimination comme « toute distinction, exclusion, restriction ou préférence fondée notamment sur la race, la couleur, le sexe, la langue, la religion, les opinions politiques ou autres, l’origine nationale ou sociale, la fortune, la naissance ou toute autre situation, et ayant pour effet ou pour but de compromettre ou de détruire la reconnaissance, la jouissance ou l’exercice par tous, dans des conditions d’égalité, de l’ensemble des droits de l’homme et des libertés fondamentales ». Le PIDCP dispose que « toutes les personnes sont égales devant la loi » et que celle-ci doit interdire « toute discrimination et garantir à toutes les personnes une protection égale et efficace contre toute discrimination, notamment de race, de couleur, de sexe, de langue, de religion, d’opinion politique et de toute autre opinion, d’origine nationale ou sociale, de fortune, de naissance ou de toute autre situation ».

La dématérialisation et le recours à l’automatisation et à des systèmes algorithmiques de prise de décision peuvent avoir des conséquences négatives disproportionnées pour certaines populations, entraînant des atteintes aux droits à l’égalité et à la non-discrimination. Comme l’a affirmé l’ancienne rapporteuse spéciale des Nations unies sur les formes contemporaines de racisme, les systèmes d’intelligence artificielle peuvent conduire à des formes de discrimination lorsqu’ils sont utilisés pour classifier, différencier, classer et catégoriser, car ils « reproduisent les biais présents dans les grands ensembles de données et peuvent imiter et reproduire les partis pris implicites des êtres humains, même en l’absence de règles algorithmiques explicites qui créent des stéréotypes ». Elle a déclaré que « la combinaison, intentionnelle ou non, de la conception et de l’utilisation de différentes nouvelles technologies numériques peut créer des structures discriminatoires sur le plan racial qui, globalement ou systématiquement, entravent la jouissance des droits humains de certains groupes de personnes, en raison de leur race, de leur appartenance ethnique ou de leur origine nationale, qui viennent s’ajouter à d’autres caractéristiques ». Elle a appelé les États à mettre un terme « non seulement [au] racisme et [à] l’intolérance explicites dans la conception et l’utilisation des nouvelles technologies numériques, mais aussi, avec la même énergie, [aux] formes indirectes et structurelles de discrimination raciale qu’engendrent la conception et l’utilisation de ces technologies ».

De façon générale, l’utilisation de systèmes d’intelligence artificielle et de décision automatisée dans le cadre du versement des prestations sociales risque de renforcer des pratiques discriminatoires envers des groupes déjà marginalisés.

Dans le contexte du recours à l’intelligence artificielle et à des systèmes algorithmiques pour prendre des décisions, il est particulièrement important de comprendre la différence entre discrimination directe et indirecte.

• On parle de discrimination directe lorsqu’il est fait, entre différents groupes de personnes, une distinction explicite qui empêche certains groupes de jouir de leurs droits au même titre que les autres. Par exemple, une loi imposant aux femmes, et pas aux hommes, de justifier d’un certain niveau d’études pour pouvoir voter constituerait une discrimination directe.
  
• On parle de discrimination indirecte lorsqu’une loi, une politique ou une pratique est présentée en des termes neutres (c’est-à-dire sans distinction explicite) mais désavantage de manière disproportionnée un ou plusieurs groupes spécifiques. Par exemple, une loi imposant à toute la population de justifier d’un certain niveau d’études pour pouvoir voter aurait un effet discriminatoire indirect sur les groupes qui sont moins susceptibles d’avoir accès à ce niveau d’études (comme des groupes ethniques défavorisés, les femmes, ou d’autres groupes, en fonction de la situation).

Si certains systèmes algorithmiques ont intégré des caractéristiques protégées qui conduisent le système à opérer une discrimination directe entre des groupes de personnes, d’autres se sont avérés indirectement discriminatoires, souvent en raison de l’intégration de variables de substitution.

Une variable de substitution est une donnée (ou variable), telle qu’une caractéristique individuelle qui décrit des êtres humains, utilisée par un système d’IA pour établir des distinctions entre des personnes et/ou des groupes sociaux. Une variable de substitution peut passer pour une donnée anodine à intégrer dans un algorithme. Pourtant, lorsqu’elle est directement ou indirectement corrélée à une caractéristique protégée telle que le genre, l’âge, la race ou l’origine ethnique, une variable de substitution conduit le système d’IA à prendre des décisions biaisées. Par exemple, lorsqu’une information telle qu’un code postal est intégrée à un algorithme, elle est souvent corrélée à un statut socioéconomique et à une identité raciale, dont elle devient une variable de substitution. Elle risque ainsi d’entraîner une discrimination indirecte contre certains groupes raciaux ou ethniques en raison d’une ségrégation résidentielle historique.

---

Étude de cas : Serbie

En mars 2022, la Loi relative à la carte sociale est entrée en vigueur, introduisant l’automatisation dans le processus d’octroi ou de refus d’une aide sociale au titre de divers programmes. La Loi relative à la carte sociale repose sur le registre des cartes sociales, un système d’information complet et centralisé qui regroupe automatiquement les renseignements personnels concernant les bénéficiaires de l’aide sociale et les personnes qui en font la demande, à partir de plusieurs bases de données officielles de l’État.

La mise en œuvre de la Loi relative à la carte sociale et du registre des cartes sociales ne saurait être dissociée des contextes sociaux et historiques dans lesquels elle s’inscrit. Bien que la législation serbe, et notamment la Loi relative à la carte sociale, garantisse une égalité formelle entre toutes les personnes, l’application concrète de ce texte et du registre des cartes sociales n’aboutit pas à une égalité réelle ou de fait.

Des lacunes et des déséquilibres dans les données traitées par les systèmes automatisés ou semi-automatisés peuvent entraîner des discriminations. Une personne travaillant dans le domaine de l’aide sociale a expliqué à Amnesty International qu’avant la mise en œuvre du registre des cartes sociales, les travailleurs et travailleuses sociaux savaient que certaines données étaient erronées ou obsolètes, en particulier celles qui concernent des groupes marginalisés tels que les Roms. Il est par exemple arrivé que plusieurs voitures immatriculées au nom d’une personne vivant dans une extrême pauvreté aient été considérées comme des actifs importants pour calculer l’éligibilité à l’aide sociale, alors qu’il s’agissait de véhicules vendus sous forme d’épaves ou qui n’existaient même plus.

Le ministère du Travail serbe a affirmé que les lois régissant le système de sécurité sociale, notamment la Loi relative à la carte sociale, ne traitaient pas différemment les Roms ou tout autre groupe marginalisé. Le ministère revendique également sa légitime utilisation de « données exactes et précises, nécessaires pour garantir l’exercice des droits en matière de sécurité sociale ». Il a refusé de reconnaître que les ensembles de données apparemment inoffensifs et objectifs utilisés comme indicateurs d’une situation socioéconomique ne prenaient souvent pas en compte le contexte spécifique propre à une population marginalisée, comme les conditions de vie, les obstacles à l’emploi et les besoins particuliers.

En raison du contexte historique et structurel de la Serbie, de nombreuses personnes issues de milieux marginalisés continuent d’avoir un faible niveau d’alphabétisation et de maîtrise du numérique. Elles font donc face à des difficultés dès lors qu’elles interagissent avec des services administratifs afin de mettre à jour leur dossier ou de contester leur exclusion du système d’aide sociale. Ainsi, le registre des cartes sociales constitue un obstacle supplémentaire pour accéder à l’aide sociale, qui peut s’apparenter à une discrimination indirecte.

Les recherches d’Amnesty International ont montré que le registre des cartes sociales n’avait pas été conçu pour prendre en compte les difficultés et les obstacles rencontrés par les groupes les plus dépendants de l’aide sociale, tels que les Roms, les personnes en situation de handicap et les femmes. Les femmes, représentées dans chacun de ces groupes, sont plus susceptibles d’être éligibles à des prestations sociales, mais peuvent également se heurter à des obstacles intersectionnels supplémentaires à l’exercice de leurs droits.

---

Au-delà des droits à l’égalité, au respect de la vie privée et à la non-discrimination

L’utilisation d’outils automatisés par des États-providence peut avoir des conséquences importantes sur le droit à la vie privée et à la non-discrimination. Cependant, élargir l’analyse au-delà de ces droits permet une compréhension plus approfondie de la façon dont ces systèmes affectent les populations.

Droit à la sécurité sociale et à un niveau de vie suffisant

En vertu du Pacte international relatif aux droits économiques, sociaux et culturels (PIDESC), les États sont tenus de respecter, protéger et concrétiser un vaste ensemble de droits humains axés sur l’obligation qui incombe aux États d’assurer le bien-être de leur population. Ces droits sont également protégés par de nombreux traités régionaux et par la législation nationale dans beaucoup de pays.

Le droit à la sécurité sociale et à un niveau de vie suffisant fait partie des dispositions clés du PIDESC pertinentes pour analyser l’utilisation de systèmes de protection sociale automatisés. Le droit à un niveau de vie suffisant comprend les droits « à la nourriture, à l’eau et au logement » ; si les prestations sociales ne sont pas versées, cela met en péril l’exercice de ces droits fondamentaux. Par exemple, le recours à des systèmes de protection sociale automatisés peut également restreindre l’accès aux prestations liées à la santé ou au handicap, ce qui risque d’avoir un impact direct sur le droit à un niveau de vie suffisant et le droit à la santé.

Droit à la liberté d’association et de réunion pacifique

Depuis des années, la société civile alerte sur le fait que les États profitent d’un « âge d’or de la surveillance », puisqu’une part toujours plus grande de nos vies en ligne et hors ligne leur devient accessible, grâce à un nombre croissant de nouveaux outils conçus pour nous surveiller. Amnesty International a recensé de nombreux types de technologies dont l’utilisation affecte les droits humains, notamment le droit à la liberté d’association et de réunion pacifique, garanti par les articles 21 et 22 du PIDCP, ainsi que par la Convention relative aux droits de l’enfant, la Convention relative aux droits des personnes handicapées et quantité de traités régionaux, sans oublier le droit national dans de nombreux États.

Il est inquiétant de constater que le recours à la technologie de reconnaissance faciale, profondément incompatible avec les droits humains, devient de plus en plus courant. Amnesty International a recueilli des informations sur des atteintes aux droits humains liées à l’utilisation de technologies de reconnaissance faciale commises dans le Territoire palestinien occupé, à Hyderabad (Inde) et à New York. En France, à l’approche des Jeux olympiques de Paris, les autorités ont mis en place un système de vidéosurveillance assistée par intelligence artificielle. Aux Pays-Bas, l’utilisation insuffisamment réglementée de caméras lors des manifestations pacifiques et le manque de transparence qui accompagne cette pratique ont participé à décourager l’exercice du droit de manifester. En Hongrie, des réformes législatives très préoccupantes visent à autoriser le recours à la technologie de reconnaissance faciale afin de cibler, entre autres, les marches des fiertés.

L’utilisation abusive de ces outils a des effets particulièrement néfastes sur les populations marginalisées. Les personnes migrantes, notamment, sont trop souvent privées des protections réglementaires censées s’appliquer et traitées comme des « cobayes » afin de tester des technologies controversées, telles que des outils d’identification biométrique. La situation précaire des personnes migrantes peut pousser les autorités à les prendre pour cible pour avoir exercé leur droit, pourtant protégé, de manifester, y compris par le biais de logiciels de suivi et de surveillance des réseaux sociaux, comme Amnesty International l’a montré dans le cas des États-Unis.

Ce chapitre traite des « études empiriques » sur les systèmes algorithmiques, un terme que nous utilisons pour désigner l’évaluation de ces systèmes par le biais de l’expérimentation et des données statistiques. Il existe différentes méthodes et approches pour réaliser cette évaluation, souvent regroupées sous le terme générique d’« audit algorithmique ».

Les méthodes d’audit algorithmique trouvent leurs racines dans les techniques d’évaluation classiques en sciences sociales, généralement utilisées pour étudier les discriminations raciales et de genre dans des situations de la vie réelle (comme présenter une candidature à un poste ou déposer un dossier locataire). L’audit algorithmique est désormais une méthode de recherche technique très répandue pour identifier les pratiques problématiques liées à l’utilisation de systèmes algorithmiques. Il s’agit d’un terme générique qui désigne un éventail d’approches permettant d’évaluer des systèmes algorithmiques, de la consultation de documents relatifs à la gouvernance à l’évaluation des données de sortie et de l’impact d’un algorithme, en passant par l’analyse de son fonctionnement interne. L’objectif fondamental de n’importe quel audit consiste à examiner les résultats d’un algorithme, puis à retracer leur origine en analysant les données d’entrée afin de se faire une meilleure idée du fonctionnement de l’algorithme en question.

Mener des audits algorithmiques peut permettre de mieux comprendre :

• Les biais ou les discriminations systématiques à l’égard de certains groupes et comment des inégalités structurelles existantes peuvent être automatisées, en particulier pour les personnes ayant des identités intersectionnelles.
• L’échelle à laquelle un système est déployé.
• Les causes profondes des préjudices, qui se trouvent dans la conception, le déploiement ou l’utilisation et la collecte des données de l’algorithme, ainsi que les hypothèses (souvent politiques ou sociales) confortées et perpétuées par sa mise en œuvre.
• Le fonctionnement interne de l’algorithme.

Les algorithmes déployés dans le secteur public ne présentent pas tous le même degré de complexité. Certains utilisent des approches fondées sur l’apprentissage automatique pour établir des prévisions et des classifications prospectives au sujet de certaines personnes, tandis que d’autres sont des systèmes automatisés qui prennent des décisions en se fondant sur un ensemble de règles prédéterminées. Par conséquent, la méthode d’audit choisie doit refléter ce degré de complexité : si certains systèmes nécessitent de mettre en place un exercice extrêmement technique (qui peut viser la rétro-ingénierie de l’algorithme, à partir d’informations et de données connues), d’autres requièrent une approche moins complexe (par exemple, une analyse d’informations accessibles au public afin de trouver des preuves des effets différenciés en fonction des groupes).

Cela dit, la plupart des méthodes d’audit algorithmique nécessitent un certain niveau d’expertise technique, notamment de solides connaissances dans le domaine de l’apprentissage automatique et des statistiques, ainsi qu’une certaine maîtrise des langages de programmation, tels que Python ou R. Nous avons conscience que les organisations travaillant sur les questions liées à la responsabilité algorithmique ne disposent pas toutes de cette expertise, mais vous pouvez contacter des spécialistes des technologies et d’autres organisations (comme Amnesty International) pour trouver des partenaires disposés à vous aider.

Ci-dessous, vous trouverez d’abord un bref aperçu des méthodes permettant d’identifier les biais statistiques et de vérifier l’équité d’un système. Nous vous présentons ensuite un éventail d’approches ayant été adoptées dans différents scénarios, en fonction du niveau d’accès et des informations que les chercheur·euse·s ont réussi à obtenir sur un système algorithmique. On peut les répartir en deux grandes catégories d’audits :

1. Audit en « boîte blanche » : lorsque vous disposez d’un accès suffisant au fonctionnement interne d’un algorithme, grâce aux documents, au code et aux données dont vous disposez pour pouvoir soit l’évaluer directement, soit lancer un processus de rétro-ingénierie à partir de ces informations.
2. Audit en « boîte noire » : lorsqu’on ne vous a pas accordé l’accès au fonctionnement interne, aux données d’entrée ou à la conception d’un algorithme, vous pouvez tout de même effectuer des tests en collectant des données sur son impact.

Discussion sur les biais statistiques et l’équité

Les discussions sur la manière d’aborder les tests statistiques visant à déterminer si les systèmes algorithmiques sont biaisés ou injustes ont pris de l’ampleur après la publication en 2016 de l’article « Machine Bias », par le site d’investigation états-unien ProPublica. « Machine Bias » était le nom de l’enquête menée par ce média au sujet de COMPAS, un algorithme déployé au sein du système judiciaire des États-Unis, conçu pour évaluer le risque qu’une personne commette une infraction à l’avenir, et dont les résultats étaient ensuite utilisés pour prendre des décisions en matière de libération sous caution. Cette enquête a révélé que COMPAS comportait des biais, puisqu’il était plus susceptible de désigner à tort les suspect·e·s noirs comme risquant de commettre de futures infractions que les suspect·e·s blancs. Cependant, l’entreprise qui a développé le système COMPAS a rejeté ces conclusions et contesté la métrique utilisée pour évaluer les biais.

Dans les années qui ont suivi, une multitude de définitions statistiques de l’équité ont été élaborées pour déterminer si un algorithme d’apprentissage automatique comporte des biais défavorables à certains groupes. L’idée principale sur laquelle elles se fondent toutes consiste à comparer le degré d’exactitude des décisions prises par un système algorithmique en fonction des différents groupes démographiques. Cependant, pour mesurer l’équité, il ne s’agit pas uniquement de prendre en compte des critères techniques, il faut également interroger le système sous un angle juridique, philosophique et sociologique. La définition de l’équité sur laquelle on s’appuie peut avoir des implications différentes, en fonction de comment, contre qui et dans quel contexte le système algorithmique en question est déployé, et selon la définition de la discrimination sur laquelle les différents systèmes juridiques s’appuient. Dans le cas des technologies de reconnaissance faciale, par exemple, en plus du travail important qui a été mené pour démontrer que celles-ci étaient moins précises pour les personnes de couleur, toute évaluation de l’équité doit également déterminer si l’usage de technologies de reconnaissance cible l’ensemble des groupes démographiques de la même manière.

Lorsque vous effectuez des tests afin d’évaluer l’équité statistique ou les biais d’un système, nous vous recommandons de mesurer différentes formes d’équité. Pour cela, vous pouvez faire appel à des organisations regroupant des universitaires, des membres de la société civile ou des journalistes, si vous ne disposez pas de cette expertise en interne. La question de l’équité est complexe, mais en guise de point d’entrée, nous vous proposons ci-dessous un aperçu général de ce en quoi consiste l’évaluation de l’équité statistique, afin de vous aider à mieux la situer dans une enquête plus large sur un système algorithmique. Gardez à l’esprit qu’il s’agit simplement d’un élément parmi d’autres dans la boîte à outils sur la responsabilité algorithmique : ces définitions de l’équité peuvent certes s’avérer instructives, mais elles ont leurs limites. Même si les critères d’une définition de l’équité en particulier sont remplis, d’autres formes de discrimination peuvent encore subsister. Nous avons sélectionné plusieurs définitions, listées ci-dessous et illustrées par des exemples. À noter que vous trouverez un examen approfondi de la question ici, et davantage de détails techniques ici.

1. Test de parité démographique

La parité démographique est respectée lorsqu’on obtient une proportion égale de prédictions positives entre deux groupes. En s’appuyant uniquement sur cette définition, si un système remplit le critère de parité démographique, cela signifie qu’il fonctionne de manière « équitable ». Par exemple, dans le cas d’un algorithme d’évaluation du risque tel que décrit dans l’enquête sur COMPAS, le système respecterait le critère de parité démographique si la proportion de personnes se voyant refuser une libération sous caution était la même dans tous les groupes démographiques.

2. Test de parité prédictive

La parité prédictive est respectée lorsque les prédictions concernant deux groupes présentent le même taux d’exactitude. Autrement dit, sur l’ensemble des prédictions positives concernant l’un et l’autre groupe, on constate une part égale de prédictions exactes (vrais positifs). Dans le cas de COMPAS, parmi les personnes que le système identifie comme « à haut risque », la parité prédictive serait respectée si la proportion de récidivistes était la même à travers les différents groupes démographiques.

3. Test du taux d’erreur des faux positifs

Pour que le critère du taux d’erreur des faux positifs soit rempli, il faut que le taux de faux positifs s’avère identique dans les deux groupes. Le système COMPAS respecterait cette condition si, parmi les personnes qui ne récidivent pas, l’algorithme avait classé à tort la même proportion d’entre elles comme « à haut risque » à travers les différents groupes démographiques.

Analyser la documentation : comment extraire des informations à partir des sources dont vous disposez

Comme nous l’avons vu dans le chapitre sur l’accès à l’information, les documents internes relatifs à un système algorithmique font partie des éléments de preuve souvent recherchés et obtenus grâce à des demandes déposées au titre de la liberté d’information. Ces documents offrent généralement une description détaillée de l’architecture, des sources de données (données d’entrée), de la conception et de toute évaluation du système algorithmique. Comme nous l’avons souligné au sujet des modèles de demandes déposées au titre de la liberté d’information mentionnés précédemment, il faut toujours demander des informations sur les biais ou sur de potentielles évaluations statistiques du système réalisées en interne par l’organisme du secteur public qui l’utilise. Ces documents vous parviendront toujours remaniés, d’une manière ou d’une autre. Lorsque vous les examinez, voici plusieurs étapes que vous pouvez suivre :

1. Dressez une liste des points à retenir : essayez d’identifier les données et les informations qui alimentent le système algorithmique, le traitement qui a été fait de ces données avant leur intégration au modèle, les modèles algorithmiques choisis et les raisons ayant motivé ces choix, les résultats générés par le système et l’usage qui en est fait.
2. Analysez les choix en matière de conception : le développement et la conception d’un système algorithmique impliquent un certain nombre de décisions, par exemple sur les données à intégrer ou non, ou sur le modèle à utiliser. Ces choix n’ont rien de neutre et peuvent être remis en question. Nous conseillons aux chercheur·euse·s qui manquent de connaissances techniques de prendre contact avec des spécialistes du domaine pour demander de l’aide.
3. Analysez les modifications : celles-ci ne sont pas toujours effectuées correctement, faites preuve de vigilance à ce sujet.
4. Utilisez ces informations pour poser des questions complémentaires : si vous avez le temps de déposer d’autres demandes au titre de la liberté d’information ou de mener des entretiens avec des représentant·e·s du gouvernement, élaborez des questions techniques plus précises en vous basant sur les informations recueillies. Vous trouverez quelques exemples ci-dessus.
5. Comparez ces documents avec les témoignages et les éléments de preuve que vous avez recueillis : demandez-vous à quel point ces informations techniques concordent avec les expériences des personnes et des populations affectées. Lorsqu’un système algorithmique de prise de décision est utilisé pour évaluer des risques ou pour déterminer qui aura accès à des services publics, observez-vous certaines tendances concernant les personnes qui s’en trouvent privées, et quel lien pouvez-vous établir avec les informations disponibles dans la documentation technique que vous avez obtenue ?

SCÉNARIO 1 : Accès au code et aux données : évaluation immédiate de l’efficacité du système

Dans quelques rares circonstances, il se peut que vous obteniez l’accès à tout le matériel nécessaire pour évaluer un système algorithmique. L’équipe de Lighthouse Reports est parvenue à atteindre ce niveau d’accès dans le cadre de son étude sur le système algorithmique de protection sociale mis en place par la municipalité de Rotterdam. Elle a réussi à consulter :

• Le code source utilisé pour entraîner le modèle
• La liste des variables et leur importance relative
• Des évaluations de la performance du modèle et le manuel remis par la ville de Rotterdam aux spécialistes des données
• De la documentation sur les données utilisées par le modèle
• Le fichier du modèle d’apprentissage automatique entraîné et les données brutes

Cela a permis à Lighthouse Reports d’évaluer directement les performances du modèle et de réaliser des tests statistiques pour identifier les biais statistiques potentiels et vérifier l’équité du modèle. Vous trouverez un guide expliquant leur méthode de travail ici.

SCÉNARIO 2 : Accès au code : rétro-ingénierie et simulations

Un scénario plus probable serait que vous ayez accès à des documents expurgés et, dans certains cas, au code source du système algorithmique. Il en était ainsi lors de l’enquête de Lighthouse Report sur le déploiement, par un organisme de protection sociale français, la CNAF, d’un algorithme de notation visant à prédire les risques de fraude.

Ce niveau d’accès a permis à l’équipe de recherche de reconstruire le système algorithmique et d’effectuer des tests statistiques sur ses performances. Elle a utilisé des données démographiques disponibles au public pour faire fonctionner le modèle reconstruit et évaluer quelles données d’entrée avaient le plus d’impact sur les résultats. L’équipe a également créé des « profils » imitant différentes catégories de bénéficiaires de prestations sociales afin d’identifier les personnes particulièrement exposées au risque de discrimination par le système algorithmique. Pour une description complète de la méthodologie utilisée, cliquez ici.

SCÉNARIO 3 : accès aux résultats : évaluation de l’algorithme sans connaître les données d’entrée du modèle

Dans de nombreux cas, il se peut que vous n’ayez accès à aucune information au sujet du code source ou des données d’entrée d’un système algorithmique. De nombreux États se sont montrés réticents à fournir ce genre d’informations, au motif qu’elles sont confidentielles ou que cela réduirait l’efficacité du système, puisque la population disposerait alors de trop d’informations sur son fonctionnement.

Vous pouvez néanmoins contourner ce problème en demandant des informations sur les données de sortie et les résultats d’un système algorithmique, puis en réalisant des tests statistiques pour identifier les biais potentiels et vérifier l’équité du modèle à partir de ces informations. Même si vous ne comprendrez pas davantage le fonctionnement interne du système, cela vous fournira au moins des informations essentielles sur ses effets. Vous pourriez par exemple demander des données et des informations détaillées sur des décisions prises par un algorithme d’évaluation des risques. Pour cela, il vous faut disposer de deux éléments clés :

1. La méthode employée par le système algorithmique pour prendre des décisions au sujet de certains groupes démographiques en particulier et le degré d’exactitude de ces décisions.
2. Un groupe de comparaison, si une méthode de sélection aléatoire a déjà été utilisée à la place du système algorithmique de prise de décision, par exemple.

Cette approche a été adoptée dans le cadre de l’enquête sur le système algorithmique de l’agence de sécurité sociale suédoise, que vous pouvez consulter ici.

Ce chapitre se concentre sur les principaux éléments à prendre en compte pour mener un travail de plaidoyer et de communication stratégique, au cours du cycle de vie du projet mais aussi après la publication de toute recherche. Il s’agit là de deux voies essentielles pour garantir un impact durable après une enquête sur un système algorithmique, mais ce ne sont pas les seules méthodes possibles. En fin de compte, l’approche choisie dépendra de la stratégie pour le changement adoptée au début du projet, lors de la phase de préparation.

Nous vous présentons trois piliers essentiels pour initier un processus de changement, que vous pouvez adapter en fonction du contexte, des besoins et des priorités de votre travail.

1. Renforcer le pouvoir d’action au sein de votre organisation et au-delà

La première étape pour renforcer le pouvoir d’action consiste à vous doter, ainsi que votre organisation et vos partenaires, des connaissances et de l’expertise nécessaires sur la question que vous souhaitez aborder. Cela nécessite de vous orienter plutôt vers une réflexion collective pour déterminer comment utiliser les conclusions de l’enquête afin d’atteindre d’autres buts fixés par les membres de votre coalition et d’obtenir des changements en matière de justice algorithmique.

Sur la base de l’évaluation des besoins existants, il est utile d’élaborer, de partager et de diffuser des documents de campagne, des notes d’orientation et d’organiser des ateliers. Il est tout aussi important d’élaborer des espaces dédiés au partage de connaissances et au soutien entre pairs. Dans la mesure du possible, ces ressources et ces espaces devraient être accessibles et ouverts aux organisations partenaires et aux militant·e·s, et idéalement développés collectivement.

Cela contribuera également à renforcer le pouvoir des organisations partenaires, des militant·e·s et des mouvements lancés par les personnes et populations affectées. Il est de plus en plus vital de former des alliances avec des organisations de défense des droits humains et numériques, des organisations locales, des mouvements en faveur de la justice sociale, environnementale, raciale, de la justice de genre, de la justice pour les personnes migrant·e·s, en situation de handicap, ou queer et de la justice intersectionnelle, ainsi qu’avec la communauté des journalistes, afin de lutter contre les préjudices numériques et systémiques plus larges. Ce travail de coalition interorganisationnel permet également de prendre acte du fait que les droits numériques et technologiques ne fonctionnent pas en vase clos, mais s’inscrivent dans des structures plus larges d’inégalité, d’exploitation et d’oppression.

2. Façonner les discours (travail de communication)

Un autre élément essentiel pour obtenir un changement consiste à influencer les perceptions, les discussions et les discours publics autour de la technologie, de sa valeur et de ses risques potentiels. Il faut commencer à réfléchir à une stratégie dès la phase de préparation du projet et la revoir régulièrement durant tout le cycle de vie du projet. Les discours favorables à l’innovation et opposés à la réglementation, souvent relayés par le secteur technologique, dominent actuellement les débats sur l’IA et le numérique dans les médias grand public et influencent l’élaboration des politiques et la prolifération des préjudices technologiques dans de nombreux domaines de la vie publique.

Tout projet de recherche, de campagne ou de plaidoyer doit reposer sur une réflexion approfondie au sujet de votre stratégie de communication et de vos messages clés. Chaque élément de preuve des dangers et des risques liés aux systèmes algorithmiques et à l’automatisation servira à contrer les discours dominants autour des bénéfices du développement et du déploiement de ces technologies. Lorsque vous menez un projet, voici quelques questions utiles à vous poser pour ajuster votre communication :

• How can the project serve local community needs?
  • Votre projet met-il en avant l’expérience vécue des personnes affectées ?
  • Vos messages clés prennent-ils suffisamment en compte le contexte local ?
  • Vos messages clés s’alignent-ils avec les demandes de la société civile et des organisations locales ?
• How can the project help demystify the technology in question?
  • Pouvez-vous expliquer le fonctionnement de la technologie en des termes simples et non techniques ?
  • Pouvez-vous l’illustrer à l’aide d’un schéma ou d’une image ?
• How can the project challenge existing narratives and debates around technology?
  • Comment votre projet peut-il briser la fausse dichotomie, très répandue, entre innovation et réglementation ?
  • Présente-t-il une vision positive et axée sur les droits humains du rôle de la technologie au sein de la société ?
  • Comment vos messages clés peuvent-ils venir en aide aux personnes et aux populations affectées par la technologie en question ? Comment pouvez-vous les élaborer en collaboration avec les organisations partenaires ?
• What strategies can you use within your communications to reach the widest audience and affect change?
  • Des événements pertinents pour le projet sont-ils prévus et serait-il utile de prévoir des publications autour des dates de ces événements ?
  • Dans quelles langues pertinentes pouvez-vous traduire vos communications clés ou communiqués de presse ?
  • Sur quelles plateformes de réseaux sociaux pouvez-vous faire la promotion de votre travail ?
  • Quels sont les jours de la semaine les plus adaptés pour publier dans les médias ? En général, il vaut mieux éviter les jours les plus calmes de la semaine, comme le lundi ou le vendredi.

3. Influencer les politiques (travail de plaidoyer « classique »)

En parallèle, mener un travail de plaidoyer soutenu en faveur d’une réglementation du numérique respectueuse des droits et applicable constitue le troisième pilier essentiel pour obtenir des changements positifs. Cela implique de militer en faveur de meilleures protections juridiques dans les réglementations récentes ou en cours d’élaboration, de demander l’abrogation de lois injustes, la mise en œuvre effective de lois existantes et, si nécessaire, de lutter contre l’affaiblissement de ces dernières.

Participer aux discussions de groupe de votre coalition sur la manière d’obtenir la justice et le respect de l’obligation de rendre des comptes permettra, dans un premier temps, de déterminer la portée et le format les mieux adaptés pour atteindre les objectifs politiques convenus et nécessaires. Par exemple, si vous cherchez à influencer des négociations en matière de politique numérique (telles que la réglementation de l’IA) et à y participer ou à faire pression sur des acteurs publics ou privés pour qu’ils abandonnent une technologie en particulier, envisagez la publication d’un document plus court et percutant afin d’attirer l’attention du public sur cette question urgente, notamment dans le cadre d’une collaboration avec les médias. À l’inverse, si vous visez un changement à long terme, tel que faire évoluer l’opinion publique sur l’intelligence artificielle ou demander la mise en place d’un nouveau cadre de gouvernance autour de l’IA, réfléchissez à un projet à plus long terme, impliquant une collecte approfondie d’éléments de preuve, une série d’ateliers, ainsi qu’une collaboration soutenue avec des organisations partenaires.

De même que les discours autour de la technologie peuvent influencer l’élaboration de politiques publiques sur ce sujet, mettre en avant des exemples de réglementation réussie, efficace et respectueuse des droits peut favoriser des discussions positives et nuancées sur la technologie et déconstruire les discours fallacieux, tels que l’idée selon laquelle la réglementation freine l’innovation. Le succès rencontré en la matière par une ville, un pays, ou une réglementation en particulier peut également servir d’exemple de bonne pratique pour encourager l’adoption de nouvelles réglementations dans d’autres endroits, ou dans d’autres domaines affectés par l’utilisation de la technologie. Vous pouvez utiliser des cadres existants en matière de droits humains et de droits numériques aux niveaux régional et international (tels que les réglementations régionales sur le numérique ou les cadres internationaux relatifs aux droits humains) pour appuyer votre travail de plaidoyer ciblé à l’échelle locale.

Lorsque vous envisagez un travail de plaidoyer ciblé en lien avec le développement, l’utilisation et/ou la réglementation de technologies numériques, il est utile de vous poser les questions suivantes :

• Quels résultats souhaitez-vous obtenir ? Quels sont vos objectifs de plaidoyer et ceux de vos organisations partenaires ?
• Quels messages clés allez-vous mettre en avant pour atteindre ces objectifs ? Il peut s’agir de recommandations politiques, mais aussi, plus largement, d’instaurer un discours différent grâce à un travail de communication.
• Quelle est la meilleure manière d’atteindre vos objectifs ? Cela passe-t-il par un dialogue direct avec les responsables politiques ou par un travail plus large de campagne et en direction des médias pour faire pression sur les autorités ? Les deux sont souvent possibles.
• Dans quel contexte travaillez-vous ? Existe-t-il une volonté politique de mettre en place les changements que vous demandez ? Comment qualifierez-vous le débat public sur cette question ?
• Quel est votre calendrier de travail ? Y a-t-il des dates clés pour exercer une influence ? Une procédure, avec des échéances définies pour la prise de décisions, est-elle en cours (telles que des négociations au sujet d’une réglementation en particulier) ?
• Qui est votre public cible ? Qui cherchez-vous à influencer ? Quelles personnes, quelles organisations et quels canaux peuvent vous aider à les influencer ?
• Qui sont vos allié·e·s ? Travaillez-vous au sein d’une coalition ? Avez-vous des allié·e·s parmi les responsables politiques ou dans les médias avec lesquels vous pouvez collaborer ?
• Qui sont vos adversaires ? Qui a des objectifs contraires aux vôtres ?

Amnesty International et ses partenaires ont œuvré de diverses manières à obtenir la justice et le respect de l’obligation de rendre des comptes pour les préjudices algorithmiques, par le biais de procédures judiciaires stratégiques, de mécanismes nationaux de surveillance et d’égalité, ainsi que d’une mobilisation citoyenne. La liste des mécanismes décrits ci-dessous ne prétend pas être exhaustive, mais vise plutôt à mettre en évidence une série d’approches sur lesquelles les organisations locales peuvent s’appuyer ou qu’elles peuvent adapter de manière créative afin de faire pression pour obtenir la justice et le respect de l’obligation de rendre des comptes de la façon la plus adaptée à leur contexte.

Nous tenons également à souligner que certains mécanismes sont particulièrement complexes et nécessitent des ressources importantes. Pour les petites organisations qui travaillent sur les questions liées à la responsabilité algorithmique, former des coalitions et collaborer avec des spécialistes peut les aider à élaborer des réponses stratégiques plus larges, telles que celles décrites ci-dessous.

Procédures judiciaires stratégiques

Le recours à des procédures judiciaires stratégiques fait partie des moyens qui ont permis à Amnesty International de demander le respect de l’obligation de rendre des comptes et la justice pour les personnes affectées par des systèmes algorithmiques. Cela implique de lancer ou de sélectionner des actions en justice puis d’y prendre part, dans l’objectif de susciter un changement sociétal spécifique et à long terme. Cela va au-delà de la résolution de litiges individuels, il s’agit d’utiliser le système judiciaire comme un outil permettant l’accès à des voies de recours utiles et aux mécanismes de reddition des comptes, de promouvoir les droits humains, de lutter contre des lois et des pratiques injustes, et de créer des précédents qui bénéficieront à l’ensemble de la population.

En France, Amnesty International et 14 partenaires de la coalition dirigée par La Quadrature du Net (LQDN) ont déposé une plainte auprès du Conseil d’État, la plus haute juridiction administrative en France, demandant que la Caisse nationale d’allocations familiales (CNAF) cesse d’utiliser le système algorithmique de notation des risques. Le système algorithmique était utilisé pour détecter les trop-perçus et les erreurs dans le versement des allocations et traitait les personnes marginalisées – en situation de handicap, vivant dans la pauvreté ou les familles monoparentales composées majoritairement de femmes – avec suspicion. Cette discrimination inhérente au système remettait en question sa légalité.

La force de cette procédure judiciaire stratégique s’explique par l’expertise combinée de plusieurs organisations de la société civile en France, qui a permis de faire en sorte que cette affaire reflète les besoins et les expériences des groupes affectés à travers le pays.

Mécanismes nationaux de surveillance et d’égalité

Les médiateur·trice·s et les organes de surveillance nationaux offrent une autre voie pour obtenir la justice et le respect de l’obligation de rendre des comptes.

De nombreux États, en particulier ceux qui disposent d’institutions de défense des droits humains solides, cherchent à protéger divers droits par le biais d’un mécanisme national. Il peut s’agir d’un ministère ou d’un comité, d’un·e médiateur·trice, d’un organisme chargé de l’égalité ou équivalent. Cela offre des possibilités d’enquêtes sur les biais et la discrimination algorithmiques.

En Suède, une enquête de Lighthouse Reports et Svenska Dagbladet a révélé l’utilisation d’un système algorithmique signalant de manière disproportionnée certains groupes en vue d’une future investigation sur la fraude aux prestations sociales, notamment les femmes, les personnes d’origine étrangère (nées à l’étranger ou dont les parents sont nés à l’étranger) et les personnes à faible revenu. L’équipe de ce projet a mené un travail de plaidoyer avec la médiatrice nationale chargée des questions de discrimination, qui les a conduits à lancer un appel à candidatures afin d’identifier un cas approprié à mettre en valeur pour lutter contre ce système en raison de son caractère discriminatoire.

Les États qui disposent de lois relatives à la protection des données et au respect de la vie privée sont généralement dotés d’un organe ou d’une autorité de régulation afin de superviser l’application et la mise en œuvre de cette législation. L’autorité suédoise de protection des données (IMY) a ouvert une enquête sur l’utilisation de systèmes algorithmiques par l’Agence nationale de sécurité sociale après la publication des recherches de Lighthouse Reports et Svenska Dagbladet ayant révélé la discrimination opérée par l’un des ces systèmes, ce qui a entraîné la fermeture de ce dernier.

Renforcer le pouvoir d’action et les capacités, mobiliser la population

Il existe de nombreuses voies possibles pour renforcer le pouvoir d’action de la population et atteindre collectivement des objectifs en matière de droits humains. Dans son combat pour interdire la reconnaissance faciale, par exemple, Amnesty International a travaillé avec des dizaines d’organisations locales et de bénévoles en ligne pour demander justice et obligation de rendre des comptes auprès de tribunaux locaux.

En septembre 2020, Amnesty International a déposé une demande de documents publics en vertu de la loi sur la liberté d’information (FOIL) de New York afin d’obtenir les documents du Département de police de la ville de New York (NYPD) relatifs à la surveillance des manifestations historiques de Black Lives Matter en 2020.

Le NYPD a d’abord rejeté cette requête ainsi que le recours qui a suivi, refusant de divulguer des informations sur son utilisation de la reconnaissance faciale pour surveiller les manifestant·e·s du mouvement Black Lives Matter en 2020, durant lequel des militant·e·s ont été pris pour cible par la technologie et harcelés sans mandat à leur domicile.

En juillet 2021, Amnesty International et Surveillance Technology Oversight Project (S.T.O.P.), une organisation de défense du droit à la vie privée et des droits civiques, ont engagé une action en justice contre la police de New York pour son refus de divulguer ses dossiers.

En février 2022, Amnesty International a travaillé avec plus de 7 000 bénévoles en ligne pour cartographier les caméras dotées d’une fonction de reconnaissance faciale à New York, grâce aux images de Google Street View et à la plateforme de microtasking développée dans le cadre du projet des « Décodeurs ». Ces recherches ont révélé que les habitant·e·s de New York qui vivent dans des quartiers où le risque de contrôle et de fouille (« stop-and-frisk ») par la police est plus élevé sont également plus exposés à la technologie intrusive de reconnaissance faciale. Cette analyse, menée dans le cadre de la campagne mondiale Ban the Scan, a démontré que la vaste opération de surveillance du Département de police de la ville de New York affectait particulièrement les personnes déjà ciblées par les contrôles et les fouilles dans les cinq arrondissements de New York. Dans le Bronx, à Brooklyn et dans le Queens, les recherches ont aussi montré que plus la proportion d’habitant·e·s issus de groupes racisés était importante, plus la concentration de caméras de vidéosurveillance compatibles avec la reconnaissance faciale était élevée. Nous avons présenté les informations tirées de cette étude à la Cour suprême de l’État de New York afin de renforcer notre dossier de plainte contre le NYPD, démontrant ainsi que la responsabilité en matière de reconnaissance faciale était une question d’intérêt public.

En août 2022, la Cour suprême de l’État de New York a statué en faveur d’Amnesty International et S.T.O.P. dans le cadre de leur action lancée conjointement au titre de l’article 78 et a ordonné au NYPD de divulguer des milliers d’enregistrements sur la manière dont il s’est procuré et a utilisé les technologies de reconnaissance faciale contre des manifestant·e·s du mouvement Black Lives Matter. À ce jour, nous avons reçu près de 2 700 documents mettant en lumière l’utilisation abusive de ces technologies par le NYPD.

Amnesty International remercie vivement Anna Dent pour son expertise et ses contributions à ce Guide sur la responsabilité algorithmique.