Les registres algorithmiques peuvent-ils résoudre les biais automatisés ?

Les registres algorithmiques peuvent-ils résoudre les biais automatisés ?

Le 6 février 2021, les parents pris pour cible dans le cadre de l’affaire néerlandaise des allocations familiales protestent devant la résidence officielle du Premier ministre des Pays-Bas, à La Haye. Ils tiennent des pancartes portant les messages « Pourquoi avons-nous été injustement accusés » et « Nous continuerons ».

(ANP/Belga/Phil Nijhuis)

En janvier 2021, le gouvernement néerlandais est tombé à cause d’un scandale qui met en évidence les dangers auxquels on s’expose lorsque l’on tente d’assurer l’administration des services gouvernementaux essentiels à l’aide de l’intelligence artificielle (IA). Entre 2009 et 2019, dans ce qui est désormais connu sous le nom de « toeslagenaffaire » (« affaire des allocations familiales » en néerlandais), environ 26.000 parents ont été accusés à tort d’avoir commis une fraude aux allocations familiales.

Le fisc néerlandais a massivement ciblé les familles issues de milieux défavorisés et celles dont le nom avait une « consonance étrangère », les obligeant dans certains cas à rembourser indûment des dizaines de milliers d’euros d’allocations familiales. Souvent, les personnes mises en cause n’avaient pas accès à un recours juridique, ce qui a poussé de nombreuses familles à l’endettement et au divorce. Certaines familles ont même perdu leur maison.

Une partie du scandale impliquait un algorithme. L’un des mécanismes utilisés par le gouvernement néerlandais pour détecter les fraudes était un système automatisé qui scannait les signes potentiels de fraude.

Les familles signalées comme suspectes ont ensuite été pourchassées sans répit par les fonctionnaires du fisc. Or, il s’est avéré que le système était biaisé : le fait de posséder une double nationalité était l’une des raisons pour lesquelles le système marquait un individu comme suspect.

« Ce système a occasionné des ravages considérables », déclare Nadia Benaissa, conseillère politique de l’ONG néerlandaise Bits of Freedom, qui se consacre à des questions telles que la liberté sur Internet et la discrimination algorithmique. « La discrimination et l’exclusion de l’État de droit étaient très prononcées dans cette affaire ».

Cette affaire des allocations n’est qu’un exemple de discrimination algorithmique. Il a été démontré que les algorithmes reproduisent les préjugés sociaux, par exemple à l’encontre des minorités ethniques, dans les condamnations pénales, les mesures de prévention policière et même le recrutement. Il existe néanmoins un mouvement croissant visant à renforcer l’éthique de ces systèmes. Ainsi, quelques grandes villes européennes ont récemment lancé une démarche visant à ouvrir les algorithmes auxquels elles ont recours et à permettre aux citoyens de les consulter. Ces initiatives de transparence sont appelées registres algorithmiques (ou IA) et en septembre 2020, Amsterdam et Helsinki sont devenues les premières villes du monde à les proposer.

Les registres algorithmiques sont-ils suffisants pour protéger les citoyens ?

Les registres d’Amsterdam et d’Helsinki fournissent une liste des algorithmes, des données qui y sont introduites, de la manière dont elles sont stockées et même des éventuels risques. Pour un algorithme de caméra destiné à détecter si les gens dans la rue respectent les directives de distanciation sociale de 1,5 m liées à la Covid-19, la ville d’Amsterdam note que le modèle ne fonctionne pas nécessairement bien pour tous les « âges, couleurs de peau, tailles ou styles de vêtements ». Dans un autre cas, la ville d’Amsterdam mentionne son système automatisé de contrôle du stationnement, qui scanne les plaques minéralogiques afin de vérifier si une voiture est autorisée à se garer dans le centre-ville. À Helsinki, le registre comprend un agent conversationnel (« chatbot » en anglais) pour les maternités qui répond aux questions relatives à la grossesse et au développement de l’enfant.

Ces deux registres ont été développés par la société finlandaise Saidot. La PDG de l’entreprise, Meeri Haataja, souligne qu’il s’agit de bien plus qu’une simple initiative de transparence. « C’est une plateforme de gouvernance de l’IA », déclare-t-elle. « Nous fournissons aux organismes publics et privés qui utilisent l’IA à grande échelle les outils qui les aideront à aborder les risques que présentent ces systèmes ».

En substance, ils proposent un service logiciel qui permet aux organisations de mieux contrôler les algorithmes qu’elles utilisent. Jusqu’à présent, il pouvait être difficile de savoir quels algorithmes un gouvernement utilisait, et ce, même pour les membres de sa propre administration. Les algorithmes pouvaient être dispersés entre différents services et des informations clés, telles que les données sur lesquelles le système est basé, pouvaient ne pas être accessibles à des fins de supervision.

La plateforme de Saidot rassemble toutes ces informations en un seul endroit, ce qui permet ensuite aux organisations de mieux évaluer les risques posés par l’IA et de communiquer ouvertement à leur sujet avec le public ou les employés.

« Nous pensons que la transparence est un outil essentiel pour gérer les risques éthiques tels que les biais ou l’injustice », déclare Mme Haataja. « Notre plateforme permet de réaliser des évaluations, ce qui favorise la prise de responsabilité au sein de l’organisation. Ce faisant, vous pouvez également informer les parties prenantes telles que les employés ».

Pour le moment, la proposition de Saidot a rencontré un franc succès et a attiré des clients allant de Finnair à la petite ville finlandaise d’Espoo. D’autres initiatives de ce genre commencent également à voir le jour. Aux Pays-Bas, des voix se sont élevées pour réclamer la mise en place d’un organisme de surveillance des algorithmes, assorti de règles qui obligeraient les organisations à divulguer les algorithmes qu’elles utilisent. Les experts réclament également des mécanismes permettant de procéder à l’audit des algorithmes et de leurs données sous-jacentes.

Toutefois, cela pourrait ne pas être suffisant. « Je pense que ces registres représentent un pas en avant vers plus de transparence », déclare Mme Benaissa. « Ce à quoi les citoyens [de l’UE] ont droit, conformément à ce qui est codifié dans le Règlement général sur la protection des données (RGPD). Toutefois, nous devons mieux protéger les citoyens, ce qu’un registre ne permet pas de faire ». Mme Haataja, de la compagnie Saidot, est du même avis : « À eux seuls, les registres algorithmiques (IA) ne résoudront pas tout », déclare-t-elle. « La transparence est une première étape nécessaire, mais au bout du compte, une meilleure gouvernance de l’IA nécessite une approche globale. »

Des algorithmes pour sanctionner les travailleurs

Le biais algorithmique constitue une menace très claire et elle s’étend au monde du travail. Aída Ponce Del Castillo, chercheuse principale à l’Institut syndical européen (ETUI), évoque le cas d’Amazon, où des caméras équipées d’une IA surveillent automatiquement la productivité des travailleurs des entrepôts ; dans certains cas, ceux qui étaient considérés comme insuffisamment productifs ont été licenciés. Selon Mme Ponce Del Castillo cependant, cette logique pourrait être poussée plus loin. « Les algorithmes donnent des informations sur les travailleurs aux managers », déclare-t-elle. « Par exemple, dans le cadre d’une tentative de syndicalisation, ces algorithmes pourraient permettre de savoir à qui certains travailleurs parlent. »

De cette manière, les algorithmes pourraient sanctionner les travailleurs, ce que l’homme fait depuis des siècles, mais les mécanismes sont maintenant intégrés dans des systèmes automatisés. La pandémie de coronavirus a notamment contraint de nombreux travailleurs à travailler à domicile, ce qui a entraîné une augmentation de la surveillance à distance. « Parfois, les entreprises suivent et analysent les heures que quelqu’un travaille devant son ordinateur », explique Mme Ponce Del Castillo. « Dans certains cas, le logiciel peut même accéder à la webcam sans que le travailleur ne le sache. Pour certains employés de centres d’appels, il existe des logiciels qui analysent les mots qu’ils utilisent, et ce, afin de déterminer dans quelle mesure ils font preuve d’amabilité à l’égard des clients ».

Le fait de rendre publics ces systèmes automatisés pourrait être un pas dans la bonne direction, mais cela ne représente qu’une partie du problème. Mme Ponce Del Castillo souligne que la réglementation européenne existante offre déjà un cadre pour lutter contre certains problèmes. « Nous disposons du RGPD », déclare-t-elle. « Il aborde les thématiques liées aux données et à la vie privée, mais aussi aux algorithmes et à la prise de décision automatisée. Il n’apporte pas toutes les réponses, mais c’est un excellent moyen de parvenir à de meilleures règles. Il s’agit d’une législation révolutionnaire ».

L’un des droits prévus dans le RGPD est ce qu’on appelle l’« explicabilité ». Un algorithme ou un système automatisé de prise de décision devrait, en théorie, être en mesure d’expliquer pourquoi il a pris une certaine décision. Lorsqu’un algorithme décide d’accorder ou non un prêt à quelqu’un, le client a le droit de demander pourquoi l’algorithme a pris cette décision. Bien que cela puisse sembler simple, ces questions sont assorties de toute une série de difficultés.

« Selon le RGPD, chaque décision automatisée devrait être explicable lorsqu’elle a un impact négatif sur les individus », déclare Aída Ponce Del Castillo. « Mais qu’entend-on par “explicabilité” ? S’agit-il du code de l’algorithme ? Car ce code peut changer au fil du temps ou être protégé en tant que secret commercial. Ou peut-être se réfère-t-on aux données d’entraînement qui alimentent le code ? Dans la pratique, l’explicabilité n’est pas encore très bien définie ».

Ponce Del Castillo mentionne une technique qui pourrait permettre d’atteindre l’explicabilité : les « contrefactuels ». En l’occurrence, un système automatisé se doit de fournir des scénarios dans lesquels sa décision aurait pu être différente. Si un algorithme décide de rejeter votre demande de prêt, vous pourriez lui demander dans quelles circonstances il vous aurait l’accordé. Les contrefactuels pourraient dès lors simplement indiquer que si votre salaire mensuel était plus élevé, le prêt aurait été accordé. Les contrefactuels pourraient également révéler que la décision de l’IA dépendait d’une variable plus douteuse, le sexe ou l’origine ethnique notamment, à la suite de quoi la décision pourrait être annulée et l’algorithme supprimé ou modifié.

Pénalisés par des décisions automatisées

Mme Benaissa, de Bits of Freedom, plaide pour une réglementation plus spécifique des algorithmes. « L’Union européenne travaille déjà sur de nouvelles réglementations pour l’IA », indique-t-elle. « Donc, j’espère que nous assisterons à une amélioration en la matière dans un avenir proche. »

Bits of Freedom souhaite aller au-delà de ce que le RGPD prévoit déjà. « Nous plaidons pour l’interdiction de certaines applications », explique Mme Benaissa. « Un algorithme ne devrait pas décider si quelqu’un peut accéder aux services de base. Nous ne pouvons pas courir le risque que des personnes soient pénalisées par une décision automatisée dans un tel cas. Nous voudrions également interdire les systèmes de prédiction policière parce qu’ils violent la présomption d’innocence ».

Katleen Gabriels, professeure assistante spécialisée en éthique informatique à l’université de Maastricht aux Pays-Bas, ajoute : « Nous devons insister sur l’interdisciplinarité. Nous avons besoin de personnes de toutes sortes pour réfléchir à ces questions. Cela peut signifier une certaine diversité au stade de la conception, parmi les personnes qui élaborent les algorithmes. Mais elle se révèle également nécessaire dans le domaine de l’élaboration des politiques, car de nombreux responsables politiques n’ont aucun bagage technique, ce qui les empêche parfois d’évaluer ces technologies de manière réaliste ».

Cependant, ces mesures ont leurs limites, comme le montrent les licenciements de Timnit Gebru et de Margaret Mitchell, de l’équipe d’IA éthique de Google. Toutefois, Mme Gabriels estime que l’éducation a un rôle important à jouer, non seulement dans l’enseignement de l’éthique aux programmeurs informatiques, mais aussi pour que les gens ordinaires puissent comprendre le fonctionnement des algorithmes et leur impact sur leur vie. « Les algorithmes ne sont pas tout simplement neutres », déclare Mme Gabriels. « Du fait qu’ils sont basés sur des mathématiques, nous partons souvent du principe qu’ils sont neutres ; mais ce n’est pas le cas. Une meilleure éducation peut aider à combattre ces stéréotypes ».

Cet article a été traduit de l'anglais.