Un audit récent d’un algorithme espagnol utilisé par le système de justice pénale a révélé des « déficiences substantielles » dans la fiabilité de ses décisions sur la probabilité de récidive des détenus.
Un audit récent d’un algorithme espagnol utilisé par le système de justice pénale a révélé des « déficiences substantielles » dans la fiabilité de ses décisions sur la probabilité de récidive des détenus.
Eticas, une société d’audit algorithmique, a réalisé ce qu’elle dit être le premier audit contradictoire de RisCanvi, un algorithme qui calcule le risque qu’un détenu commette une récidive en fonction d’une série de caractéristiques pondérées.
L’entreprise a mené des entretiens avec des détenus, des avocats et des psychologues et a comparé les données de 3 600 prisonniers libérés en 2015, le seul ensemble de données publiques disponible selon l’équipe.
L’audit d’Eticas a révélé « des lacunes substantielles dans la fiabilité de RisCanvi » et a déclaré qu’il « ne parvient pas à atteindre l’objectif principal de l’IA : standardiser les résultats et réduire la discrétion », peut-on lire dans un communiqué de presse relatif à l’audit.
« RisCanvi est un système qui n’est pas connu de ceux qu’il affecte le plus, les détenus ; il n’est pas approuvé par beaucoup de ceux qui travaillent avec lui, qui ne sont pas non plus formés à son fonctionnement et à ses poids », indique l’audit.
RisCanvi est le dernier algorithme utilisé par le système pénal à être critiqué. Des études universitaires sur ces types de systèmes de prédiction au Royaume-Uni et aux États-Unis ont montré qu’ils classaient mal les détenus dangereux ou accordaient aux Afro-Américains des périodes de détention plus longues avant leur procès.
Une méthode « opaque » pour calculer le risque
Antonio Andres Pueyo a commencé à travailler sur RisCanvi en 2009 avec son équipe de l’Université de Barcelone à la demande du gouvernement catalan.
En Espagne, un juge reçoit généralement un rapport sur un détenu qui demande une libération conditionnelle, qui contient des informations sur le lieu où le détenu est incarcéré et sur son comportement pendant son incarcération, selon un article du journal El Pais. Les conclusions de RisCanvi sur le risque de récidive d’un détenu sont incluses dans ce rapport.
Au départ, la technologie était censée cibler le risque de récidive chez certains prisonniers, comme les meurtriers et les délinquants sexuels, mais elle a été élargie pour inclure plusieurs types de récidive au sein de la population carcérale générale, selon l’audit d’Eticas.
En 2022, l’audit a révélé que RisCanvi affectait directement les cas d’environ 7 713 personnes.
Andres Pueyo a déclaré que l’algorithme de RisCanvi attribue à chaque détenu un score sur 43 facteurs de risque répartis dans cinq catégories différentes, notamment le niveau d’éducation, les antécédents de violence ou les problèmes de santé mentale ou de toxicomanie. Les facteurs de risque ont été déterminés par des études antérieures sur la récidive et par l’étude d’Andres Pueyo sur les détenus.
Les détenus sont interrogés tous les six mois, au cours desquels les données recueillies sont ensuite saisies dans le système et examinées par plus de 100 validateurs. On leur attribue ensuite un déterminant de risque : rouge pour élevé, jaune pour moyen et vert pour faible.
L’audit indique que les calculs exacts derrière chaque risque sont « opaques » et les entretiens avec le personnel de première ligne montrent une confusion quant à la manière dont le risque est finalement déterminé.
« Il n’y a aucune mesure ni aucune donnée interne sur la façon dont les gens gèrent les suggestions (de l’algorithme) », selon Gemma Galdon Clavell, PDG d’Eticas.
« Ce que nous avons vu dans d’autres domaines, c’est que la manière dont les gens intègrent les systèmes d’IA dépend vraiment de leurs valeurs existantes ».
Andres Pueyo soutient que RisCanvi fait ce qu’il est censé faire en réduisant les erreurs du ministère de la Justice lors de la libération d’un détenu susceptible de récidiver. La technologie facilite également la collaboration entre les professionnels de l’ensemble du système judiciaire, a-t-il ajouté.
L’algorithme a également considérablement changé selon Andres Pueyo depuis 2015, année utilisée par Eticas pour son analyse.
En 2016, il a commencé à faire une distinction entre différents types de récidives, comme la violence auto-infligée, le viol reconnu coupable et la violence contre d’autres détenus, ce qui, selon lui, conduit à moins de fausses classifications de détenus comme récidivistes.
Des erreurs de détection dues à des « décisions politiques »
Le cabinet d’audit espagnol Dribia a eu accès aux données du ministère de la Justice de Catalogne de 2015 à 2020 et a publié un audit distinct plus tôt cette année.
Leur analyse a révélé qu’il n’y avait pas de « préjugés discriminatoires graves » dans le système RisCanvi fondés sur l’âge, le sexe ou la nationalité.
Cependant, l’algorithme n’a pas détecté que les détenus de moins de 30 ans qui commettaient des violences en prison étaient susceptibles de récidiver et il a sous-estimé le risque que les jeunes et les femmes commettent des violences auto-infligées.
Andrés Pueyo a affirmé que le code de points du système peut également être modifié par les responsables pour libérer ou non davantage de personnes de prison.
« Vous pouvez équilibrer le nombre de faux négatifs ou de faux positifs (récidives) avec ce que ((RisCanvi)) admet ou autorise », a-t-il déclaré.
Le rapport Dribia recommande au gouvernement catalan de mettre en place un système basé sur l’intelligence artificielle (IA) moderne avec de nouveaux facteurs de risque et de nouveaux repères.
Si cela n’est pas possible, le rapport suggère « qu’il faudrait au moins évaluer les modèles actuels ».
L’Observatoire de l’Europe a contacté le ministère catalan de la Justice mais n’a pas reçu de réponse au moment de la publication.
Autres exemples d’algorithmes dans les affaires de justice pénale
RisCanvi n’est pas le seul exemple de systèmes algorithmiques utilisés en Espagne, en Europe ou en Amérique du Nord qui font l’objet de critiques.
Galdon Clavell, d’Eticas, a également réalisé un audit sur VioGen, un logiciel qui aide les policiers espagnols à enregistrer les incidents de violences sexistes. Il génère un score sur 35 facteurs indiquant la probabilité qu’un agresseur commette de nouvelles violences et crée un « plan de sécurité personnalisé » avec la victime.
Il y a à peine trois semaines, VioGen a été remise en question lorsqu’une enquête du New York Times a révélé que Lobna Hehmid, une Espagnole assassinée par son mari en juillet, avait été évaluée comme « à faible risque » par son algorithme.
L’outil d’évaluation des détenus du Royaume-Uni (Oasys), mis en place en 2001, est controversé car les autorités n’ont pas pu voir les données utilisées par l’algorithme au cours des deux dernières décennies pour décider quels détenus présentent un risque pour la société, selon un article de The Conversation.
Aux États-Unis, le système COMPAS prend des décisions en matière de caution et de condamnation. Une enquête menée en 2016 par ProPublica a révélé que le logiciel suggérait que les Noirs seraient plus susceptibles de récidiver que les Blancs, même si ce n’était pas le cas.
Pour répondre à ces problèmes, la Commission européenne finance un projet appelé Fair Predictions of Gender-Sensitive Recidivism avec l’Université de la mer Égée en Grèce pour établir un « système d’IA sans préjugés » qui détermine équitablement le risque de récidive, selon leur site Web.
