Carmela Troncoso et Bart Preneel écrivent que le règlement proposé par l’UE créerait un précédent mondial pour filtrer Internet, contrôler qui peut y accéder et supprimer certains des rares outils disponibles pour protéger le droit à la vie privée dans l’espace numérique.
Le Parlement européen débat actuellement d’une proposition de règlement de la Commission européenne qui vise à mettre un terme à la distribution en ligne de contenus décrivant des activités explicites impliquant un enfant et la manipulation d’enfants en ligne.
D’abord et avant tout, les abus et l’exploitation sexuels d’enfants sont des crimes très graves qui peuvent causer des dommages à vie aux victimes, tandis que la distribution en ligne de matériel d’abus sexuel d’enfants (CSAM) se développe.
Il est de la responsabilité des autorités gouvernementales, avec le soutien des entreprises et des communautés, d’entreprendre des interventions efficaces pour prévenir ces crimes et réagir rapidement lorsqu’ils se produisent.
Pourtant, en tant que scientifiques, nous avons de sérieuses inquiétudes à propos de cette proposition pour plusieurs raisons : elle comporte de profondes failles techniques qui ne peuvent être résolues, et il est fort probable que la technologie sur laquelle elle repose soit utilisée de manière abusive.
Dans l’ensemble, la proposition portera atteinte à la vie privée et à la sécurité en ligne de tous les citoyens (y compris les enfants) et présente de graves problèmes en termes de violations des droits de l’homme.
La technologie n’est pas encore là
Le règlement proposé exige que les fournisseurs de services détectent les contenus CSAM connus.
Le problème est que les technologies sous-jacentes ne sont pas matures et très intrusives ; de plus, nous ne voyons pas de voie réaliste pour les améliorer substantiellement au cours des prochaines décennies.
La Commission européenne souligne les approches actuelles qui sont difficiles à déployer, sont connues pour être faciles à contourner et ne peuvent pas être adaptées au volume de messages qui devraient être scannés en cas d’adoption de ce règlement.
De plus, le déploiement de ces technologies conduira à des quantités massives de faux positifs, de l’ordre d’un million de messages par jour.
Cela signifie que de nombreux citoyens innocents feront l’objet d’une enquête pour des crimes graves, ce qui peut être une expérience traumatisante.
Les erreurs commises par l’IA pourraient nuire à des innocents
De plus, la proposition impose la détection de nouvelles images et vidéos CSAM et la détection du toilettage des enfants par texte ou audio avec apprentissage automatique.
Alors que l’IA a fait d’énormes progrès, ces technologies sont encore loin d’être parfaites et généreront un grand nombre d’erreurs.
En particulier, nous avons de sérieuses réserves quant à la capacité de l’IA à comprendre le contexte social spécifique et les interactions subtiles.
Pensez au père qui a perdu l’accès à son compte Google parce qu’il a envoyé des photos de sa fille à un professionnel de la santé ou à l’adolescent qui envoie une photo à son petit ami ou à sa petite amie.
Donner l’alerte dans ces cas peut avoir un effet dissuasif sur l’utilisation des services numériques.
La proposition pourrait également rendre Internet moins sûr
La proposition actuelle cible la détection de matériel explicite impliquant des enfants. Cependant, une fois qu’une telle infrastructure sera en place, une dérive des fonctions s’installera probablement : la même solution peut être appliquée pour détecter le recrutement de terroristes, le crime organisé et les crimes moins graves.
Ce qui est encore plus préoccupant, c’est que les gouvernements moins démocratiques le déploieront pour identifier automatiquement les contenus critiquant le régime.
Les technologies proposées ne sont par nécessité pas transparentes et masquent le contenu recherché ; cela rend beaucoup plus difficile la détection de dérives fonctionnelles et d’abus.
Un nombre croissant de services a renforcé la protection des utilisateurs en déployant un chiffrement de bout en bout.
Cela entrave la recherche de contenu CSAM côté serveur. Le règlement proposé vise à contourner les technologies de cryptage en analysant le contenu sur les appareils de l’utilisateur.
Ce type d’approche est similaire à un logiciel espion : il crée une grave vulnérabilité qui facilitera l’accès d’autres parties à cet appareil.
Malgré les affirmations de la Commission européenne, il ne fait aucun doute que cette approche sapera le cryptage et rendra les communications de chacun moins sûres.
Supprimer le droit des personnes à une vie numérique privée
Les ressources seraient mieux dépensées dans d’autres approches pour protéger les enfants contre les abus sexuels.
À titre d’exemple, les services en ligne devraient permettre aux utilisateurs de se plaindre beaucoup plus facilement des abus — on sait que, dans la pratique, les plaintes sont un moyen efficace de détecter de nouveaux contenus abusifs.
En conclusion, le règlement proposé est voué à ne pas atteindre ses objectifs.
En outre, cela créerait un précédent mondial pour le filtrage d’Internet, le contrôle de qui peut y accéder et la suppression de certains des rares outils disponibles pour protéger le droit à la vie privée dans l’espace numérique.
Cela aura un effet dissuasif sur la société et affectera probablement négativement les démocraties du monde entier.
