Google a introduit davantage de restrictions après qu’une nouvelle étude a montré que les chatbots IA les plus utilisés en Europe fournissaient des réponses inexactes liées aux élections.
Selon une nouvelle étude, quatre des chatbots IA les plus populaires d’Europe ne fournissent pas aux utilisateurs des informations précises sur les prochaines élections.
Democracy Reporting International, une organisation à but non lucratif basée à Berlin, a posé diverses questions sur les élections européennes via Gemini de Google, ChatGPT 3.5 et 4.0 d’OpenAI et Copilot de Microsoft pour voir quelles réponses ils obtiendraient.
Entre le 11 et le 14 mars, les chercheurs ont posé aux chatbots 400 questions électorales dans 10 langues différentes sur le processus électoral et/ou électoral dans 10 pays de l’UE. Les questions ont été rédigées dans un langage simple adapté à l’utilisateur moyen de ces chatbots IA.
La conclusion : aucun des quatre chatbots n’a été capable de « fournir des réponses fiables » aux questions typiques liées aux élections, bien qu’ils aient été bien réglés pour éviter les réponses partisanes.
« Nous n’avons pas été si surpris », a déclaré à L’Observatoire de l’Europe Next Michael-Meyer Resende, directeur exécutif de Democracy Reporting International, à propos des résultats de leur enquête.
« Quand vous demandez (aux chatbots IA) quelque chose pour lequel ils n’avaient pas beaucoup de matériel et pour lequel on ne trouve pas beaucoup d’informations sur Internet, ils inventent simplement quelque chose ».
L’étude est la dernière en date à révéler que les chatbots IA diffusent des informations erronées au cours de ce que beaucoup appellent la plus grande année électorale au monde.
En décembre dernier, AlgorithmWatch, une autre organisation à but non lucratif basée à Berlin, a publié une étude similaire montrant que Bing Chat, le chatbot piloté par l’IA du moteur de recherche de Microsoft, avait mal répondu à une question électorale sur trois en Allemagne et en Suisse.
À la lumière des résultats de l’étude, Google – dont Gemini s’est avéré fournir les informations les plus trompeuses ou fausses et le plus grand nombre de refus de répondre aux requêtes – a confirmé à L’Observatoire de l’Europe Next qu’il avait désormais imposé de nouvelles restrictions à son grand modèle linguistique (LLM).
Les chatbots « utiles plutôt que précis »
Il existe des domaines distincts dans lesquels les chatbots ont donné de mauvais résultats, comme les questions sur l’inscription des électeurs et le vote à l’étranger, a déclaré Resende.
Par exemple, l’étude révèle que les chatbots sont généralement favorables au vote, mais souligne qu’il s’agit d’un choix personnel : malgré le fait que le vote soit obligatoire en Grèce, en Belgique, au Luxembourg et en Bulgarie.
L’étude a également révélé que les chatbots « hallucinaient » ou fabriquaient souvent des informations s’ils ne connaissaient pas la réponse, y compris plusieurs dates d’élections erronées.
Par exemple, trois des chatbots ont commis la même erreur en disant aux utilisateurs qu’ils pouvaient voter par correspondance au Portugal, mais en réalité, ce n’est pas une option pour l’électorat portugais.
En Lituanie, Gemini a affirmé que le Parlement européen enverrait une mission d’observation des élections – ce qui est faux (la seule mission électorale de l’UE prévue jusqu’à présent en 2024 concerne le Bangladesh).
Resende interprète ces résultats hallucinés comme la « tendance des chatbots à vouloir être « utiles » plutôt que précis ».
Même pour les réponses les plus fortes des chatbots, le rapport a révélé que les réponses incluaient souvent des liens rompus ou non pertinents, ce qui, selon l’étude, « affaiblit » leur qualité.
Les choses sont devenues plus compliquées lorsque les chercheurs ont cherché des réponses dans différentes langues européennes.
Les chercheurs ont posé la même question dans 10 des langues officielles de l’UE et, dans certaines d’entre elles, les plateformes refusaient de répondre (comme Gemini en espagnol) ou confondaient les informations sur les élections locales avec le processus à l’échelle européenne.
C’était le cas lorsque les questions étaient posées en turc, la langue qui a suscité le plus grand nombre de réponses inexactes et fausses.
Les chatbots auraient également des réponses différentes lorsqu’on leur poserait plusieurs fois la même question dans la même langue, ce que les chercheurs ont identifié comme du « hasard ».
Resende reconnaît que cela rend l’étude de Democracy Reporting International difficile à reproduire.
Les performances varient selon les chatbots
Le rapport révèle que Gemini de Google avait les pires performances en matière de fourniture d’informations précises et exploitables, ainsi que le plus grand nombre de refus de réponse.
Pourtant, il répond toujours à certaines questions sur les élections, bien que Google ait restreint Gemini en mars dans le but d’éviter de « faux pas potentiels » dans la façon dont la technologie est utilisée.
Un porte-parole de Google a déclaré à L’Observatoire de l’Europe Next qu’ils avaient étendu ces restrictions à toutes les questions étudiées dans cette étude et aux 10 langues utilisées, car il s’agit d’une « approche responsable » pour faire face aux limites des grands modèles linguistiques.
Google a encouragé ses utilisateurs à utiliser la recherche Google au lieu de Gemini pour trouver des informations précises sur les élections à venir.
Resende, de Democracy Reporting International, a déclaré que c’était la voie que devraient suivre les autres plateformes.
« Nous pensons qu’il vaut mieux qu’ils refusent de répondre plutôt que de donner de fausses réponses », a déclaré Resende.
L’organisation à but non lucratif reconduira ses tests Gemini au cours des prochaines semaines pour voir si Google respecte ses engagements, a déclaré Resende.
Dans une déclaration à L’Observatoire de l’Europe Next, Microsoft a présenté ses actions à l’approche des élections européennes, notamment un ensemble d’engagements en matière de protection électorale qui « contribuent à protéger les électeurs, les candidats, les campagnes et les autorités électorales ».
Dans le cadre de ces engagements, il s’agit de fournir aux électeurs des « informations électorales faisant autorité » sur Bing.
« Bien qu’aucune personne, institution ou entreprise ne puisse garantir que les élections soient libres et équitables, nous pouvons faire des progrès significatifs dans la protection du droit de chacun à des élections libres et équitables », indique le communiqué de Microsoft.
OpenAI n’a pas répondu à la demande de commentaires d’L’Observatoire de l’Europe Next.
La société a expliqué dans un communiqué publié sur son site Web que son approche en matière de contenu lié aux élections consiste à « poursuivre le travail de sécurité de la plateforme en fournissant des informations de vote précises » et en améliorant la transparence de leur entreprise.
Les évaluations des risques devraient être publiées
En février, la Commission européenne a adopté la loi sur les services numériques (DSA), qui oblige les très grandes plateformes en ligne (VLOP) comme Google, Microsoft et OpenAI à mener des évaluations des risques de diffusion de fausses nouvelles et de désinformation sur leurs plateformes.
Ces évaluations des risques incluraient toute « manipulation intentionnelle » de leurs services et leurs impacts potentiels sur les « processus électoraux ».
Le DSA avait été présenté à l’époque par Margrethe Vestager, vice-présidente exécutive de la Commission européenne pour une Europe adaptée à l’ère numérique, comme « une étape importante » et un élément majeur de la stratégie de l’Union européenne visant à « façonner un un monde en ligne plus sûr et plus transparent ».
Cependant, le rapport de Democracy Reporting International suggère que les exigences du DSA, y compris ces évaluations des risques, ces tests et ces formations visant à atténuer les risques liés aux élections, ne sont pas remplies.
Ainsi, Resende a déclaré que la Commission ou les entreprises à l’origine des chatbots devraient publier ces évaluations.
« Je crains qu’ils soient réticents à partager (les évaluations des risques) avec le public, soit parce qu’ils ne l’ont pas fait, soit parce qu’ils n’ont pas confiance dans le niveau de détail qu’ils ont investi dans ce projet », a déclaré Resende.
Bien qu’elle n’ait pas répondu directement à cette étude, un porte-parole a déclaré dans un courrier électronique que la Commission « reste vigilante sur les effets négatifs de la désinformation en ligne, y compris la désinformation alimentée par l’IA ».
Un mois après le lancement officiel du DSA, la Commission a lancé une enquête d’information auprès de Bing et de Google Search afin de recueillir davantage d’informations sur leurs « risques d’atténuation liés à l’IA générative ».
La Commission a confirmé à L’Observatoire de l’Europe Next qu’elle examinait les informations reçues dans le cadre de cette enquête, mais n’a pas donné plus de détails.
La Commission a également signé un code de bonnes pratiques sur la désinformation en mars avec des plateformes comme Google et Microsoft, dans le cadre desquelles elles ont convenu de promouvoir « des informations de haute qualité et faisant autorité auprès des électeurs ».
