Un groupe de surveillance a critiqué Midjourney au début du mois, affirmant qu’il était déjà utilisé pour produire des images susceptibles de soutenir la désinformation sur les candidats politiques.
Le populaire générateur d’images d’intelligence artificielle Midjourney a commencé à empêcher ses utilisateurs de créer de fausses images du président Joe Biden et de l’ancien président Donald Trump avant la prochaine élection présidentielle américaine, selon des tests de l’outil d’IA réalisés par l’Associated Press.
Alors que les élections battent leur plein, il est temps de « mettre un peu le pied sur les choses liées aux élections », a déclaré le PDG de Midjourney, David Holz, à plusieurs centaines de membres de la base d’utilisateurs dévoués du service lors d’un événement numérique mercredi.
Déclarant que « ce genre de modération est plutôt difficile », Holz n’a pas précisé exactement quels changements politiques étaient apportés, mais a décrit la répression comme une mesure temporaire visant à rendre plus difficile pour les gens d’abuser de l’outil. L’entreprise n’a pas immédiatement répondu. à une demande de commentaires.
Les tentatives des journalistes de l’AP de tester la nouvelle politique de Midjourney mercredi en lui demandant de réaliser une image de « Trump et Biden se serrant la main sur la plage » ont conduit à un avertissement « Interdit d’invite détectée ». Une deuxième tentative a fait évoluer l’avertissement vers : « Vous avez déclenché une alerte d’abus ».
La petite entreprise – qui ne compte que 11 employés, selon son site Internet – est restée largement silencieuse dans le débat public sur la manière dont les outils d’IA générative pourraient alimenter la désinformation électorale dans le monde.
Midjourney était le seul fabricant d’un outil de génération d’images de premier plan à ne pas avoir adhéré à un pacte volontaire de l’industrie technologique en février pour lutter contre les deepfakes générés par l’IA qui trompent délibérément les électeurs.
« Le discours politique ne m’intéresse pas vraiment », a déclaré Holz mercredi.
« Ce n’est pas le but de Midjourney. Ce n’est pas très intéressant pour moi. Cela dit, je ne veux pas non plus passer tout mon temps à essayer de contrôler le discours politique. Donc on va avoir mis un peu le pied dessus ».
Midjourney a « le moins de contrôles » sur les générateurs d’images
Le Center for Countering Digital Hate a publié un rapport plus tôt ce mois-ci concluant que Midjourney est déjà utilisé pour produire des images susceptibles de soutenir la désinformation sur les candidats politiques ou de fausses allégations de fraude électorale.
« Midjourney semblait avoir le moins de contrôles de tous les générateurs d’images d’IA lorsqu’il s’agissait de générer des images de personnalités politiques bien connues comme Joe Biden et Donald Trump », a déclaré Callum Hood, responsable de la recherche du groupe, dans une interview mercredi.
« Midjourney était presque unique, à la fois en étant disposé à générer ces images et en générant des images assez convaincantes de candidats ».
Le groupe de surveillance a testé Midjourney ainsi que ChatGPT Plus d’OpenAI, DreamStudio de Stability AI et Image Creator de Microsoft, et a constaté que tous avaient des problèmes, créant de la désinformation électorale dans 41 % des cas.
Mais « Midjourney a obtenu les pires résultats de tous les outils, échouant dans 65 % des tests », indique le rapport.
Hood a déclaré qu’il ne savait pas si Midjourney avait modifié ses politiques cette semaine, mais « sa décision de bloquer ces images contribuerait à sceller une faiblesse majeure par rapport aux autres générateurs d’images populaires ».
« Un monde différent en 2028 »
Pas plus tard que la semaine dernière, la base de données publique de Midjourney montre que les utilisateurs ont réussi à produire des images basées sur des invites telles que « Photo abstraite de Donald Trump assis dans une petite voiture électrique » et « Joe Biden mangeant une glace ».
Mais cela a changé ces derniers jours, car les utilisateurs ont signalé avoir reçu un avertissement lorsqu’ils tentaient de créer des images de Biden ou de Trump. Certains se sont plaints du fait que Midjourney ne communiquait pas correctement la politique modifiée.
Midjourney diffère des autres générateurs d’images dans la mesure où il est possible pour les utilisateurs de voir les invites écrites et les images de la plupart des autres utilisateurs, car tout se passe sur les forums publics de la plateforme de médias sociaux Discord.
Le groupe Discord de Midjourney compte plus de 19 millions de membres, le plus grand de tous les groupes sur la plateforme de discussion. C’est là que Holz tient ses heures de bureau hebdomadaires, qui peuvent déboucher sur de vastes conversations sur l’IA et l’avenir de l’humanité.
« Quiconque a peur des fausses images en 2024 connaîtra une année 2028 difficile », a déclaré Holz mercredi. « Ce sera un monde très différent à ce moment-là. Évidemment, il y aura toujours des humains qui se présenteront à la présidence en 2028, mais ils ne seront plus purement humains ».
À ce moment-là, tous les candidats auront de vrais « deepfakes chatbots » avec des points de discussion simulés, a-t-il déclaré. Holz a averti mercredi que les personnes qui souhaitent réellement réaliser des deepfakes trouveront des alternatives qui « pourront être adaptées à des personnes spécifiques et fonctionneront mieux que nos systèmes ».
Basée près de San Francisco et fondée en 2020, l’entreprise se décrit comme un « laboratoire de recherche indépendant explorant de nouveaux modes de pensée et développant les pouvoirs imaginatifs de l’espèce humaine ».
Il a dévoilé pour la première fois la version publique de son générateur d’images en juillet 2022. Cela – et la sortie d’un rival clé, Stable Diffusion, plus tard cet été – a suscité une fascination croissante pour la technologie d’IA générative qui s’est intensifiée avec les débuts de ChatGPT plusieurs mois plus tard.
Holz a déclaré à l’Associated Press plus tard cette année-là que Midjourney s’efforçait d’interdire les contenus offensants et préjudiciables, généralement en bloquant certains mots-clés et en demandant à son équipe de modérateurs de suivre les résultats et de répondre aux plaintes des autres utilisateurs.
« Nous essayons vraiment de permettre aux gens de créer le plus grand nombre d’images possible, mais nous interdisons chaque jour les gens d’accéder au service », a déclaré Holz fin 2022.
