Selon une étude, il est presque impossible de détecter les documents générés par l’IA et soumis aux examens.
Presque toutes les soumissions générées par l’intelligence artificielle (IA) sont passées inaperçues lors d’un récent test des systèmes d’examen des universités britanniques.
Les travaux générés par l’IA ont également reçu en moyenne des notes plus élevées que ceux rédigés par de vrais étudiants, ont constaté des chercheurs de l’Université de Reading. Ils ont publié leurs résultats dans la revue en libre accès PLOS ONE.
L’intelligence artificielle a déjà prouvé qu’elle pouvait réussir des examens, ce qui a conduit certaines écoles et universités à interdire aux étudiants d’utiliser les outils d’IA disponibles tels que ChatGPT.
Toutefois, selon la nouvelle étude, l’application de cette règle s’est avérée difficile.
Les chercheurs ont soumis des examens rédigés par l’IA pour cinq cours différents pour un diplôme de premier cycle en psychologie à l’université.
Ils ont découvert que 94 % de ces soumissions n’étaient pas détectées dans ce qu’ils ont appelé une étude de cas de « test de Turing ».
Nommé d’après le mathématicien et informaticien britannique Alan Turing en 1950, cet indice mesure la capacité d’une machine à présenter un comportement intelligent semblable à celui d’un humain.
« Extrêmement préoccupant »
Les auteurs ont déclaré que cette découverte était « extrêmement préoccupante », d’autant plus que le « contenu des réponses générées par l’IA » n’a pas été modifié par les chercheurs.
« Dans l’ensemble, notre taux de détection de 6 % surestime probablement notre capacité à détecter l’utilisation réelle de l’IA pour tricher aux examens », ont-ils noté dans l’étude, ajoutant qu’il serait plus plausible que les étudiants modifient la sortie de l’IA pour la rendre moins détectable.
De plus, dans 83,4 % des cas, les soumissions générées par l’IA ont obtenu des notes plus élevées par rapport à un groupe choisi au hasard du même nombre d’examens d’étudiants réels.
Une exception était un module qui impliquait un raisonnement plus abstrait, ce que l’IA peut avoir du mal à gérer par rapport aux vrais étudiants.
« Les résultats du « Test de Turing des examens » invitent le secteur mondial de l’éducation à accepter une nouvelle normalité et c’est exactement ce que nous faisons à l’Université de Reading », ont déclaré les auteurs de l’étude dans un communiqué.
« Les nouvelles politiques et les nouveaux conseils adressés à notre personnel et à nos étudiants reconnaissent à la fois les risques et les opportunités offerts par les outils qui utilisent l’intelligence artificielle », ont-ils ajouté.
Les chercheurs ont exprimé leur inquiétude quant à l’intégrité académique à la lumière de ces résultats et ont suggéré que des examens supervisés en personne pourraient atténuer le problème.
Cependant, à mesure que les outils d’IA continuent d’évoluer et de devenir répandus dans les environnements professionnels, les universités pourraient avoir besoin d’explorer des moyens d’intégrer l’IA dans l’éducation dans le cadre de la « nouvelle normalité ».
