Microsoft affirme disposer d’une nouvelle capacité permettant de détecter et de corriger les déclarations fausses ou trompeuses de l’IA.
Microsoft a dévoilé cette semaine une nouvelle fonctionnalité d’intelligence artificielle (IA) qui, selon elle, aidera à corriger les fausses déclarations des modèles.
Selon le géant de la technologie, la nouvelle capacité « Correction » identifiera les inexactitudes dans les résultats de l’IA et les corrigera.
Les soi-disant hallucinations de l’IA seront corrigées en temps réel « avant que les utilisateurs d’applications d’IA génératives ne les rencontrent », a déclaré Microsoft, un porte-parole qualifiant cela de « nouvelle capacité inédite en son genre ».
La fonctionnalité fonctionne en analysant et en mettant en évidence la partie inexacte d’une réponse. Elle peut ensuite générer une réponse expliquant pourquoi le segment est erroné et utiliser l’IA générative pour corriger la section afin de s’assurer que « le contenu réécrit correspond mieux aux sources de données connectées », a déclaré un porte-parole de Microsoft.
Il s’agit d’une partie de l’interface logicielle Azure AI Content Safety de Microsoft, qui peut désormais également être intégrée aux appareils.
Pourquoi l’IA hallucine-t-elle ?
Les modèles d’IA sont formés sur de vastes ensembles de données pour faire des prédictions, mais ils peuvent également « halluciner », c’est-à-dire générer des déclarations incorrectes ou fausses. Cela peut être dû à des données de formation incomplètes ou biaisées.
Jesse Kommandeur, analyste stratégique au Centre d’études stratégiques de La Haye, compare cela à la préparation d’un gâteau sans la recette complète – où l’on devine en fonction de ses expériences précédentes ce qui peut fonctionner. Parfois, le gâteau est réussi, mais parfois non.
« L’IA essaie de « créer » le résultat final (comme un texte ou une décision) sur la base d’informations incomplètes (« recettes ») dont elle a tiré des enseignements », a déclaré Kommandeur dans un e-mail.
Il existe de nombreux exemples très médiatisés de chatbots IA fournissant des réponses fausses ou trompeuses, depuis des avocats soumettant de faux dossiers juridiques après avoir utilisé un modèle d’IA jusqu’aux résumés IA de Google fournissant des réponses trompeuses et inexactes plus tôt cette année.
Une étude réalisée l’an dernier par la société Vectara a révélé que les modèles d’IA hallucinaient entre 3 et 27 % du temps, selon l’outil utilisé. De son côté, l’organisation à but non lucratif Democracy Reporting International a déclaré, avant les élections européennes, qu’aucun des chatbots les plus populaires ne fournissait de réponses « fiables » aux questions liées aux élections.
Ce nouvel outil pourrait-il soigner les hallucinations ?
« L’IA générative ne réfléchit pas vraiment, ne planifie pas et ne pense pas. Elle répond simplement de manière séquentielle aux entrées… et nous avons vu les limites de cette approche », a déclaré Vasant Dhar, professeur à la Stern School of Business de l’Université de New York et au Center for Data Science aux États-Unis.
« C’est une chose de dire que (la nouvelle capacité de correction) réduira les hallucinations. C’est probablement le cas, mais il est vraiment impossible de les éliminer complètement avec l’architecture actuelle », a-t-il ajouté.
Idéalement, a ajouté Dhar, une entreprise voudrait pouvoir affirmer qu’elle réduit un certain pourcentage d’hallucinations.
« Cela nécessiterait une énorme quantité de données sur les hallucinations connues et des tests pour voir si cette petite méthode d’ingénierie rapide les réduit réellement. C’est en fait une tâche très difficile, c’est pourquoi ils n’ont fait aucune déclaration quantitative sur la mesure dans laquelle elle réduit les hallucinations ».
Kommandeur a examiné un document dont Microsoft a confirmé la publication sur la fonction de correction et a déclaré que même si cela « semble prometteur et choisit une méthodologie que je n’ai jamais vue auparavant, il est probable que la technologie soit encore en évolution et puisse avoir ses limites ».
« Améliorations progressives »
Microsoft affirme que les hallucinations ont freiné les modèles d’IA dans des domaines à enjeux élevés, comme la médecine, ainsi que pour leur déploiement à plus grande échelle.
« Toutes ces technologies, y compris Google Search, sont des technologies dans lesquelles ces entreprises continuent d’apporter des améliorations progressives au produit », a déclaré Dhar.
« C’est en quelque sorte le mode de fonctionnement une fois que vous avez le produit principal prêt, vous continuez à l’améliorer », a-t-il déclaré.
« De mon point de vue, à long terme, l’investissement dans l’IA peut devenir un handicap si les modèles continuent à avoir des hallucinations, surtout si ces erreurs continuent à conduire à de la désinformation, à des prises de décision erronées, etc. », a déclaré Kommandeur.
« À court terme, cependant, je pense que les LLM (grands modèles linguistiques) ajoutent tellement de valeur à la vie quotidienne de beaucoup de gens en termes d’efficacité, que les hallucinations sont quelque chose que nous semblons tenir pour acquis », a-t-il déclaré.
