Les grandes entreprises technologiques telles qu’Apple et Meta se sont montrées prudentes dans le déploiement de leurs modèles d’IA en Europe. Un nouveau « LLM Checker » pourrait aider.
Les principaux modèles d’intelligence artificielle générative (GenAI), notamment OpenAI, Meta et Anthropic, ne respectent pas pleinement les règles européennes en matière d’IA, selon un rapport publié mercredi.
La loi européenne sur l’IA est entrée en vigueur en août dernier dans le but d’établir des règles harmonisées pour les systèmes d’IA afin qu’ils ne deviennent pas une menace pour la société.
Cependant, certaines entreprises technologiques telles que Meta et Apple n’ont pas déployé leurs modèles d’IA en Europe car elles sont prudentes quant aux règles.
Un nouvel outil et un nouveau cadre visant à simplifier la navigation dans la loi européenne sur l’IA pour les entreprises technologiques ont été publiés par les instituts de recherche ETH Zurich et l’Institut bulgare d’informatique, d’IA et de technologie (INSAIT), ainsi que par la start-up suisse LatticeFlow AI. Il s’agit du premier cadre d’évaluation de la conformité à la loi européenne sur l’IA pour GenAI.
L’outil attribue aux modèles d’IA un score compris entre 0 et 1 dans des catégories telles que la sécurité afin de déterminer dans quelle mesure ils se conforment à la loi.
Qu’a trouvé le « LLM Checker » ?
Le vérificateur de modèles de langage étendu (LLM) a examiné les modèles d’IA développés par Alibaba, Anthropic, OpenAI, Meta et Mistral AI, qui ont tous reçu une note moyenne de 0,75 ou plus. Il a examiné des domaines tels que la cybersécurité, le bien-être environnemental, ainsi que la confidentialité et la gouvernance des données.
L’étude a révélé que, pour la plupart, plusieurs modèles d’IA ne répondaient pas aux critères de discrimination et de cybersécurité.
Par exemple, le GPT-4 Turbo d’OpenAI a obtenu un score de 0,46 en matière de sortie discriminatoire et le Cloud d’Alibaba a obtenu un score de 0,37.
Mais la plupart des modèles ont donné de bons résultats en termes de contenu nocif et d’exigences en matière de toxicité.
Un outil « salué » par la Commission européenne
Les entreprises qui ne respectent pas la loi européenne sur l’IA s’exposent à des amendes de 35 millions d’euros, soit 7 % du chiffre d’affaires annuel mondial. Pourtant, il peut être difficile pour les entreprises technologiques de soumettre leurs preuves car il n’existe pas de directives techniques détaillées à suivre. derrière le vérificateur LLM, dites.
« Si vous souhaitez vous conformer à la loi européenne sur l’IA, personne ne sait comment fournir les preuves techniques qui soutiennent le respect de la loi. C’est un très grand défi qui doit être relevé dès maintenant », a déclaré à L’Observatoire de l’Europe Next Petar Tsankov, PDG et cofondateur de LatticeFlow AI.
« Sans cela, les entreprises ne se déploieraient tout simplement pas en Europe parce qu’elles ne le savent pas. Vous avez une législation effrayante qui peut vous mordre, et vous ne savez pas quoi faire. C’est donc très inconfortable pour les entreprises », a-t-il déclaré, ajoutant qu’il rencontrerait bientôt Apple et OpenAI pour discuter de la conformité à la loi sur l’IA.
La Commission européenne a lancé une consultation sur le code de bonnes pratiques destiné aux fournisseurs de modèles d’IA à usage général (GPAI), qui vise à superviser la mise en œuvre et l’application de la loi sur l’IA.
Un porte-parole de la Commission européenne a déclaré à L’Observatoire de l’Europe Next que la Commission avait accueilli favorablement l’étude et la plateforme d’évaluation des modèles d’IA « comme une première étape dans la traduction de la loi européenne sur l’IA en exigences techniques, aidant ainsi les fournisseurs de modèles d’IA à mettre en œuvre la loi sur l’IA ».
«La Commission a lancé le travail avec les parties prenantes sur le code de bonnes pratiques, qui détaillera les règles de la loi sur l’IA pour les fournisseurs de modèles d’IA à usage général et de modèles d’IA à usage général présentant des risques systémiques. Les prestataires devraient pouvoir s’appuyer sur le code de bonnes pratiques pour démontrer leur conformité », a ajouté le porte-parole.
En plus de lancer la première interprétation technique de la loi sur l’IA, il existe également un cadre open source gratuit qui peut être utilisé pour évaluer les LLM par rapport aux exigences de l’UE.
«Nous invitons les chercheurs, les développeurs et les régulateurs en IA à nous rejoindre pour faire avancer ce projet en évolution», a déclaré Martin Vechev, professeur à l’ETH Zurich et fondateur et directeur scientifique de l’INSAIT à Sofia, en Bulgarie.
