Les critiques de la sortie publique de ChatGPT en novembre 2022 et des versions ultérieures des concurrents affirment qu’elle était irresponsable et précipitée, considérant que la sécurité était en grande partie une réflexion après coup dans leur développement.
Microsoft a déclaré mercredi que les adversaires des États-Unis, principalement l’Iran et la Corée du Nord et, dans une moindre mesure, la Russie et la Chine, commençaient à utiliser l’intelligence artificielle (IA) générative pour monter ou organiser des cyberopérations offensives.
Le géant de la technologie a déclaré avoir détecté et déjoué, en collaboration avec son partenaire commercial OpenAI, les menaces qui utilisaient ou tentaient d’exploiter la technologie d’IA qu’ils avaient développée.
Dans un article de blog, la société de Redmond, dans l’État de Washington, a déclaré que ces techniques étaient « à un stade précoce » et ni « particulièrement nouvelles ou uniques », mais qu’il était important de les exposer publiquement alors que les rivaux américains exploitent des modèles linguistiques étendus pour étendre leur capacité à pénétrer dans les réseaux et mener des opérations d’influence.
Les entreprises de cybersécurité utilisent depuis longtemps l’apprentissage automatique dans le domaine de la défense, principalement pour détecter les comportements anormaux dans les réseaux. Mais les criminels et les pirates informatiques offensifs l’utilisent également, et l’introduction de modèles en grand langage dirigés par ChatGPT d’OpenAI a amélioré ce jeu du chat et de la souris.
Microsoft a investi des milliards de dollars dans OpenAI, et l’annonce de mercredi a coïncidé avec la publication d’un rapport soulignant que l’IA générative devrait renforcer l’ingénierie sociale malveillante, conduisant à des deepfakes et au clonage de voix plus sophistiqués, une menace pour la démocratie dans une année où plus de 50 les pays organiseront des élections, amplifiant la désinformation et ce qui se produit déjà,
Voici quelques exemples fournis par Microsoft. Dans chaque cas, il indique que tous les comptes et actifs d’IA générative des groupes nommés ont été désactivés :
- Le groupe de cyberespionnage nord-coréen connu sous le nom de Kimsuky a utilisé ces modèles pour rechercher des groupes de réflexion étrangers qui étudient le pays et pour générer du contenu susceptible d’être utilisé dans des campagnes de piratage par spear phishing.
- Les Gardiens de la révolution iraniens ont utilisé des modèles en langage large pour contribuer à l’ingénierie sociale, au dépannage des erreurs logicielles et même à l’étude de la manière dont les intrus pourraient échapper à la détection dans un réseau compromis. Cela inclut la génération d’e-mails de phishing « dont un prétendant provenir d’une agence de développement international et un autre tentant d’attirer d’éminentes féministes vers un site Web sur le féminisme créé par un attaquant ». L’IA permet d’accélérer et de stimuler la production d’e-mails.
- L’unité de renseignement militaire russe du GRU, connue sous le nom de Fancy Bear, a utilisé ces modèles pour rechercher des technologies satellitaires et radar susceptibles d’être liées à la guerre en Ukraine.
- Le groupe de cyberespionnage chinois connu sous le nom d’Aquatic Panda – qui cible un large éventail d’industries, d’enseignement supérieur et de gouvernements, de la France à la Malaisie – a interagi avec les modèles « d’une manière qui suggère une exploration limitée de la manière dont les LLM peuvent augmenter leurs opérations techniques ».
- Le groupe chinois Maverick Panda, qui cible les sous-traitants américains de la défense entre autres secteurs depuis plus d’une décennie, a eu des interactions avec des modèles en langage large suggérant qu’il évaluait leur efficacité en tant que source d’informations « sur des sujets potentiellement sensibles, des personnalités de haut niveau, des événements régionaux ». la géopolitique, l’influence américaine et les affaires intérieures.
« La boîte de Pandore a été ouverte »
Dans un autre blog publié mercredi, OpenAI a déclaré que son chatbot actuel, modèle GPT-4, n’offre « que des capacités incrémentielles limitées pour les tâches de cybersécurité malveillantes, au-delà de ce qui est déjà réalisable avec des outils accessibles au public et non alimentés par l’IA ».
Les chercheurs en cybersécurité s’attendent à ce que cela change.
En avril dernier, la directrice de l’Agence américaine de cybersécurité et de sécurité des infrastructures, Jen Easterly, a déclaré au Congrès qu’« il existe deux menaces et défis qui définissent notre époque. L’un est la Chine et l’autre l’intelligence artificielle.
Easterly avait déclaré à l’époque que les États-Unis devaient garantir que l’IA était conçue dans un souci de sécurité.
Les critiques de la sortie publique de ChatGPT en novembre 2022 – et des versions ultérieures de concurrents, notamment Google et Meta – affirment qu’elle était irresponsable et précipitée, considérant que la sécurité était en grande partie une réflexion après coup dans leur développement.
« Bien sûr, les mauvais acteurs utilisent des modèles en langage large – cette décision a été prise lors de l’ouverture de la boîte de Pandore », a déclaré Amit Yoran, PDG de la société de cybersécurité Tenable.
Certains professionnels de la cybersécurité se plaignent de la création et de la commercialisation par Microsoft d’outils destinés à remédier aux vulnérabilités des modèles à langage étendu, alors qu’elle pourrait se concentrer de manière plus responsable sur leur sécurité.
« Pourquoi ne pas créer des modèles de base LLM en boîte noire plus sécurisés au lieu de vendre des outils défensifs pour un problème qu’ils contribuent à créer ? », a demandé Gary McGraw, un vétéran de la sécurité informatique et co-fondateur du Berryville Institute of Machine Learning.
Edward Amoroso, professeur à l’Université de New York et ancien chef de la sécurité d’AT&T, a déclaré que même si l’utilisation de l’IA et des modèles à grand langage ne constitue pas une menace immédiatement évidente, ils « deviendront à terme l’une des armes les plus puissantes dans les attaques militaires de chaque État-nation ».
