Comme l’UE l’a expérimenté avec la loi sur l’IA, trouver un compromis entre innovation et risques prend du temps. Mais les risques spécifiques du bioterrorisme grâce à l’IA peuvent être combattus dès maintenant, écrivent Kevin Esvelt et Ben Mueller.
La réglementation de l’IA est devenue un domaine de concurrence interétatique. Alors que l’UE vient de parvenir à un accord sur la loi sur l’IA, les États-Unis ont déjà publié un décret de grande envergure sur l’IA, et le Royaume-Uni a convoqué les dirigeants politiques et industriels au Sommet sur la sécurité de l’IA.
Dans bon nombre de ces discussions, un risque retient davantage l’attention : le bioterrorisme assisté par l’IA, ou la capacité des individus à provoquer une catastrophe en utilisant des outils d’IA pour accéder à un virus pandémique.
Nous avons récemment montré que ce risque méritait d’être pris en compte. Dans une expérience informelle, nous avons demandé à des individus d’utiliser un modèle open source en grand langage dont les garanties ont été supprimées pour les aider à obtenir un agent pathogène capable de provoquer une pandémie.
En trois heures, les participants ont identifié bon nombre des étapes nécessaires pour déclencher une épidémie potentiellement catastrophique.
Ce qui est particulièrement préoccupant, c’est que le modèle conseille les participants sur la manière d’accéder à l’ADN viral – le modèle de création de l’agent pathogène – tout en évitant les méthodes de dépistage existantes. La mesure dans laquelle les modèles actuels aident le bioterrorisme en résumant les informations qui existent déjà en ligne reste floue.
Cependant, mises à part les capacités actuelles, les résultats suggèrent qu’en l’absence de mesures de protection robustes, de futurs modèles plus avancés pourraient fournir aux individus malveillants des informations simplifiées et accessibles sur la manière d’accéder, de construire et de diffuser un virus pandémique.
Une technologie ouverte aux acteurs malveillants
Les constructions d’ADN nécessaires à la construction d’un virus à partir de zéro peuvent être commandées en ligne : de nombreux fournisseurs de synthèse génétique fabriquent un millier de morceaux d’ADN de paires de bases pour moins de 200 € – ce qui, il y a seulement quelques décennies, prenait des milliers d’heures aux chercheurs et méritait un prix Nobel. .
L’avènement de la synthèse génétique personnalisée est désormais un pilier des sciences biologiques, permettant aux chercheurs d’itérer rapidement sur la conception de vaccins et de produits thérapeutiques à base d’ARNm, entre autres avantages. Cependant, tout comme les progrès dans la synthèse génétique permettent de nouvelles découvertes et de nouveaux traitements, la technologie peut également être utilisée à mauvais escient par des acteurs malveillants pour accéder à des agents pathogènes pandémiques.
De nombreuses entreprises ont franchi une étape importante en examinant les ordonnances pour détecter l’ADN d’agents pathogènes dangereux.
Mais ce n’est pas le cas de tous. Les modèles d’IA basés sur le langage peuvent déjà conseiller les individus sur la manière d’identifier et d’exploiter de telles failles pour obtenir l’ADN d’agents pathogènes susceptibles de provoquer une pandémie.
Faisant écho à cette préoccupation, le PDG d’Anthropic, une société leader dans le domaine de l’IA, a récemment averti les législateurs américains que d’ici deux ans, les systèmes d’IA de nouvelle génération pourraient permettre le bioterrorisme à grande échelle, à moins que des garde-fous appropriés ne soient mis en place.
Yoshua Bengio, l’un des « parrains de l’IA », a exprimé des préoccupations similaires. Alors que les décideurs politiques de l’UE réfléchissent aux réactions appropriées face aux progrès rapides de l’IA, un simple garde-fou mérite un examen plus approfondi : une obligation légale de filtrer toutes les commandes de synthèse génétique pour détecter les séquences dangereuses.
Moins d’une centaine d’entreprises hautement spécialisées proposent des services de synthèse d’ADN, ce qui constitue un levier politique idéal : si l’UE exige des entreprises qu’elles examinent toutes les commandes par rapport à une base de données à jour des agents pathogènes pandémiques connus et qu’elles mettent en œuvre des exigences de connaissance de leurs clients, de mauvaises les acteurs ne peuvent plus accéder aux éléments de base nécessaires pour déclencher la prochaine pandémie.
Les arguments en faveur du dépistage obligatoire de la synthèse génétique
Les États-Unis ont déjà pris des mesures pour sécuriser la synthèse génétique. Le récent décret du gouvernement sur l’IA oblige les entités financées par le gouvernement fédéral à suivre les nouvelles lignes directrices du gouvernement en matière de dépistage par synthèse biologique.
L’UE elle-même n’a pas encore adopté de réglementation sur la question. Compte tenu du risque croissant de bioterrorisme pandémique, un mandat de dépistage de la synthèse génétique serait une première étape significative.
Les prestataires représentant plus de 80 % du secteur sont favorables aux mandats. D’autres ont des inquiétudes légitimes quant aux coûts potentiels du dépistage par synthèse génétique et s’inquiètent d’éventuels problèmes de propriété intellectuelle, mais la sortie imminente d’outils de dépistage gratuits et préservant la vie privée devrait atténuer ce problème.
Un système de contrôle obligatoire doit répondre à plusieurs critères. Les commandes doivent être cryptées pour préserver la confidentialité et soumises à un contrôle qui détecte exclusivement les dangers avec un nombre négligeable de fausses alarmes, tandis que les laboratoires agréés doivent se voir offrir un moyen d’obtenir de manière transparente et sans délai les séquences d’ADN autorisées.
En outre, tous les systèmes de dépistage devraient vérifier de manière vérifiable les commandes par rapport à une base de données de séquences dangereuses qui est immédiatement mise à jour pour détecter les agents pathogènes pandémiques potentiels nouvellement identifiés, avec de fortes incitations à utiliser le meilleur dépistage tel que déterminé par les efforts de « équipe rouge » qui testent comment des séquences facilement dangereuses peuvent être obtenues sans détection.
Enfin, les nouveaux dispositifs de synthèse et d’assemblage d’ADN, tels que les synthétiseurs de paillasse, devraient intégrer un criblage intégré répondant aux critères ci-dessus. La mise en œuvre de protocoles de sélection rigoureux basés sur ces critères est essentielle pour tirer pleinement parti des avantages considérables de la biotechnologie tout en la protégeant contre toute utilisation abusive.
Sauvegarder la promesse de la biologie
Les progrès de la biotechnologie et de l’intelligence artificielle entraîneront des avancées révolutionnaires dans les sciences de la vie et la médecine.
La synthèse génétique personnalisée est un facteur fondamental de ces avantages remarquables. Mais les dommages causés par le SRAS-CoV-2, un virus pandémique historiquement bénin, démontrent que son utilisation abusive – rendue plus probable par les progrès de l’IA générative – pourrait causer des dommages à une échelle qui dépasse tous ces avantages.
Comme l’Union européenne l’a expérimenté avec la loi sur l’IA, il faut du temps pour trouver un compromis entre favoriser l’innovation et réduire les risques.
Mais les risques spécifiques du bioterrorisme grâce à l’IA, reconnus à la fois par les leaders de l’industrie et les professionnels de la biosécurité, peuvent être combattus dès maintenant.
En rendant obligatoire le dépistage par synthèse génétique, l’Union européenne peut réduire considérablement ces risques, préservant ainsi la promesse d’une biotechnologie en constante évolution.
