Sam Altman, PDG d’OpenAI, dirigera un nouveau comité de sécurité alors que la formation commence sur leur dernier modèle.
OpenAI a formé un nouveau comité de sécurité alors que la formation commence sur son dernier modèle d’intelligence artificielle (IA).
Le comité fera des recommandations au conseil d’administration de l’entreprise sur les « décisions critiques et de sécurité » pour OpenAI.
Le PDG Sam Altman, Bret Taylor, Adam D’Angelo et Nicole Seligman dirigeront le comité, a déclaré OpenAI dans un article de blog.
La première chose à l’ordre du jour est de mettre à jour les pratiques de sécurité actuelles de l’entreprise dans 90 jours, puis de partager leurs recommandations avec le conseil d’administration. Ensuite, les recommandations adoptées seront partagées avec le public.
« Nous considérons la sécurité comme quelque chose dans lequel nous devons investir et réussir », indiquent les procédures de sécurité actuelles d’OpenAI.
L’annonce intervient quelques semaines après qu’OpenAI a dissous son équipe Superalignment, une équipe de recherche qui était censée atténuer les risques liés à l’IA, tels que les comportements malveillants, après le départ des coprésidents de l’entreprise. Il a fonctionné pendant moins d’un an.
OpenAI a produit une « mise à jour sur la sécurité » la semaine dernière à la suite du sommet AI de Séoul. Il indique, entre autres, qu’il ne publiera pas de nouveau modèle d’IA s’il franchit un niveau de menace « moyen ».
Cette évaluation est basée sur des « tableaux de bord » internes que l’entreprise conserve sur ses modèles en fonction de leurs performances lors des sessions de formation, mais OpenAI ne partage pas d’informations plus spécifiques sur la façon dont ils évaluent les modèles.
OpenAI a déclaré dans sa déclaration au sommet AI de Séoul qu’ils travaillaient également sur des protections supplémentaires pour signaler les contenus préjudiciables pour les enfants sur leurs plateformes, ainsi que sur l’introduction d’un nouvel outil pour identifier les images générées par l’IA par DALL-E 3, le générateur d’images de ChatGPT.
Le 13 mai, OpenAI a annoncé GPT-4 Omni, le dernier modèle capable de « raisonner sur l’audio, la vision et le texte en temps réel ».
La société affirme que le nouveau modèle constitue une étape vers « une interaction homme-machine plus naturelle », car il peut répondre aux entrées en aussi peu que 232 millisecondes.
Les experts technologiques et politiques d’OpenAI, Aleksander Madry et Lilian Weng, ainsi que Jakub Pachocki, le scientifique en chef nouvellement nommé, font également partie du comité.
Le comité de sécurité va solliciter l’avis d’anciens responsables de la cybersécurité, Rob Joyce, qui conseille OpenAI en matière de sécurité, et de John Carlin.
