Plus
une technologie est puissante, plus les bénéfices ou les risques qu’elle porte
sont importants. Les systèmes et modèles d’IA générative ne font pas exception
à cette règle. Ce deuxième « Brief de l’IA responsable » d’Impact AI résume ses
travaux et propose des bonnes pratiques et initiatives visant à s’assurer que
le développement et l’utilisation de l’IA générative est aussi sûre et
sécurisée que possible.
Le "Brief de l'IA
responsable" d'Impact AI #2 aborde les enjeux liés à l'IA générative, en
mettant en lumière les défis en matière de sûreté, de cybersécurité et de
protection de la vie privée. Il souligne que plus une technologie est puissante,
plus ses bénéfices et ses risques sont importants. C'est pourquoi il est
essentiel que les entreprises identifient, comprennent et traitent ces risques
pour maximiser la valeur de l'IA générative tout en garantissant sa sécurité.
Le contexte présente
deux catégories de risques associés aux systèmes d'IA générative : les risques
déterministes et non déterministes. Les risques déterministes sont liés à la
sécurité logicielle traditionnelle, incluant la nécessité de s'assurer que les
systèmes sont correctement intégrés, sécurisés et conformes aux meilleures
pratiques de cybersécurité. Ces systèmes doivent être gérés comme des logiciels
classiques, en appliquant des processus comme le NIST Secure Software
Development Practices ou le Microsoft Security Development Lifecycle.
Les risques non
déterministes se manifestent par des attaques chaotiques comme les
"jailbreak attacks", où un attaquant manipule les prompts pour
tromper le système. D'autres exemples incluent les fuites d'informations
sensibles, la génération de contenu mensonger ou inexact, et le désalignement
des pratiques en matière de confidentialité. Ces défis soulignent la complexité
accrue de l'IA générative par rapport aux systèmes d'IA traditionnels.
Les membres d'Impact AI
partagent diverses stratégies pour répondre à ces menaces. Microsoft France a
élaboré un guide de modélisation des menaces et des bonnes pratiques de red
teaming pour tester la sécurité des modèles d'IA, tandis qu'Orange recommande
de traiter ces systèmes comme des systèmes d'IA classiques, en intégrant une
gestion proactive des risques.
Selon Philippe Béraud,
Chief Technology and Security Advisor, Responsible AI Lead at Microsoft : « Ce sujet est
crucial. Nous avons conçu et partagé un guide de modélisation des menaces pour
les systèmes d’IA (générative) ainsi qu’un ensemble de bonnes pratiques en
matière de red teaming, consistant à tester des modèles d’IA pour les protéger
contre des comportements frauduleux. Ces pratiques, mises au point par le AI
Red Team (AIRT) de Microsoft, permettent de tester la sécurité d’un système
dans des conditions réelles d’utilisation, de rechercher de façon pro-active
les éléments de vulnérabilité, de définir des stratégies de défense et de
mettre en place des plans de renforcement de la sécurité. »
Enfin, le document conclut que la sécurité des systèmes d'IA générative est un domaine en constante évolution ; il est essentiel d'échanger des informations sur les vulnérabilités et les attaques afin de renforcer les bonnes pratiques. Pour plus d'informations, différentes ressources sont citées, comme les recommandations de sécurité de l’ANSSI, des fiches pratiques de la CNIL, et des outils comme MITRE ATLAS pour naviguer dans le paysage des menaces lié à l'IA.