Qu’est-ce que la sécurité de l’IA générative ?

La sécurité de l’IA générative (GenAI) gère les risques de sécurité associés aux chatbots LLM, tels que ChatGPT ou Claude. Les principaux risques incluent le potentiel de violations de données, l’injection de requêtes et les erreurs générées par les LLM. Ces risques sont exacerbés par l’IA fantôme, lorsque des employés utilisent des outils GenAI sans approbation ou supervision de l’entreprise.

La sécurité GenAI est un sous-ensemble du domaine plus large de la sécurité de l’IA. Alors que les entreprises adoptent de plus en plus les LLM, d’autres applications de l’IA, telles que l’IA prédictive, ont des cas d’utilisation distincts et des exigences de sécurité associées.

À mesure que l’adoption de GenAI croît, le besoin de sécuriser efficacement ces systèmes augmente également. Les programmes de sécurité GenAI des entreprises devraient prendre en compte les cadres disponibles, les contrôles potentiels et les directives réglementaires pour gérer les risques associés à la technologie.

Qu’est-ce qui relève du champ de la sécurité de l’IA générative ?

La sécurité GenAI inclut la sécurisation de tous les aspects de l’utilisation de GenAI au sein de l’entreprise, y compris la gestion des accès, la surveillance et l’utilisation acceptable. Un programme de sécurité GenAI mature comprendra diverses politiques et contrôles, y compris :

• Politiques d’utilisation acceptable et de comportement des utilisateurs
• Gouvernance des requêtes et des données d’entrée
• Contrôles de révision des sorties et d’authenticité du contenu
• Access Management
• Surveillance et journalisation des interactions avec l’IA
• Conformité et auditabilité des flux de données liés à l’IA
• Gestion des risques à travers les LLM internes et externes

Un programme de sécurité GenAI devrait prendre en compte tous les usages potentiels de la technologie par une organisation. Cela inclut les modèles publics, les LLM internes, l’IA intégrée dans des outils SaaS, les extensions de navigateur et les intégrations API.

Un programme de sécurité GenAI touche toutes les parties de l’entreprise, abordant la cybersécurité, la protection des données, les aspects juridiques et la conformité. Les programmes doivent être développés en collaboration avec toutes les unités commerciales concernées, mais la responsabilité du programme peut évoluer à mesure que le programme et l’utilisation de GenAI par l’entreprise changent et mûrissent.

Concept de base

La sécurité de GenAI comprend les politiques, les processus et les contrôles techniques nécessaires pour protéger l’utilisation de GenAI par l’organisation. Les actifs qui relèvent de la sécurité de GenAI comprennent :

• Invitations
• Entrées
• Sorties
• Accès au modèle
• APIs
• Identités
• Métadonnées contextuelles
• Journaux

Pour chacun de ces éléments, une organisation doit prendre en compte le « triade CIA » de la confidentialité, de l’intégrité et de la disponibilité et comment cela affecte à la fois les LLM publics et les déploiements internes. Par exemple, une organisation doit protéger les données sensibles contre un traitement inapproprié par GenAI tout en tenant compte des besoins de l’entreprise.

La journalisation et la surveillance sont également des composants critiques d’un programme GenAI. Les entreprises ont besoin de visibilité sur l’utilisation de GenAI pour garantir la conformité aux politiques et aux exigences réglementaires et développer des contrôles contre de nouvelles menaces potentielles.

Relation avec la gouvernance AI plus large

GenAI est un élément d’une stratégie de gouvernance AI d’entreprise plus vaste. Bien que l’utilisation de GenAI soit répandue, les entreprises adoptent également d’autres formes d’IA qui nécessitent des politiques et des contrôles adaptés. Cependant, des principes de gouvernance clés, tels que la transparence, la responsabilité, le devoir de diligence et la gestion des risques, s’appliquent de manière générale.

Le rôle de la sécurité de l’IA générative dans l’écosystème de sécurité de l’IA est défini et clarifié par des cadres tels que le Cadre de Gestion des Risques de l’IA du NIST (NIST AI RMF) et l’ISO/IEC 42001, qui spécifient comment développer des programmes efficaces de gestion des risques liés à l’IA. Ces programmes sont transversaux, avec des équipes de sécurité définissant des contrôles, le service juridique garantissant une utilisation permise, et la conformité gérant les audits.

Pourquoi la sécurité de l’IA générative est-elle importante pour les entreprises aujourd’hui ?

L’utilisation de l’IA générative croît rapidement, y compris l’IA clandestine, où les employés utilisent la technologie sans supervision de l’entreprise. Bien que cela apporte des avantages à l’entreprise, cela introduit également divers risques, tels que le potentiel de violations de données sensibles des clients ou de l’entreprise.

Sans visibilité et contrôle sur l’utilisation de l’IA au sein de l’entreprise, une organisation est vulnérable à ces risques. En développant un programme de sécurité pour l’IA générative, l’entreprise peut gérer son utilisation actuelle de l’IA et développer un programme qui évolue avec son utilisation de la technologie.

Adoption et exposition des entreprises

L’adoption de l’IA générative par les entreprises croît rapidement, probablement plus vite que ce que l’entreprise pense. De nombreux fournisseurs intègrent l’IA dans leurs produits, ce qui signifie que les solutions existantes peuvent soudainement présenter des fonctionnalités pilotées par l’IA.

Les employés peuvent également adopter des solutions non autorisées, élargissant l’exposition de l’entreprise à l’IA via l’IA clandestine. Cela peut se produire par le biais de divers canaux, y compris :

• Extension de navigateur
• Des entrées copiées-collées dans des chatbots LLM
• L’IA intégrée dans des plateformes SaaS
• Des API non vérifiées
• Des applications mobiles d’IA
• Des plug-ins non gérés pour des logiciels d’entreprise

Chacun de ces points d’exposition potentiels introduit le risque de lacunes en matière de visibilité et de sécurité. Sans une vue d’ensemble de son utilisation de l’IA, une organisation ne peut pas gérer efficacement les risques associés à la cybersécurité et à la conformité.

Implications en matière de gouvernance et de confiance

La sécurité de l’IA est une préoccupation majeure pour les entreprises et les consommateurs. Si une entreprise ne gère pas son utilisation de l’IA, cela peut éroder la confiance et introduire une variété de menaces, notamment :

• Des violations réglementaires
• Des fuites de propriété intellectuelle
• Des problèmes d’authenticité du contenu
• De la désinformation
• Une perte d’intégrité dans la prise de décision interne

À mesure que les réglementations évoluent, les régulateurs s’attendent de plus en plus à une documentation et une supervision explicites liées à l’IA. De plus, une gouvernance faible de l’IA générative peut entraver la réponse aux incidents, car l’organisation manque de visibilité sur les flux de données non enregistrés entrant et sortant des outils d’IA.

Quels sont les principaux risques et menaces liés à la sécurité de l’IA générative ?

L’IA générative est un outil utile, mais il comporte une variété de risques de sécurité. Les principaux risques incluent les fuites de données, les hallucinations, les abus, la manipulation et les lacunes de gouvernance. Cependant, cela est loin d’être une liste exhaustive, et le paysage des menaces évolue avec la technologie et ses applications.

Catégories de risques principaux

Bien que l’IA générative comporte divers risques, certains sont plus significatifs que d’autres. Certains des principaux risques de l’IA générative incluent :

• Exfiltration de données: Les données sensibles utilisées dans les invites et les entrées peuvent être utilisées pour entraîner le modèle et affichées à des utilisateurs non autorisés.
• Injection de prompt: Les attaquants ou les menaces internes peuvent créer des invites pour obtenir un accès non autorisé à des données sensibles ou amener l’outil d’IA à prendre des actions indésirables.
• Inversion de Modèle: L’analyse d’un modèle d’IA peut révéler les données sensibles et personnelles utilisées pour l’entraîner.
• Abus de Contenu Synthétique: Utilisation de GenAI pour créer du contenu généré par IA abusif ou malveillant.
• Shadow IT Utilisation d’outils GenAI non autorisés dans un contexte professionnel.
• Mauvaise Utilisation de Modèle: Utilisation d’outils GenAI pour des activités frauduleuses ou dans le cadre d’une cyberattaque.
• Hallucinations: Des résultats incorrects générés par GenAI peuvent avoir un impact négatif sur les flux de travail des entreprises.

Impact Organisationnel

Au-delà des risques directs pour la sécurité de l’IA, l’utilisation non régulée de GenAI peut avoir diverses conséquences négatives pour l’entreprise. Les principales menaces incluent :

• Pénalités réglementaires
• Perte de propriété intellectuelle
• De la désinformation
• Dommages à la marque
• Perturbation opérationnelle

Par exemple, les données sensibles d’une entreprise peuvent être saisies dans un outil GenAI public, ce qui peut les faire apparaître dans les résultats d’un autre utilisateur. Alternativement, la dépendance à GenAI pour des décisions commerciales clés pourrait nuire à l’entreprise si l’outil hallucine. La gestion de ces risques nécessite une surveillance continue des entrées et sorties de GenAI et l’enregistrement des sessions pour soutenir les activités de réponse aux incidents.

Menaces Émergentes de l’IA Générative

GenAI est un outil puissant et en évolution qui peut être utilisé de manière malveillante de diverses manières. Les attaquants utilisent de plus en plus GenAI pour améliorer et étendre les attaques de phishing et d’autres attaques d’ingénierie sociale, ainsi que pour développer de nouvelles variantes de logiciels malveillants. À mesure que les modèles GenAI s’améliorent, cette menace va s’intensifier car les outils peuvent générer des messages de phishing et des deepfakes plus réalistes et produire un code malveillant de meilleure qualité.

Quels contrôles et meilleures pratiques aident à gérer la sécurité de l’IA générative ?

Les entreprises peuvent mieux gérer les risques de sécurité liés à GenAI en contrôlant l’accès aux outils d’IA et en gérant les données qui entrent et sortent de ceux-ci. Bien que les organisations s’efforcent de mettre en œuvre la gouvernance, la surveillance, les contrôles d’accès et la gestion du cycle de vie pour GenAI, l’efficacité des contrôles varie en raison des lacunes de maturité, d’une expertise interne limitée et d’une application incohérente des politiques.

Visibilité et Inventaire

La visibilité et un inventaire complet sont la base d’un programme de sécurité GenAI, car les organisations ne peuvent pas sécuriser les outils GenAI qu’elles ne savent pas exister. Les entreprises peuvent construire ces inventaires en utilisant des journaux de points de terminaison, des audits d’extensions de navigateur, des journaux de pare-feu et des outils de découverte SaaS. Cependant, ces inventaires peuvent rapidement devenir obsolètes à mesure que l’utilisation de GenAI évolue, rendant la surveillance continue et les mises à jour nécessaires.

Politiques et Contrôles d’Accès

Avec une visibilité sur l’utilisation de GenAI dans l’entreprise, une organisation peut développer des politiques d’utilisation acceptable et des contrôles d’accès pour aligner cette utilisation avec les politiques de sécurité de l’entreprise. Les entreprises peuvent appliquer les principes de confiance zéro à leur programme de sécurité GenAI via :

• Contrôles d’Accès Basés sur les Rôles (RBAC) : Le RBAC adapte l’accès et les privilèges au rôle d’un utilisateur dans l’entreprise, simplifiant ainsi le provisionnement et la gestion.
• Validation d’Identité : Des mécanismes d’authentification solides, tels que l’authentification multi-facteurs (MFA), réduisent le risque d’attaques de prise de contrôle de compte.
• Moins de Privilèges : Les contrôles d’accès au moindre privilège restreignent l’utilisation de GenAI à ce qui est nécessaire pour le rôle de l’utilisateur dans l’entreprise.

Protection des Données et Surveillance

Contrôler les flux de données entrants et sortants pour les outils GenAI est essentiel pour gérer les principaux risques de sécurité, tels que les violations de données et l’injection de requêtes. Les outils que les organisations peuvent utiliser pour mettre en œuvre la protection des données et la surveillance pour GenAI incluent :

• Filtrage de contenu : Les passerelles web sécurisées (SWG), La prévention des pertes de données (DLP), et des outils similaires peuvent surveiller le trafic vers les outils GenAI basés sur le web et contrôler les informations incluses dans les requêtes et les réponses.
• Rédaction et classification au niveau des requêtes : Les organisations peuvent inspecter les requêtes, en rédigeant les informations sensibles et en appliquant un niveau de classification à la requête, avant de permettre ou de bloquer la requête.
• Journalisation des requêtes : La journalisation des requêtes vers les systèmes GenAI peut aider à identifier les tentatives d’injection de requêtes et à enquêter après une cyberattaque facilitée par GenAI.
• Détection d’anomalies : La surveillance des accès ou des actions inhabituels par les systèmes GenAI peut aider à détecter les abus de modèle et des menaces similaires.

De nombreuses réglementations, telles que le RGPD, le PCI DSS et l’HIPAA, imposent des restrictions sur l’utilisation des données protégées et des exigences pour leur sécurité. La protection des données et la surveillance sont essentielles pour maintenir l’utilisation de GenAI conforme à ces exigences.

Maintenir la gouvernance et la conformité :

Les risques de sécurité liés à GenAI peuvent se manifester à n’importe quelle étape de leur cycle de vie, y compris l’évaluation, l’intégration, la surveillance, la révision et le retrait des outils d’IA. Les organisations doivent gérer ces risques à chaque étape, en effectuant des audits, en documentant les processus et en mettant à jour périodiquement les procédures et les contrôles associés. La maturité grandira avec le temps, à mesure que les employés se familiariseront davantage avec les risques et les meilleures pratiques, et que l’organisation sera en mesure d’améliorer, d’échelonner et de peaufiner ses contrôles.

Comment la sécurité de l’IA générative fonctionne en pratique

Un programme de sécurité GenAI est un élément d’une pratique plus large de cybersécurité et de sécurité des données. Sans la mise en œuvre de politiques de sécurité GenAI en tant que contrôles techniques, ces politiques sont inapplicables et créent un faux sentiment de sécurité. Un programme de sécurité GenAI mature est celui où toutes les unités commerciales concernées – juridique, sécurité, informatique, science des données et conformité – collaborent pour définir des politiques qui répondent à leurs besoins et peuvent être mises en œuvre et appliquées efficacement à grande échelle.

Intégration avec des programmes de cybersécurité plus larges

GenAI fait partie d’un programme de cybersécurité plus large, et de nombreuses menaces liées à GenAI ne sont qu’une nouvelle version de risques existants. Par exemple, les violations de données sont une préoccupation majeure en matière de sécurité pour la plupart des entreprises, et GenAI représente simplement une nouvelle façon pour des données sensibles d’être divulguées à des parties non autorisées.

Les programmes de sécurité GenAI sont les plus efficaces et évolutifs lorsqu’ils sont intégrés aux programmes de cybersécurité existants. La mise en œuvre de nouvelles règles pour la gestion des identités, la DLP et d’autres aspects de la sécurité GenAI au sein des outils existants permet d’appliquer ces politiques sans ajouter de complexité opérationnelle ni de lacunes de visibilité.

Tendances futures et contrôles évolutifs

Le domaine de la sécurité GenAI en est à ses débuts, car la technologie évolue rapidement, et les organisations s’efforcent d’identifier et de traiter les risques associés. En conséquence, de nouvelles solutions, telles que l’isolement du navigateur, des tableaux de bord d’IA, des garde-fous pour les invites, des restrictions d’accès aux modèles et des systèmes de gouvernance des invites pilotés par des politiques, sont adaptées, développées et déployées pour offrir un meilleur contrôle sur les menaces GenAI pour l’entreprise.

À mesure que GenAI mûrit et gagne en adoption, les risques de sécurité qu’il crée augmenteront également. Adopter des solutions avancées et sur mesure pour la gestion des menaces liées à l’IA sera essentiel pour maintenir une visibilité efficace et prévenir une utilisation et un abus potentiels de ces systèmes.

Résumé et perspectives

La sécurité GenAI traite des divers risques associés à l’utilisation de GenAI dans l’entreprise. Cela inclut la protection des données contre l’accès non autorisé et l’abus, la préservation de la confiance dans l’entreprise et le maintien de la conformité avec les réglementations applicables.

GenAI offre des avantages commerciaux potentiels significatifs, mais les organisations doivent également travailler à contrôler les risques qu’il engendre. Les éléments clés d’une stratégie de sécurité GenAI efficace et évolutive incluent une visibilité complète de l’IA, une gouvernance claire de l’IA, un accès contrôlé aux outils et données GenAI, et l’application d’une utilisation responsable de ces technologies.

L’utilisation de GenAI et d’autres outils d’IA ne fera que croître à mesure que les entreprises identifieront des cas d’utilisation pour la technologie. En même temps, les entreprises doivent s’assurer que la sécurité évolue pour éviter que GenAI ne crée plus de problèmes qu’il n’en résout.

FAQ sur la sécurité de l’IA générative

Qu’est-ce qui rend la sécurité de l’IA générative différente de la sécurité de l’IA traditionnelle ?

La sécurité de l’IA générative (GenAI) est un élément unique d’un programme de sécurité de l’IA plus large. Alors que la sécurité GenAI se concentre sur l’utilisation des outils GenAI, la sécurité de l’IA traditionnelle inclut également la construction de ces modèles et l’utilisation d’outils d’IA non génératifs, tels que l’IA prédictive. La sécurité de GenAI se concentre davantage sur la protection des entrées et des sorties de ces outils contre les fuites de données, les injections de requêtes et des menaces similaires.

Quels sont les risques de sécurité les plus courants liés à l’IA générative ?

GenAI présente divers risques de sécurité, notamment :

• Fuite de données : Données sensibles saisies dans des outils publics
• Injection de requêtes : Requêtes malveillantes qui tentent d’extraire ou de modifier des informations
• Mauvaise utilisation du modèle : Employés utilisant des systèmes d’IA pour des tâches en dehors de leur portée prévue
• Abus de contenu synthétique : Documents falsifiés, tentatives d’usurpation d’identité, deepfakes et désinformation
• Shadow IT Utilisation non autorisée de l’IA sans supervision

En l’absence de visibilité, de supervision et de gouvernance, une organisation ne peut pas gérer ces risques. En conséquence, elle est plus exposée aux cyberattaques exploitant l’utilisation de GenAI et au potentiel de non-conformité réglementaire et d’application.

Comment les entreprises peuvent-elles détecter l’utilisation de l’IA fantôme ?

L’IA fantôme est l’utilisation non autorisée d’outils d’IA par les employés d’une organisation, ce qui introduit des risques de sécurité puisque l’entreprise ne peut pas surveiller ou sécuriser ces systèmes. Les entreprises peuvent détecter l’IA fantôme de différentes manières, telles que :

• Analyses de réseau pour détecter des points de terminaison d’IA inconnus
• Audits SaaS pour identifier des outils non autorisés
• Journaux de passerelle web sécurisée montrant un trafic lié à l’IA
• Avis sur les extensions de navigateur et inventaires des points de terminaison
• Outils de découverte SaaS dans CASB/solutions SSE

Ces contrôles techniques peuvent aider à identifier l’utilisation existante de l’IA fantôme, mais les organisations peuvent également être proactives. Fournir une éducation et des solutions approuvées pour diverses tâches peut aider à sensibiliser les employés aux risques de l’IA fantôme et offrir des alternatives utilisables.

Quels cadres guident la gouvernance de l’IA générative ?

De nombreuses organisations ont développé des cadres pour soutenir la gouvernance de l’IA générative et la gouvernance de la sécurité de l’IA plus générale. Certains des plus significatifs incluent :

• Cadre de gestion des risques de l’IA NIST : Principes de fiabilité, de responsabilité et de sécurité.
• ISO/IEC 42001 : Première norme internationale pour les systèmes de gestion de l’IA.
• Loi sur l’IA de l’UE : Obligations de gouvernance par niveaux de risque pour les déploiements d’IA dans l’UE.
• RGPD et lois sur la vie privée spécifiques au secteur : Exigences pour un traitement des données légal et auditable.

Ces cadres fournissent des orientations sur la manière de développer des programmes de sécurité de l’IA efficaces et évolutifs qui s’alignent sur les exigences réglementaires. De nombreuses organisations adoptent des éléments de ces cadres pour développer des programmes de sécurité de l’IA générative et de l’IA adaptés à leurs besoins.

La sécurité de l’IA générative fait-elle partie du zéro confiance ?

Bien que la sécurité de l’IA générative ne fasse pas partie du zéro confiance, l’adoption des principes du zéro confiance peut améliorer considérablement l’efficacité d’un programme de sécurité de l’IA générative. Certaines manières dont le zéro confiance peut être appliqué à la sécurité de l’IA générative incluent : 

• Vérification de l’identité pour toute personne soumettant des prompts
• Accès basé sur les rôles aux modèles ou outils d’IA
• Surveillance continue des interactions avec l’IA
• Principe du moindre privilège pour les entrées de données et l’accès aux modèles

L’adoption des principes de zéro confiance pour la sécurité de l’IA générative aide à améliorer la visibilité et offre un contrôle plus granulaire sur l’utilisation de l’IA. Cela peut réduire l’exposition d’une organisation aux risques associés et simplifier la conformité avec les réglementations applicables.