Les attaques par injection de prompt utilisent des requ\u00eates malveillantes et \u00e9labor\u00e9es pour tromper un LLM afin qu’il prenne une action ind\u00e9sirable. Par exemple, un attaquant pourrait convaincre le syst\u00e8me GenAI d’ignorer les garde-fous ou les politiques d’entreprise et de g\u00e9n\u00e9rer des types de contenu non approuv\u00e9s.<\/p>\n\n\n\n
Avec l’int\u00e9gration g\u00e9n\u00e9ralis\u00e9e de GenAI et des agents IA dans les flux de travail des entreprises, les attaques par injection de prompt repr\u00e9sentent un risque significatif pour la fiabilit\u00e9 et la s\u00e9curit\u00e9 des services. Les attaquants peuvent tromper les agents pour qu’ils prennent des actions menant \u00e0 des violations de donn\u00e9es, des infections par des logiciels malveillants ou d’autres incidents de s\u00e9curit\u00e9.<\/p>\n\n\n\n
Les LLM ont g\u00e9n\u00e9ralement des instructions et des garde-fous en place pour contr\u00f4ler leur fonctionnement. Les cr\u00e9ateurs de LLM int\u00e8grent certaines protections, et les entreprises ajoutent leurs propres instructions en configurant des outils pour effectuer diverses t\u00e2ches dans leurs environnements.<\/p>\n\n\n\n
Les attaques par injection de prompt utilisent des entr\u00e9es soigneusement \u00e9labor\u00e9es con\u00e7ues pour contourner ces garde-fous et r\u00e9aliser quelque chose qui b\u00e9n\u00e9ficie \u00e0 l’attaquant, comme voler des donn\u00e9es sensibles, produire des sorties violant les politiques ou d\u00e9clencher des actions dans des outils connect\u00e9s. Ces entr\u00e9es peuvent \u00eatre fournies directement \u00e0 l’outil ou int\u00e9gr\u00e9es dans d’autres contenus qu’il consomme, tels que des documents r\u00e9cup\u00e9r\u00e9s par RAG ou des pages web que visite un agent.<\/p>\n\n\n\n
L’injection de prompt directe implique que l’attaquant interagisse directement avec l’agent. Par exemple, un attaquant pourrait entrer des prompts dans un chatbot LLM. Ces invites malveillantes peuvent suivre divers sch\u00e9mas, tels que :<\/p>\n\n\n\n
L’objectif de ces instructions est de faire en sorte que l’invite de l’attaquant soit prioris\u00e9e par rapport aux garde-fous du LLM, soit en exploitant une faille, soit en \u00e9tant per\u00e7ue comme plus importante par le LLM. Si cela r\u00e9ussit, le LLM peut g\u00e9n\u00e9rer du contenu non autoris\u00e9, divulguer des instructions cach\u00e9es, fournir des recommandations dangereuses ou rediriger des actions vers le mauvais outil ou utilisateur.<\/p>\n\n\n\n
Les attaques par injection de prompt indirecte ins\u00e8rent des instructions malveillantes dans le contenu qu’un mod\u00e8le consomme plut\u00f4t que des instructions directes. Ceci pourrait inclure :<\/p>\n\n\n\n
Ces menaces sont plus significatives si un LLM acc\u00e8de \u00e0 du contenu externe, soit via un RAG, soit en naviguant sur le web \u00e0 la recherche de r\u00e9ponses potentielles, puisque les donn\u00e9es r\u00e9cup\u00e9r\u00e9es sont trait\u00e9es comme un contexte par le LLM. Des instructions malveillantes peuvent litt\u00e9ralement \u00eatre cach\u00e9es dans le contenu, par exemple en utilisant du texte blanc pour rendre les instructions invisibles aux lecteurs humains ou en utilisant un texte ayant l’apparence inoffensive que le mod\u00e8le interpr\u00e8te comme des instructions.<\/p>\n\n\n\n
Les attaques par injection de prompt peuvent \u00eatre r\u00e9alis\u00e9es pour atteindre divers objectifs. Deux des principaux types d’attaques tentent d’acc\u00e9der \u00e0 des informations sensibles concernant l’invite syst\u00e8me ou de manipuler l’utilisation des outils d’une IA pour collecter des informations sensibles ou effectuer des actions nuisibles.<\/p>\n\n\n\n
Certaines attaques sont con\u00e7ues pour acc\u00e9der \u00e0 l’invite syst\u00e8me, qui peut inclure des donn\u00e9es sensibles, telles que des instructions syst\u00e8me cach\u00e9es, des politiques ou des secrets. Cette information peut \u00eatre utile \u00e0 un attaquant car elle lui permet de concevoir des attaques ult\u00e9rieures qui contournent ces d\u00e9fenses.<\/p>\n\n\n\n
Le potentiel de fuite de prompts signifie que des secrets ne devraient jamais \u00eatre int\u00e9gr\u00e9s dans des prompts. Des garde-fous de s\u00e9curit\u00e9 tels que des instructions de \u00ab\u00a0non-r\u00e9v\u00e9lation\u00a0\u00bb peuvent \u00eatre contourn\u00e9s ou neutralis\u00e9s par un attaquant.<\/p>\n\n\n\n
Les outils d’IA peuvent \u00eatre capables d’appeler des fonctions ou des API, de naviguer sur Internet ou de d\u00e9clencher des flux de travail. Un prompt soigneusement \u00e9labor\u00e9 peut permettre \u00e0 un attaquant de d\u00e9finir quels outils sont s\u00e9lectionn\u00e9s, les param\u00e8tres qui leur sont envoy\u00e9s et la s\u00e9quence dans laquelle les actions sont appel\u00e9es.<\/p>\n\n\n\n
Cela pose un risque qu’un attaquant puisse acc\u00e9der \u00e0 des donn\u00e9es sensibles lors d’appels \u00e0 des syst\u00e8mes de billetterie, des CRM, des magasins de documents, des d\u00e9p\u00f4ts de code ou des consoles cloud. Pour g\u00e9rer ce risque, les organisations devraient mettre en \u0153uvre des contr\u00f4les d’acc\u00e8s au moindre privil\u00e8ge et des portes d’approbation avec intervention humaine pour les actions \u00e0 fort impact, en particulier pour les agents d’IA qui op\u00e8rent sans supervision humaine.<\/p>\n\n\n\n
Des attaques par injection de prompts peuvent se produire partout o\u00f9 une organisation utilise GenAI. Des exemples courants incluent :<\/p>\n\n\n\n
M\u00eame si les utilisateurs n’interagissent pas directement avec ces outils, l’injection de prompts reste un risque. Les outils peuvent acc\u00e9der \u00e0 du contenu web, des pi\u00e8ces jointes, des journaux coll\u00e9s, des commentaires de SaaS tiers et d’autres entr\u00e9es non fiables qui pourraient inclure des instructions malveillantes.<\/p>\n\n\n\n
Les chatbots et les agents en contact avec les clients acceptent des entr\u00e9es de texte libre de la part d’utilisateurs inconnus. Des attaques r\u00e9ussies d’injection de prompt pourraient impliquer la manipulation des r\u00e9sultats pour induire les clients en erreur et une exposition potentielle de donn\u00e9es si le bot a acc\u00e8s au CRM ou aux syst\u00e8mes de commande.<\/p>\n\n\n\n
Pour g\u00e9rer ces risques, les organisations devraient mettre en \u0153uvre des port\u00e9es de donn\u00e9es strictes, masquer les donn\u00e9es sensibles lorsque cela est possible, et sp\u00e9cifier des r\u00e9ponses types pour les demandes sensibles. De plus, ces outils devraient \u00eatre surveill\u00e9s pour d\u00e9tecter des signes d’abus potentiel, y compris les taux de demande, la r\u00e9p\u00e9tition et la similarit\u00e9 des charges utiles.<\/p>\n\n\n\n
Les assistants RAG et \u00ab demandez \u00e0 votre base de connaissances \u00bb ont la capacit\u00e9 d’acc\u00e9der \u00e0 des documents et \u00e0 d’autres contenus qui pourraient \u00eatre \u00e9lev\u00e9s au-dessus de la politique d’entreprise dans le cadre du contexte du LLM. En cons\u00e9quence, un contenu malveillant int\u00e9gr\u00e9 dans des pages web et d’autres ressources peut permettre \u00e0 un attaquant d’\u00e9chapper aux garde-fous.<\/p>\n\n\n\n
Les organisations peuvent att\u00e9nuer ces risques en mettant en \u0153uvre un \u00e9tiquetage de contenu, des listes blanches de r\u00e9cup\u00e9ration et une compartimentation des prompts. De plus, des contr\u00f4les d’acc\u00e8s bas\u00e9s sur le principe du moindre privil\u00e8ge limitent les donn\u00e9es auxquelles ces outils peuvent acc\u00e9der, r\u00e9duisant ainsi les impacts potentiels d’une attaque.<\/p>\n\n\n\n
Les attaques par injection de prompt peuvent influencer les outils aliment\u00e9s par l’IA \u00e0 faire le souhait de l’attaquant. Cela peut introduire des menaces significatives pour la confidentialit\u00e9, l’int\u00e9grit\u00e9 et la disponibilit\u00e9 en raison du potentiel de violations de donn\u00e9es, de r\u00e9sultats manipul\u00e9s et de flux de travail corrompus.<\/p>\n\n\n\n
Une attaque r\u00e9ussie par injection de prompt peut \u00eatre difficile \u00e0 enqu\u00eater en raison de l’utilisation d’outils l\u00e9gitimes et de la visibilit\u00e9 limit\u00e9e sur ces outils. Cela pose \u00e9galement un risque significatif pour la conformit\u00e9 r\u00e9glementaire si les organisations manquent de donn\u00e9es pour prouver ce qui s’est pass\u00e9 et l’\u00e9tendue de l’incident.<\/p>\n\n\n\n
Les attaques par injection de prompt peuvent avoir une vari\u00e9t\u00e9 d’impacts diff\u00e9rents sur l’entreprise, y compris :<\/p>\n\n\n\n
La d\u00e9tection de l’injection de prompt n\u00e9cessite d’analyser les entr\u00e9es, les sorties et le comportement des LLM pour identifier les anomalies ou les violations de la politique d’entreprise. Pour ce faire, les organisations doivent enregistrer les prompts, les r\u00e9ponses et les appels d’outils pour le suivi. L’analyse doit rechercher des anomalies, des violations de politique et des motifs de charge utile r\u00e9p\u00e9t\u00e9s.<\/p>\n\n\n\n
Les prompts, le contexte et les appels d’outils peuvent inclure des indicateurs d’attaques par injection de prompt. Les \u00e9l\u00e9ments \u00e0 surveiller incluent :<\/p>\n\n\n\n
Les attaques par injection de prompt n\u00e9cessitent une d\u00e9fense en profondeur, car les attaquants peuvent concevoir des prompts malveillants pour \u00e9chapper \u00e0 des recherches textuelles simples et \u00e0 la correspondance de motifs. Un mod\u00e8le d’att\u00e9nuation en couches devrait inclure :<\/p>\n\n\n\n
L’objectif de ces mesures d’att\u00e9nuation est de r\u00e9duire l’impact et la fr\u00e9quence des attaques. La nature des LLM rend impossible de garantir compl\u00e8tement que les attaques ne r\u00e9ussiront jamais.<\/p>\n\n\n\n
Les actions d’att\u00e9nuation des injections de prompt doivent se concentrer sur la gestion du rayon d’explosion potentiel d’une injection r\u00e9ussie. Les meilleures pratiques incluent :<\/p>\n\n\n\n
En plus de limiter le rayon d’explosion des attaques, les organisations peuvent \u00e9galement mettre en \u0153uvre des garde-fous qui g\u00e8rent le risque en temps d’ex\u00e9cution. Les meilleures pratiques incluent :<\/p>\n\n\n\n
Les vuln\u00e9rabilit\u00e9s d’injection de requ\u00eates doivent \u00eatre test\u00e9es r\u00e9guli\u00e8rement, car de petits changements dans les requ\u00eates, les outils, les mod\u00e8les et les sources de donn\u00e9es peuvent r\u00e9introduire des risques. Une \u00e9quipe rouge IA utilise des requ\u00eates adversariales pour \u00e9valuer les comportements des mod\u00e8les et des applications de mani\u00e8re structur\u00e9e et r\u00e9p\u00e9table. Certaines des choses cl\u00e9s \u00e0 tester incluent :<\/p>\n\n\n\n
Des tests doivent \u00eatre effectu\u00e9s r\u00e9guli\u00e8rement, surtout apr\u00e8s le d\u00e9ploiement de nouveaux agents, outils ou connecteurs. Le succ\u00e8s d’un programme de test peut \u00eatre \u00e9valu\u00e9 en fonction du taux de r\u00e9ussite, de la gravit\u00e9, de la couverture de d\u00e9tection, du temps de d\u00e9tection et du temps de confinement.<\/p>\n\n\n\n
Une suite de tests d’injection de prompt peut garantir qu’une organisation traite correctement les principaux risques d’injection de prompt pour ses syst\u00e8mes. Les meilleures pratiques incluent :<\/p>\n\n\n\n
L’injection de prompt est un risque croissant pour la cybers\u00e9curit\u00e9 des entreprises alors que celles-ci s’appuient de plus en plus sur des outils d’IA qui peuvent \u00eatre tromp\u00e9s pour effectuer des actions malveillantes. La s\u00e9curit\u00e9 contre l’injection de prompt inclut la contrainte des entr\u00e9es, du contexte, des actions et des sorties pour r\u00e9duire la probabilit\u00e9 d’une attaque et ses impacts potentiels sur l’entreprise. Les organisations devraient :<\/p>\n\n\n\n
\u00c9liminer le risque d’injection de prompt est impossible. Cependant, les organisations peuvent r\u00e9duire la probabilit\u00e9 et l’ampleur d’une attaque r\u00e9ussie.<\/p>\n\n\n\n
Le jailbreak est un type particulier d’attaque par injection de prompt con\u00e7u pour tromper un mod\u00e8le afin de g\u00e9n\u00e9rer des sorties interdites et nuisibles. Les attaques par injection de prompt incluent \u00e9galement le risque qu’un mod\u00e8le prenne des actions non approuv\u00e9es et interagisse avec des outils tiers.<\/p>\n\n\n\n
Non, l’injection de prompt ne peut pas \u00eatre compl\u00e8tement emp\u00each\u00e9e en raison de la difficult\u00e9 \u00e0 identifier toutes les entr\u00e9es malveillantes et du fait que les LLM ne sont pas des syst\u00e8mes d\u00e9terministes et pr\u00e9visibles. Cependant, des contr\u00f4les de s\u00e9curit\u00e9 en couches peuvent r\u00e9duire le risque et l’ampleur d’une attaque r\u00e9ussie.<\/p>\n\n\n\n
L’injection de prompt indirecte implique qu’un attaquant injecte des instructions dans un contenu consomm\u00e9 par un LLM, comme des pages web consult\u00e9es lors de la collecte de contexte sur Internet. C’est plus dangereux car un attaquant pourrait \u00eatre en mesure d’influencer un agent m\u00eame s’il ne peut pas acc\u00e9der directement \u00e0 son interface utilisateur.<\/p>\n\n\n\n
Les journaux doivent inclure des \u00e9v\u00e9nements, des appels d’outils et des violations de politique. Enregistrer des prompts bruts peut \u00eatre dangereux en raison du risque qu’ils contiennent des donn\u00e9es sensibles, et toutes les journaux doivent avoir ces informations expurg\u00e9es.<\/p>\n\n\n\n
L’acc\u00e8s au moindre privil\u00e8ge est le contr\u00f4le le plus important \u00e0 mettre en \u0153uvre pour un assistant IA. Limiter son acc\u00e8s aux donn\u00e9es et \u00e0 d’autres outils r\u00e9duit les dommages potentiels qu’une attaque r\u00e9ussie peut causer.<\/p>\n\n","protected":false},"excerpt":{"rendered":"
Les attaques par injection de prompt utilisent des requ\u00eates malveillantes et \u00e9labor\u00e9es pour tromper un LLM afin qu’il prenne une action ind\u00e9sirable. Par exemple, un attaquant pourrait convaincre le syst\u00e8me GenAI d’ignorer les garde-fous ou les politiques d’entreprise et de g\u00e9n\u00e9rer des types de contenu non approuv\u00e9s. Avec l’int\u00e9gration g\u00e9n\u00e9ralis\u00e9e de GenAI et des agents…<\/p>\n","protected":false},"author":193,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false},"glossary-topic":[1220],"coauthors":[1180],"class_list":["post-155762","glossary","type-glossary","status-publish","hentry","glossary-topic-uncategorized"],"acf":[],"yoast_head":"\n