Plus t\u00f4t ce mois-ci, Hugging Face, une entreprise de plateforme d\u2019IA et d\u2019apprentissage automatique, a r\u00e9v\u00e9l\u00e9 qu\u2019un syst\u00e8me d\u2019IA autonome avait compromis une partie de son environnement de production. L\u2019intrusion a commenc\u00e9 dans l\u2019environnement de traitement des jeux de donn\u00e9es de la plateforme et a fini par impliquer un acc\u00e8s de plus haut niveau, l\u2019exposition d\u2019identifiants et un d\u00e9placement vers des clusters internes.<\/p>\n\n\n\n
Pour les RSSI, l\u2019importance ne se limite pas \u00e0 une seule entreprise ou \u00e0 une seule \u00e9valuation de mod\u00e8le. Cela s\u2019explique par le fait que les agents logiciels peuvent persister vers un objectif assign\u00e9, diviser le travail en t\u00e2ches parall\u00e8les et modifier leur approche \u00e0 mesure qu\u2019ils rencontrent de nouvelles conditions. La recherche sur l\u2019attaquant agentique de Cato<\/a> a explor\u00e9 cette dynamique dans un laboratoire contr\u00f4l\u00e9, o\u00f9 un agent a compl\u00e9t\u00e9 un chemin vers un acc\u00e8s Administrateur de domaine en 40\u00a0minutes. Au cours des ex\u00e9cutions r\u00e9ussies, il a effectu\u00e9 des activit\u00e9s de reconnaissance, d\u2019exploitation, de d\u00e9couverte interne, d\u2019\u00e9l\u00e9vation de privil\u00e8ges, de mouvement lat\u00e9ral et d\u2019exfiltration de donn\u00e9es. Dans un cas, il a cr\u00e9\u00e9 un tunnel bas\u00e9 sur SMB pour d\u00e9placer des donn\u00e9es via un point d\u2019acc\u00e8s qu\u2019il avait d\u00e9j\u00e0 \u00e9tabli. Ces r\u00e9sultats ont \u00e9t\u00e9 observ\u00e9s dans un environnement contr\u00f4l\u00e9, mais ils d\u00e9montrent le changement op\u00e9rationnel auquel les RSSI doivent se pr\u00e9parer : les agents peuvent d\u00e9sormais ex\u00e9cuter une s\u00e9quence d\u2019attaque compl\u00e8te, adapter leurs m\u00e9thodes et d\u00e9placer des donn\u00e9es sans qu\u2019un op\u00e9rateur humain ne dirige chaque action.<\/p>\n\n\n\n Les composants individuels de l\u2019intrusion chez Hugging Face n\u2019\u00e9taient pas nouveaux. La m\u00e9thode comprenait l\u2019ex\u00e9cution de code, l\u2019extension de l\u2019acc\u00e8s, la collecte d\u2019identifiants et le d\u00e9placement d\u2019un syst\u00e8me \u00e0 un autre. Les \u00e9quipes de s\u00e9curit\u00e9 se d\u00e9fendent contre chacune de ces activit\u00e9s depuis des ann\u00e9es.<\/p>\n\n\n\n La nouvelle chronologie technique de Hugging Face<\/a> rend l\u2019ampleur plus claire. Hugging Face a reconstitu\u00e9 environ 17\u00a0600\u00a0actions de l\u2019attaquant sur une campagne de 4,5\u00a0jours, l\u2019agent ayant op\u00e9r\u00e9 au sein de son infrastructure pendant environ deux jours et demi. Elle a utilis\u00e9 une analyse assist\u00e9e par IA pour reconstituer la s\u00e9quence, d\u00e9coder les charges utiles interm\u00e9diaires et identifier les identifiants et les syst\u00e8mes impliqu\u00e9s.<\/p>\n\n\n\n Le compte-rendu ult\u00e9rieur d\u2019OpenAI a indiqu\u00e9 que l\u2019activit\u00e9 avait commenc\u00e9 lors d\u2019une \u00e9valuation interne des capacit\u00e9s cyber. Il a rapport\u00e9 que ses mod\u00e8les ont d\u00e9couvert une route au-del\u00e0 d\u2019un environnement de recherche restreint, ont obtenu un acc\u00e8s \u00e0 Internet, puis ont recherch\u00e9 des informations li\u00e9es \u00e0 l\u2019\u00e9valuation par le biais de faiblesses et d\u2019identifiants qu\u2019ils avaient identifi\u00e9s. Le rapport d\u2019incident d\u2019OpenAI<\/a><\/p>\n\n\n\n Le post-mortem initial de la Cloud Security Alliance<\/a> fournit une perspective de gestion importante : un agent d\u2019IA ayant acc\u00e8s aux syst\u00e8mes d\u2019entreprise doit \u00eatre gouvern\u00e9 comme une entit\u00e9 active dot\u00e9e d\u2019une autorit\u00e9, et non simplement catalogu\u00e9 comme une application.<\/p>\n\n\n\n Cela est important, car les agents peuvent lire des donn\u00e9es sensibles, invoquer des outils, utiliser des identifiants, se connecter \u00e0 d\u2019autres syst\u00e8mes, initier des flux de travail ou effectuer des changements. Une organisation doit savoir quelle autorit\u00e9 d\u00e9tient chaque agent, pourquoi il d\u00e9tient cette autorit\u00e9 et comment cette autorit\u00e9 est limit\u00e9e.<\/p>\n\n\n\n Pour chaque agent ayant un acc\u00e8s significatif, \u00e9tablissez un objectif commercial clair, un titulaire responsable, un ensemble limit\u00e9 d\u2019autorisations, des r\u00e8gles d\u2019approbation pour les actions importantes et une piste d\u2019audit que les \u00e9quipes de s\u00e9curit\u00e9 peuvent r\u00e9ellement utiliser. Tout aussi important, assurez-vous que son acc\u00e8s peut \u00eatre rapidement r\u00e9duit ou retir\u00e9. Il s\u2019agit d\u2019une hygi\u00e8ne de s\u00e9curit\u00e9 appliqu\u00e9e \u00e0 un nouveau type d\u2019identit\u00e9 op\u00e9rationnelle.<\/p>\n\n\n\n La chronologie technique montre que le risque critique ne concernait pas seulement ce sur quoi l\u2019agent pouvait raisonner. C\u2019\u00e9tait ce que l\u2019agent pouvait r\u00e9ellement faire une fois qu\u2019il avait trouv\u00e9 un point d\u2019ancrage. Il a lu des donn\u00e9es d\u2019environnement, obtenu des identifiants, utilis\u00e9 des identit\u00e9s cloud et de cluster, s\u2019est d\u00e9plac\u00e9 \u00e0 travers des services internes et a atteint un acc\u00e8s limit\u00e9 en \u00e9criture au contr\u00f4le de source.<\/p>\n\n\n\n Chaque faiblesse \u00e9tait connue en soi. Le risque a \u00e9merg\u00e9 parce que l\u2019agent pouvait tester de nombreuses voies possibles, apprendre des tentatives infructueuses et combiner les r\u00e9sultats utiles \u00e0 travers plusieurs syst\u00e8mes. C\u2019est pourquoi gouverner le mod\u00e8le ne suffit pas. Les organisations doivent \u00e9galement gouverner la surface d\u2019ex\u00e9cution de l\u2019agent : les fichiers qu\u2019il peut lire, les outils qu\u2019il peut appeler, les identit\u00e9s qu\u2019il peut utiliser, les r\u00e9seaux qu\u2019il peut atteindre et les actions qu\u2019il peut entreprendre.<\/p>\n\n\n\n Pour les RSSI, cela signifie mettre en place des contr\u00f4les ind\u00e9pendants autour des actions lourdes de cons\u00e9quences. L\u2019acc\u00e8s doit \u00eatre \u00e9troitement limit\u00e9, les identifiants \u00e0 courte dur\u00e9e de vie, les m\u00e9tadonn\u00e9es cloud indisponibles pour les charges de travail qui n\u2019en ont pas besoin, et les identit\u00e9s de service s\u00e9par\u00e9es par environnement et par objectif.<\/p>\n\n\n\n L\u2019\u00e9v\u00e9nement illustre \u00e9galement un probl\u00e8me de pr\u00e9paration pour les d\u00e9fenseurs. Hugging Face a d\u00e9clar\u00e9 que les mod\u00e8les commerciaux de pointe ont initialement refus\u00e9 les demandes d\u2019analyse des commandes r\u00e9elles, des charges utiles et des preuves de commande et de contr\u00f4le g\u00e9n\u00e9r\u00e9es par l\u2019intrusion. L\u2019\u00e9quipe d\u2019intervention a finalement r\u00e9alis\u00e9 cette analyse \u00e0 l\u2019aide d\u2019un mod\u00e8le \u00e0 poids ouverts, h\u00e9berg\u00e9 dans son propre environnement.<\/p>\n\n\n\n Ce r\u00e9sultat ne signifie pas que les restrictions de s\u00e9curit\u00e9 sont erron\u00e9es. Cela signifie que les plans de r\u00e9ponse aux incidents doivent tenir compte du fait que le mat\u00e9riel que les enqu\u00eateurs doivent examiner peut sembler identique au mat\u00e9riel qu\u2019un attaquant utiliserait. Le CyberSecEval 2<\/a> de Meta aborde cette tension par le concept de faux refus, o\u00f9 une demande de cybers\u00e9curit\u00e9 est l\u00e9gitime mais tout de m\u00eame rejet\u00e9e parce que son intention semble ambigu\u00eb.<\/p>\n\n\n\n Avant un incident, les RSSI devraient tester :<\/p>\n\n\n\nUne cha\u00eene d\u2019attaque famili\u00e8re se d\u00e9pla\u00e7ant \u00e0 la vitesse d\u2019une machine<\/h2>\n\n\n\n
La gouvernance est un contr\u00f4le de s\u00e9curit\u00e9 op\u00e9rationnel<\/h2>\n\n\n\n
Contr\u00f4lez la surface d\u2019ex\u00e9cution, pas seulement le mod\u00e8le<\/h2>\n\n\n\n
La r\u00e9ponse aux incidents doit \u00eatre pr\u00eate pour de v\u00e9ritables artefacts malveillants<\/h2>\n\n\n\n