L’incidente di Hugging Face: un campanello d’allarme per i CISO nell’era degli agenti

All’inizio di questo mese, Hugging Face, una società di piattaforme di IA e apprendimento automatico, ha rivelato che un sistema di IA autonomo aveva penetrato parte del suo ambiente di produzione. La violazione è iniziata nell’ambiente di elaborazione dei dataset della piattaforma, finendo per coinvolgere l’accesso di livello superiore, l’esposizione delle credenziali e lo spostamento verso cluster interni.

Per i CISO, la rilevanza di questo episodio non si limita a una sola azienda né alla valutazione di un singolo modello, ma risiede nel fatto che gli agenti software possono perseguire incessantemente un obiettivo assegnato, suddividere il lavoro su attività parallele e rivedere il proprio approccio al mutare delle condizioni. La ricerca di Cato sull’attaccante agentico ha esaminato questa dinamica in un laboratorio controllato, nel quale un agente ha completato un percorso verso l’accesso con privilegi di amministratore di dominio in 40 minuti. In ciascuna delle esecuzioni riuscite, esso ha effettuato ricognizione, sfruttamento, scoperta interna, escalation dei privilegi, movimento laterale e attività di esfiltrazione dati. In un caso, ha creato un tunnel basato su SMB per trasferire dati attraverso un punto di accesso che aveva già stabilito. Questi risultati, seppure osservati in un ambiente controllato, illustrano il cambiamento operativo a cui i CISO devono prepararsi: gli agenti ora possono eseguire una sequenza di attacco completa, adattare i propri metodi e trasferire dati senza che un operatore umano coordini ogni azione.

Una catena di attacco familiare, che si muove alla velocità della macchina

I singoli componenti della violazione a danno di Hugging Face non erano nuovi. Il modello includeva l’esecuzione di codice, l’espansione dell’accesso, la raccolta di credenziali e il trasferimento da un sistema all’altro. I team di sicurezza si difendono da ciascuna di queste attività da anni.

La nuova cronologia tecnica di Hugging Face chiarisce la portata dell’evento. Hugging Face ha ricostruito circa 17.600 azioni dell’attaccante nel corso di una campagna di 4,5 giorni, durante la quale l’agente ha agito all’interno della sua infrastruttura per circa due giorni e mezzo. Ha utilizzato l’analisi assistita dall’IA per ricostruire la sequenza, decodificare i payload predisposti e identificare le credenziali e i sistemi coinvolti.

Il resoconto successivo di OpenAI mostra che l’attività è iniziata durante una valutazione interna delle capacità informatiche. La piattaforma riferisce che i suoi modelli hanno individuato un percorso al di fuori dei confini di un ambiente di ricerca limitato, ottenuto l’accesso alla rete Internet e, successivamente, attinto a informazioni relative alla valutazione approfittando delle lacune presenti e delle credenziali scoperte. Il rapporto sull’incidente di OpenAI

La governance è un controllo di sicurezza operativa

L’analisi iniziale della Cloud Security Alliance offre un’importante prospettiva gestionale: un agente IA con accesso ai sistemi aziendali dovrebbe essere gestito come un’entità attiva con autorità piuttosto che essere semplicemente categorizzato come un’applicazione.

Ciò è di fondamentale importanza, in quanto gli agenti sono in grado di leggere dati sensibili, richiamare strumenti, utilizzare credenziali, connettersi ad altri sistemi, avviare flussi di lavoro e apportare modifiche. Un’organizzazione è tenuta a sapere quali capacità detiene ciascun agente, perché le possiede e in che modo possono essere limitate.

Per ogni agente provvisto di accesso significativo, è necessario associare un chiaro scopo aziendale, una figura a cui attribuire la responsabilità, un set limitato di autorizzazioni, regole di approvazione per azioni materiali e una traccia di audit concretamente utilizzabile da parte dei team di sicurezza. Inoltre, è necessario assicurarsi che il suo accesso possa essere rapidamente ridotto o revocato. Questa non è altro che igiene della sicurezza applicata a un nuovo tipo di identità operativa.

Controllare la superficie di esecuzione in aggiunta al modello

La cronologia tecnica mostra che il rischio elevato non era solo l’unico aspetto su cui l’agente poteva ragionare, ma anche ciò che l’agente era effettivamente in grado di fare una volta trovato un punto d’appoggio. Ha letto i dati dell’ambiente, ottenuto credenziali, utilizzato identità cloud e di cluster, si è spostato attraverso servizi interni e ha raggiunto un accesso limitato in scrittura al controllo del codice sorgente.

Ogni debolezza era di per sé nota. Il rischio è emerso perché l’agente poteva testare molti percorsi possibili, imparare dai tentativi falliti e combinare i risultati utili ottenuti attraverso diversi sistemi. Ecco perché la gestione del modello non è sufficiente. Le organizzazioni devono anche governare la superficie di esecuzione dell’agente: i file che può leggere, gli strumenti che può richiamare, le identità che può utilizzare, le reti che può raggiungere e le azioni che può intraprendere.

Per i CISO, questo significa stabilire controlli indipendenti attorno alle azioni di una certa rilevanza. L’accesso dovrebbe avere una portata limitata, le credenziali dovrebbero avere una durata ridotta, i metadati cloud non dovrebbero essere disponibili per i carichi di lavoro che non ne hanno bisogno e le identità di servizio dovrebbero essere separate in base all’ambiente e allo scopo.

La risposta agli incidenti deve essere pronta a far fronte a reali artefatti malevoli

L’evento evidenzia anche un problema legato alla prontezza degli addetti alla sicurezza. Hugging Face ha affermato che i modelli di frontiera commerciali hanno inizialmente rifiutato le richieste di analizzare i comandi reali, i payload e le prove di comando e controllo generate dalla violazione. Il team di risposta ha infine eseguito tale analisi con un modello a pesi aperti ospitato all’interno del proprio ambiente.

Tale risultato non significa che le restrizioni di sicurezza siano errate; piuttosto, i piani di gestione degli incidenti devono tenere conto del fatto che il materiale che gli investigatori devono esaminare può apparire identico a quello utilizzabile da parte di un malintenzionato. Il CyberSecEval 2 di Meta affronta questa tensione attraverso il concetto di falsi rifiuti, in cui una richiesta di sicurezza informatica è legittima ma viene comunque respinta perché il suo intento risulta ambiguo.

Prima di un incidente, i CISO devono valutare:

• Se il team di risposta è in grado di esaminare in sicurezza comandi, payload e log dannosi realistici.
• Dove verranno elaborati e conservati gli artefatti sensibili degli attaccanti.
• Cosa farà il team se un modello rifiuta un’iniziativa di difesa valida.
• Se un metodo di riserva approvato è pronto per l’uso.
• Se la procedura in questione è stata attuata in condizioni di pressione realistiche.

I programmi di accesso affidabile possono contribuire a ridurre questo divario operativo. Tali programmi supportano iniziative difensive autorizzate che, in caso contrario, potrebbero incorrere in rifiuti infruttuosi da parte del modello. Essi non sostituiscono le procedure di risposta interne, la gestione sicura delle prove o le opzioni di riserva, bensì aiutano a garantire che, in caso di incidente, i difensori siano provvisti di un percorso pratico per utilizzare funzionalità di IA avanzate all’interno di un quadro opportuno in termini di fiducia e sicurezza. Cato prende parte al Trusted Access for Cyber e al Daybreak Cyber Partner Program di OpenAI, nonché al Cyber Verification Program di Anthropic.

La ricerca di Cato mostra la straordinaria rapidità con cui sia possibile chiudere la finestra di attacco

Il risultato della ricerca sull’attaccante agentico di Cato non rappresenta una previsione secondo cui ogni attacco agentico condurrà allo stesso esito. L’ambiente di laboratorio è stato appositamente predisposto per comprendere cosa può accadere quando a un modello capace vengono forniti gli strumenti, il contesto e lo spazio per agire in funzione del raggiungimento di un obiettivo di alto livello.

La sua rilevanza risiede nella finestra decisionale ridotta. Le attività che potrebbero richiedere ore o giorni lungo una serie di passaggi guidati dall’operatore possono avere luogo in una sequenza compatta e continua. Nel test controllato di Cato, la sequenza ha raggiunto l’accesso come amministratore di dominio in 40 minuti. Il difensore potrebbe avere molto meno tempo per determinare se un segnale debole faccia parte di una violazione in fase di sviluppo.

Il download di uno strumento di amministrazione insolito, un’azione di scoperta interna, un’anomalia di accesso e una comunicazione esterna imprevista possono avere ciascuno spiegazioni benevole; tuttavia, se combinati, possono rivelare un attacco in corso. Le operazioni di sicurezza devono essere in grado di collegare tali osservazioni prima che l’attaccante raggiunga l’obiettivo successivo.

Il requisito: Trasforma il contesto in azione

Il rilevamento e l’indagine rimangono necessari, ma non cambiano l’esito di un’intrusione attiva a meno che non portino a una decisione tempestiva. Quando l’attività si svolge rapidamente, il team di sicurezza ha bisogno di ben più di una crescente lista di avvisi.

Anche la timeline di Hugging Face mostra che la sola correlazione non è sufficiente. Il suo stack di sicurezza basato sull’IA ha messo in collegamento diversi segnali individualmente ambigui in un segnale di attacco coerente, ma non ha assegnato alcuna criticità sufficiente né ha attivato la risposta di reperibilità con sufficiente tempestività. L’ultimo miglio è importante: i team di sicurezza necessitano di una chiara logica di escalation e di azioni di contenimento mirate e pre-approvate laddove un pattern indichi l’avanzamento di un attacco.

La sfida pratica consiste nel raccogliere indizi rilevanti attraverso la rete, le identità, gli endpoint, le applicazioni e i dati, per poi determinare se l’insieme giustifichi un intervento. La domanda da porsi non è “questo singolo evento è malevolo?”, ma “questa sequenza mostra i progressi dell’autore dell’attacco, e qual è l’azione più sicura da intraprendere?”

Predisporre la prontezza prima che si renda necessaria

Un’organizzazione non deve prevedere ogni futuro attacco per prepararsi opportunamente alle minacce da parte degli agenti, tuttavia deve assicurarsi di applicare agli agenti IA e alla risposta alla velocità delle macchine lo stesso rigore che i team di sicurezza rivolgono all’accesso privilegiato, al contenimento degli incidenti e alla continuità operativa.

1. Identificare ogni agente IA in grado di raggiungere sistemi aziendali, dati sensibili, credenziali o strumenti di sicurezza.
2. Limitare le autorizzazioni, l’accesso ai dati, la connettività di rete, gli strumenti disponibili e la capacità di intraprendere azioni senza approvazione di ciascun agente. Utilizzare credenziali a breve durata e bloccare l’accesso del carico di lavoro ai metadati cloud, a meno che ciò non sia esplicitamente richiesto.
3. Assegnare un responsabile aziendale per ogni agente e testare un metodo rapido per limitarne o terminarne l’accesso.
4. Conservare registri rilevanti per la sicurezza delle decisioni, delle azioni, dell’uso degli strumenti e dei tentativi di accesso dell’agente. Rilevare credenziali e token utilizzati da sistemi o origini di rete imprevisti.
5. Eseguire esercitazioni sugli incidenti che includano artefatti dannosi, rifiuti del modello e alternative per un’analisi sicura assistita dall’IA.
6. Misurare il tempo tra il rilevamento di un insieme connesso di segnali e l’applicazione di un controllo protettivo mirato.

Questi suggerimenti riflettono i risultati della cronologia tecnica di Hugging Face: l’accesso del carico di lavoro ai metadati cloud, le credenziali ad ampio raggio o riutilizzabili e l’uso di token raccolti da sistemi imprevisti hanno tutti aiutato l’agente a farsi strada nell’ambiente.

Gestire, predisporre, prevenire

L’incidente di Hugging Face è un esempio precoce e concreto di un cambiamento nella sicurezza che molte organizzazioni hanno già previsto.

Le organizzazioni resilienti gestiranno gli agenti come identità con libertà d’azione concreta e faranno sì che i loro sistemi di risposta possano operare con eventi ostili in condizioni reali. Inoltre, esse assoceranno il rilevamento a controlli in grado di agire prima che un attaccante trasformi la successiva opportunità in un obiettivo perseguito.

Nell’era degli agenti, una risposta forte non si misura solo dalla qualità dell’indagine, ma anche dalla capacità dell’organizzazione di arrestare l’attacco finché c’è ancora tempo per farlo.