Che cos’è l’estrazione di dati AI?

L’estrazione di dati AI è il trasferimento o l’esposizione non autorizzata di informazioni sensibili tramite sistemi, strumenti, prompt, output, plugin, connettori o agenti AI. Ciò coinvolge tutte le forme di AI utilizzate all’interno dell’impresa, inclusi strumenti GenAI pubblici, AI integrata in strumenti SaaS, copiloti interni, agenti AI autonomi e flussi di lavoro connessi a modelli.

Sebbene l’estrazione di dati sia una minaccia di lunga data, l’AI introduce nuovi rischi e percorsi di estrazione tramite prompt, livelli di recupero, memoria, output e integrazioni di terze parti. I dati sensibili possono essere estratti intenzionalmente o accidentalmente a causa di errori dell’utente o di un design del sistema insicuro.

Punti chiave

• L’estrazione di dati AI è l’esposizione o il trasferimento non autorizzato di informazioni sensibili attraverso sistemi AI o flussi di lavoro abilitati dall’AI.
• Può avvenire tramite prompt, output, connettori, memoria, pipeline di addestramento o azioni degli agenti.
• Sia il comportamento accidentale degli utenti che gli attacchi deliberati possono portare a perdite di dati legate all’AI.
• L’AI ombra aumenta il rischio perché le organizzazioni possono mancare di visibilità, registrazione e applicazione delle politiche.
• Una prevenzione efficace dipende dalla classificazione dei dati, dai controlli di accesso, dal monitoraggio e dal filtraggio degli output.
• L’estrazione di dati AI è correlata alla perdita di dati, ma spesso coinvolge percorsi e comportamenti specifici dell’AI.

Cosa significa l’estrazione di dati AI?

L’estrazione di dati AI è quando dati sensibili lasciano l’ambiente aziendale tramite prompt, risposte, embedding e altri mezzi AI. Ciò include sia l’estrazione intenzionale che le perdite accidentali dovute a uso improprio, configurazioni errate o controlli di sicurezza deboli.

L’estrazione di dati AI si differenzia principalmente dall’estrazione di dati generale nei mezzi di estrazione, ad esempio, strumenti AI. L’AI può rendere l’estrazione meno ovvia inviando dati in piccoli frammenti, attraverso richieste conversazionali o tramite azioni mediate da strumenti. Inoltre, l’AI può “accidentalmente” estrarre dati se cade vittima di iniezione di prompt, allucinazioni o problemi simili.

Quali tipi di dati sono più a rischio?

L’AI può divulgare qualsiasi tipo di dato sensibile che elabora, inclusi:

• PII
• Dati finanziari
• Dati sanitari
• Codice sorgente
• Documenti interni
• Credenziali
• Registro clienti
• Contenuto legale
• Segreti commerciali

L’IA può rivelare sia dati strutturati che non strutturati poiché gli strumenti di IA elaborano comunemente testo libero, documenti, screenshot e contenuti incollati. Di conseguenza, i dati sensibili che gli utenti trattano con leggerezza nei prompt o nei caricamenti possono essere rivelati e possono comunque essere sensibili anche se non si tratta di dati regolamentati.

Tipi di estrazione dei dati dell’IA

L’IA introduce nuove minacce di esfiltrazione dei dati poiché i dati possono muoversi dentro e fuori dai sistemi in modi conversazionali, incorporati o automatizzati. Sebbene l’hacking sia una possibilità, molte perdite iniziano con flussi di lavoro ordinari e una cattiva governance. 

Alcuni tipi comuni di esfiltrazione dei dati dell’IA includono:

• Esposizione di prompt e input: Gli utenti possono inserire o incollare dati sensibili (documenti riservati, codice, informazioni sui clienti, ecc.) in strumenti di IA pubblici o non approvati, che utilizzano questi dati per l’addestramento. I dati possono anche essere raccolti da chatbot basati su browser, funzionalità di IA incorporate in app SaaS e copiloti per sviluppatori. I prompt devono essere monitorati e registrati per dati sensibili.
• Divulgazione basata sull’output: Gli strumenti di IA con accesso a dati sensibili possono esporre queste informazioni nelle loro risposte ai prompt. Controlli deboli possono abilitare questo tramite recupero eccessivo, autorizzazione debole, esposizione della memoria o generazione di risposte non sicure. Questa divulgazione può avvenire anche involontariamente se l’IA fornisce dati che l’utente non intendeva condividere esternamente.
• Connettori, Plugin e Azioni degli Agenti: Gli agenti IA e gli strumenti connessi ampliano la superficie di rischio a causa della capacità dell’IA di chiamare strumenti, interrogare archivi di dati o intraprendere azioni. Connettori, plugin, integrazioni API, accesso ai file e accesso alla base di conoscenza possono aumentare il rischio di perdite se non sono in atto controlli di privilegio minimo e autorizzazione.
• Rischi di Memoria, Recupero e Persistenza dei Dati: Dati sensibili possono essere memorizzati nei livelli di memoria dei flussi di lavoro dell’IA, nei sistemi di recupero, negli archivi vettoriali, nei log o in altri livelli di persistenza. I dati che entrano nel sistema in questo modo potrebbero essere divulgati come parte delle uscite del modello. Le organizzazioni dovrebbero implementare controlli di accesso rigorosi per i dati sensibili e politiche di retention, logging e governance.

Il Rischio dell’IA Ombra

L’IA Ombra è l’uso non approvato o non gestito dell’IA per scopi aziendali, il che può creare punti ciechi per i team di sicurezza. I dipendenti possono utilizzare strumenti IA gratuiti o app SaaS con IA integrata e copiare dati sensibili in essi se non impedito da controlli di accesso, classificazione e politiche approvate. Questo uso non approvato dell’IA aumenta il rischio di esfiltrazione dei dati ed è difficile da investigare a causa della mancanza di visibilità e di tracce di audit.

Scenari Comuni di Esfiltrazione dei Dati IA

L’esfiltrazione dei dati IA può verificarsi in una varietà di modi diversi, tra cui:

• Strumenti GenAI Pubblici: Contratti, dati dei clienti, codice sorgente e altri dati sensibili possono essere copiati in strumenti GenAI pubblici per analisi o per supportare altri flussi di lavoro. Se questi strumenti non sono autorizzati e monitorati, i team di sicurezza potrebbero non vedere questa interazione, portando a esfiltrazione dei dati. La classificazione dei dati e le politiche sono essenziali per gestire questa minaccia.
• Chatbot e Copiloti: Gli assistenti AI possono avere accesso a documenti interni, ticket, repository e basi di conoscenza. Un’autorizzazione debole o un recupero eccessivamente ampio possono portare a contenuti sensibili che vengono accidentalmente esposti all’utente sbagliato. I controlli di output e le verifiche di accesso dovrebbero essere utilizzati per prevenire ciò.
• Iniezione di Prompt: Gli attacchi di iniezione di prompt utilizzano prompt elaborati per manipolare l’AI nel rivelare informazioni sensibili o compiere azioni indesiderate. Questo può essere eseguito direttamente o incorporando istruzioni dannose in contenuti esterni o risorse collegate. L’iniezione di prompt può portare all’esposizione di dati interni, segreti o contenuti da sistemi connessi, specialmente con agenti AI autonomi e flussi di lavoro di recupero.
• Strumenti e Azioni Esterni: Gli agenti AI con accesso agli strumenti possono inviare, caricare, riassumere o trasferire dati sensibili tramite strumenti esterni. Le autorizzazioni e l’ambito delle azioni sono critici per prevenire l’esfiltrazione tramite sistemi downstream.

Come Possono le Organizzazioni Rilevare e Ridurre il Rischio di Esfiltrazione dei Dati AI?

L’esfiltrazione dei dati AI è un rischio significativo per l’azienda, specialmente man mano che l’AI diventa più integrata e autonoma. 

Le migliori pratiche per gestire questi rischi includono:

• Classificazione dei Dati e Controlli DLP: Le organizzazioni devono identificare i dati sensibili prima che possano essere adeguatamente protetti. I dati dovrebbero essere classificati prima di essere esposti ai sistemi AI per gestire l’accesso ai dati e sanificare adeguatamente i prompt e le uscite del modello. Con l’AI, DLP è essenziale per prevenire perdite di dati tramite dati non strutturati.
• Controllo degli Accessi e Minimo Privilegio: L’accesso agli strumenti AI, ai connettori, ai memorizzatori di memoria e alle fonti di dati aziendali dovrebbe essere limitato in base al ruolo e alla necessità per ridurre il rischio di esfiltrazione dei dati. La classificazione dei dati, i controlli di accesso basati sui ruoli (RBAC) e le politiche di sicurezza dovrebbero essere in atto e applicate prima che i dati vengano recuperati o utilizzati per ridurre il rischio di esposizione di dati sensibili.
• Monitoraggio, Registrazione e Rilevamento delle Anomalie: Le organizzazioni dovrebbero monitorare i prompt, le risposte, l’uso degli strumenti e i flussi di dati per eventi sospetti o anomali, come schemi di accesso insoliti, carichi di prompt elevati, comportamenti di output strani o utilizzo di app non approvate. Quando possibile, la telemetria AI dovrebbe alimentare operazioni di sicurezza più ampie per supportare una strategia incentrata sulla rilevazione.
• Filtraggio dell’Output e Applicazione delle Politiche: Sia gli input che gli output possono essere utilizzati nell’esfiltrazione dei dati AI. L’applicazione delle politiche dovrebbe coprire i prompt, i caricamenti, i download, i comportamenti simili agli appunti e le risposte generate, ove applicabile, per prevenire l’esposizione di dati sensibili negli output del modello o dell’assistente.

Esfiltrazione dei Dati AI vs. Perdita di Dati vs. Violazione dei Dati

L’esfiltrazione dei dati AI, la perdita di dati e la violazione dei dati sono tutti termini correlati. Gli elementi chiave includono:

• Esfiltrazione dei Dati: Di solito un trasferimento, estrazione o rimozione di dati non autorizzato e intenzionale.
• Perdita di Dati: Di solito un’esposizione accidentale o incontrollata.
• Violazione dei Dati: Un incidente di sicurezza più ampio che include accesso, divulgazione o esposizione non autorizzati ai dati.

Negli ambienti AI, questi termini possono sovrapporsi. Ad esempio, un prompt può generare involontariamente risposte con dati non autorizzati, oppure un attacco di iniezione di prompt può raggiungere lo stesso obiettivo intenzionalmente. Entrambi questi eventi potrebbero portare a una violazione dei dati e avere impatti simili sull’azienda.

L’esfiltrazione dei dati AI è una preoccupazione a livello di consiglio.

L’esfiltrazione dei dati AI è un problema di sicurezza dei dati e governance, non solo un problema di modello. Il rischio aumenta quando l’uso dell’AI si espande più rapidamente della visibilità, del controllo degli accessi e dell’applicazione delle politiche.

Poiché gli strumenti AI toccano sempre più processi aziendali sensibili, conoscenze interne e dati regolamentati, un controllo debole dell’uso dell’AI può influenzare la privacy, la conformità, la protezione della proprietà intellettuale e la fiducia. Le organizzazioni hanno bisogno di politiche per gestire i rischi dell’AI ombra e dell’esfiltrazione dei dati tramite prompt, output e strumenti connessi.

FAQ

Che cos’è l’esfiltrazione dei dati AI?

L’esfiltrazione dei dati AI è l’esposizione o il trasferimento non autorizzato di dati sensibili attraverso prompt, output, modelli, agenti o sistemi connessi dell’AI. Questo include sia il furto di dati intenzionale che le perdite accidentali da parte di utenti o sistemi AI.

L’esfiltrazione dei dati AI è la stessa cosa della perdita di dati?

L’esfiltrazione dei dati AI è correlata alla perdita di dati, ma la perdita è spesso involontaria. Al contrario, l’esfiltrazione dei dati è solitamente intenzionale; tuttavia, i sistemi AI possono sfumare i confini a causa della loro capacità di agire in modo indipendente.

Come possono gli strumenti AI esporre informazioni sensibili?

I sistemi AI possono esporre informazioni sensibili in vari modi, inclusi prompt, output, connettori, memoria, sistemi di recupero e azioni degli agenti. Il rischio di esfiltrazione dei dati può originarsi da uso improprio, configurazione errata o attacchi come l’iniezione di prompt.

Perché l’AI ombra aumenta il rischio di esfiltrazione?

L’AI ombra aumenta il rischio di esfiltrazione poiché gli strumenti non approvati non sono monitorati né soggetti a politiche aziendali e strumenti di esfiltrazione dei dati. Di conseguenza, l’esfiltrazione è difficile da identificare e investigare.

Come possono le organizzazioni ridurre il rischio di esfiltrazione dei dati AI?

I rischi di esfiltrazione dei dati AI possono essere ridotti tramite pratiche comuni di sicurezza dei dati, come la classificazione dei dati, DLP, controlli di accesso, monitoraggio, registrazione, filtraggio degli output e governance. L’AI ombra e l’aumento della presenza dell’AI nell’impresa significano che nessun singolo controllo è sufficiente e che una difesa a più livelli è essenziale per minimizzare il rischio di perdita di dati.