L’avvelenamento dei dati \u00e8 un attacco deliberato ai dati da cui un sistema di intelligenza artificiale o di apprendimento automatico apprende. Invece di attaccare direttamente l’applicazione in tempo reale, l’attaccante corrompe un dataset, un insieme di etichette, un corpus di recupero o una pipeline di addestramento affinch\u00e9 il modello apprenda il modello sbagliato e successivamente si comporti in un modo che serve all’obiettivo dell’attaccante.<\/p>\n\n\n\n
Questo \u00e8 ci\u00f2 che rende l’avvelenamento dei dati difficile per i team di sicurezza e di intelligenza artificiale. Il danno pu\u00f2 essere piantato molto prima che qualcuno veda l’output del modello. Un modello avvelenato pu\u00f2 apparire normale nei test standard, superare ampie verifiche di accuratezza e comunque fallire nei casi esatti che interessano all’attaccante.<\/p>\n\n\n\n
Definizione breve: l’avvelenamento dei dati \u00e8 la manipolazione intenzionale dei dati di addestramento, di affinamento, di etichettatura o di recupero affinch\u00e9 un sistema di intelligenza artificiale apprenda comportamenti corrotti.<\/p>\n\n\n\n
La maggior parte degli attacchi di avvelenamento segue lo stesso schema di base, anche quando i dettagli tecnici differiscono per tipo di modello o fonte di dati.<\/p>\n\n\n\n
<\/p>\n\n\n\n
L’attaccante spesso non ha bisogno di accesso all’applicazione finale distribuita. Se pu\u00f2 influenzare i dati a monte, potrebbe essere in grado di influenzare il modello finito senza mai toccare la produzione.<\/p>\n\n\n\n
I dati errati sono comuni. I file si rompono, le etichette sono sbagliate, le fonti si allontanano, i duplicati si infiltrano e i casi limite vengono trascurati. Questi sono problemi di qualit\u00e0 dei dati. Il data poisoning \u00e8 diverso perch\u00e9 la corruzione \u00e8 intenzionale e avversaria.<\/p>\n\n\n\n
Questa distinzione cambia la risposta. La corruzione accidentale viene solitamente gestita con controlli di qualit\u00e0, convalida e pulizia. Il data poisoning richiede una mentalit\u00e0 di sicurezza: provenienza, controllo degli accessi, modellazione delle minacce, registri di audit, rilevamento delle anomalie e un’assunzione che alcuni input possano essere ostili.<\/p>\n\n\n\n
Gli attacchi di poisoning vengono solitamente raggruppati in base all’obiettivo dell’attaccante. Alcuni degradano ampiamente il modello. Altri sono molto pi\u00f9 precisi, motivo per cui possono essere pi\u00f9 difficili da notare.<\/p>\n\n\n\n
In un attacco di inversione delle etichette, l’attaccante cambia le etichette su esempi di addestramento selezionati. Lo spam \u00e8 contrassegnato come legittimo. La frode \u00e8 contrassegnata come normale. Un campione malevolo \u00e8 contrassegnato come sicuro. Il modello impara quindi la relazione sbagliata tra l’input e il risultato.<\/p>\n\n\n\n
Un attacco di backdoor insegna al modello a comportarsi normalmente per la maggior parte del tempo, ma a fallire quando appare un attivatore. Il trigger potrebbe essere un segno visivo in un’immagine, una frase in un testo, un modello in un file, o un altro segnale controllato dall’attaccante. BadNets ha contribuito a rendere questa classe di attacco ben nota mostrando come un modello potesse mantenere forti prestazioni pulite mentre portava un backdoor nascosto.<\/p>\n\n\n\n
L’avvelenamento mirato cambia il comportamento del modello su input specifici mantenendo intatte le prestazioni generali. Questa \u00e8 la versione di cui i difensori si preoccupano di pi\u00f9, perch\u00e9 un normale cruscotto pu\u00f2 mostrare una buona accuratezza complessiva mentre il modello \u00e8 silenziosamente errato in un caso ristretto e di alto valore.<\/p>\n\n\n\n
Gli attacchi di disponibilit\u00e0 sono meno sottili. L’obiettivo \u00e8 ridurre le prestazioni del modello in modo sufficientemente ampio da rendere il sistema inaffidabile o inutilizzabile. Questi attacchi sono pi\u00f9 facili da rilevare rispetto all’avvelenamento mirato perch\u00e9 il fallimento \u00e8 visibile in molti casi.<\/p>\n\n\n\n
Le moderne applicazioni LLM spesso utilizzano la generazione aumentata da recupero, o RAG, dove il modello consulta una base di conoscenza esterna prima di rispondere. Questo crea un’altra superficie di avvelenamento. Se un documento malevolo entra nel corpus di recupero, il modello potrebbe recuperarlo in seguito e trattarlo come un contesto affidabile.<\/p>\n\n\n\n
Lavori recenti su attacchi come SilentRetrieval mostrano perch\u00e9 questo sia importante: i documenti avvelenati possono essere scritti per apparire fluenti e pertinenti, rendendo deboli le semplici verifiche di qualit\u00e0. Per i sistemi RAG, il dataset non \u00e8 solo il set di addestramento originale. \u00c8 anche la base di conoscenza che il modello legge al momento dell’inferenza.<\/p>\n\n\n\n
Un errore comune \u00e8 immaginare l’avvelenamento come qualcosa che accade solo durante l’addestramento del modello. In pratica, la contaminazione pu\u00f2 entrare quasi ovunque i dati vengano raccolti, etichettati, spostati, trasformati o recuperati.<\/p>\n\n\n\n
<\/p>\n\n\n\n
Questa visione del ciclo di vita \u00e8 importante perch\u00e9 una difesa posta solo nella fase di addestramento mancher\u00e0 attacchi che sono entrati prima. RAG crea un altro divario: un attacco pu\u00f2 entrare pi\u00f9 tardi, attraverso il materiale che il modello recupera dopo il deployment.<\/p>\n\n\n\n
Gli attacchi di avvelenamento pi\u00f9 difficili sono progettati per far sembrare il modello sano. L’accuratezza complessiva potrebbe non diminuire. I test di validazione potrebbero passare. Il comportamento avvelenato potrebbe apparire solo quando \u00e8 presente un attivatore, una classe target o un modello di input ristretto.<\/p>\n\n\n\n
Ecco perch\u00e9 gli esempi di ricerca sono utili, ma necessitano di un’interpretazione attenta. Gli studi sui backdoor mostrano che un modello pu\u00f2 funzionare bene su input puliti mentre fallisce su input attivati. Il lavoro di avvelenamento RAG mostra che i documenti di recupero malevoli possono essere difficili da segnalare con semplici controlli di fluidit\u00e0 o perplessit\u00e0. La lezione pratica non \u00e8 che la rilevazione sia impossibile; \u00e8 che la sola rilevazione non \u00e8 sufficiente.<\/p>\n\n\n\n
I segnali di avvertimento possono includere:<\/p>\n\n\n\n
<\/p>\n\n\n\n
Il data poisoning si colloca all’interno del campo pi\u00f9 ampio dell’IA avversariale, dove termini simili sono spesso usati in modo vago. La distinzione pi\u00f9 chiara \u00e8 il tempo: il data poisoning corrompe ci\u00f2 che il sistema apprende; molti altri attacchi manipolano come il sistema si comporta durante l’uso.<\/p>\n\n\n