Wat is promptinjectie?

Promptinjectie-aanvallen gebruiken kwaadaardige, zorgvuldig samengestelde vragen om een LLM te misleiden om ongewenste acties te ondernemen. Bijvoorbeeld, een aanvaller kan het GenAI-systeem overtuigen om beveiligingsmaatregelen of bedrijfsbeleid te negeren en ongeoorloofde soorten inhoud te genereren.

Met de wijdverspreide integratie van GenAI en AI-agenten in bedrijfsworkflows vormen promptinjectie-aanvallen een aanzienlijk risico voor de betrouwbaarheid en veiligheid van de service. Aanvallers kunnen agenten misleiden om acties te ondernemen die leiden tot datalekken, malware-infecties of andere beveiligingsincidenten.

Belangrijke hoogtepunten

• Promptinjectie manipuleert modelinstructies om onveilige uitvoer, gegevensblootstelling of onbedoelde acties te activeren.
• Indirecte promptinjectie kan plaatsvinden via onbetrouwbare inhoud zoals webpagina’s, documenten, e-mails, tickets of chatlogs.
• Het risico neemt toe wanneer modellen tools kunnen gebruiken, toegang hebben tot gegevensbronnen of acties kunnen ondernemen.
• Mitigaties zijn gelaagd. Invoer- en uitvoercontroles helpen, maar ‘perfecte preventie’ is geen realistische aanname.
• Het doel is om de impact te verminderen door het gebruik van minimale privileges, sterke gegevensgrenzen en verificatiestappen voor gevoelige acties.

Hoe werkt promptinjectie in de praktijk?

LLM’s hebben doorgaans instructies en beveiligingsmaatregelen om te controleren hoe ze functioneren. LLM-makers bouwen bepaalde waarborgen in, en ondernemingen voegen hun eigen instructies toe terwijl ze tools configureren om verschillende taken binnen hun omgevingen uit te voeren.

Promptinjectie-aanvallen gebruiken zorgvuldig samengestelde invoer die is ontworpen om deze beveiligingsmaatregelen te omzeilen en iets te doen dat de aanvaller ten goede komt, zoals het stelen van gevoelige gegevens, het produceren van beleidsinbreuk-uitvoer of het activeren van acties in verbonden tools. Deze invoer kan rechtstreeks aan de tool worden gegeven of ingebed zijn in andere inhoud die het consumeert, zoals RAG-opgehaalde documenten of webpagina’s die een agent bezoekt.

Directe promptinjectie

Directe promptinjectie houdt in dat de aanvaller rechtstreeks met de agent interactie heeft. Bijvoorbeeld, een aanvaller kan prompts invoeren in een LLM-chatbot. Deze kwaadaardige prompts kunnen verschillende patronen volgen, zoals:

• Negeer eerdere instructies
• Dwingend rollenspel
• Ontwikkelaarsmodus
• Beleidsovertredende taal

Het doel van deze instructies is om de prompt van de aanvaller prioriteit te geven boven de LLM-beveiligingen, hetzij door een achterpoortje te benutten of door door de LLM als belangrijker te worden gezien. Als dit succesvol is, kan de LLM ongeoorloofde inhoud genereren, verborgen instructies lekken, onveilige aanbevelingen doen of acties verkeerd toewijzen aan het verkeerde hulpmiddel of de verkeerde gebruiker.

Indirecte promptinjectie

Indirecte promptinjectie-aanvallen voegen kwaadaardige instructies toe aan de inhoud die een model consumeert in plaats van directe instructies. Deze kunnen onder andere omvatten:

• Webpages
• Documenten
• E-mails
• IT-tickets
• Chattranscripten
• Kennisbanken

Deze bedreigingen zijn significanter als een LLM toegang heeft tot externe inhoud, hetzij via een RAG of door het web te doorzoeken naar mogelijke antwoorden, aangezien de opgehaalde gegevens als context door de LLM worden behandeld. Kwaadaardige instructies kunnen letterlijk verborgen zijn in inhoud, zoals het gebruik van witte tekst om instructies onzichtbaar te maken voor menselijke lezers of het gebruik van onschuldig uitziende tekst die een model als instructies interpreteert.

De belangrijkste soorten promptinjectie-aanvallen

Promptinjectie-aanvallen kunnen worden uitgevoerd om verschillende doelen te bereiken. Twee van de belangrijkste soorten aanvallen proberen toegang te krijgen tot gevoelige informatie over de systeemprompt of om het gebruik van een AI-hulpmiddel te manipuleren om gevoelige informatie te verzamelen of schadelijke acties uit te voeren.

Promptlek en extractie van systeemprompt

Sommige aanvallen zijn ontworpen om toegang te krijgen tot de systeemprompt, die gevoelige gegevens kan bevatten, zoals verborgen systeeminstructies, beleidslijnen of geheimen. Deze informatie kan nuttig zijn voor een aanvaller, omdat het hen in staat stelt om vervolgaanvallen te creëren die deze verdedigingen omzeilen.

De mogelijkheid van promptlekage betekent dat geheimen nooit in prompts mogen worden ingebed. Beveiligingsrichtlijnen zoals “geen onthullings” instructies kunnen door een aanvaller worden omzeild of overwonnen.

Hacken van Tools en Agenten

AI-tools kunnen mogelijk functies of API’s aanroepen, het internet doorbladeren of workflows activeren. Een zorgvuldig samengestelde prompt kan een aanvaller in staat stellen om te definiëren welke tools worden geselecteerd, de parameters die naar hen worden verzonden en de volgorde waarin acties worden aangeroepen.

Dit vormt een risico dat een aanvaller mogelijk toegang kan krijgen tot gevoelige gegevens bij het maken van oproepen naar ticketingsystemen, CRM, documentopslag, code-repositories of cloudconsoles. Om dit risico te beheersen, zouden organisaties toegang tot de minste privileges moeten implementeren en goedkeuringspoorten met menselijke tussenkomst voor acties met hoge impact, vooral voor AI-agenten die zonder menselijke supervisie opereren.

Waar komt promptinjectie voor in bedrijfsomgevingen?

Promptinjectie-aanvallen kunnen overal plaatsvinden waar een organisatie GenAI gebruikt. Veelvoorkomende voorbeelden zijn:

• Openbare chattools
• Ingebedde assistenten
• Klantenservicebots
• Interne kennisassistenten
• Ontwikkelaarscopiloten
• Autonome agenten

Zelfs als gebruikers niet direct met deze tools interageren, blijft promptinjectie een risico. Tools kunnen toegang krijgen tot webinhoud, bijlagen, geplakte logs, opmerkingen van derden SaaS en andere onbetrouwbare invoer die kwaadaardige instructies kan bevatten.

Chatbots en klantgerichte assistenten

Chatbots en klantgerichte agenten accepteren vrije tekstinvoer van onbekende gebruikers. Succesvolle promptinjectie-aanvallen kunnen inhouden dat outputs worden gemanipuleerd om klanten te misleiden en potentiële blootstelling van gegevens als de bot toegang heeft tot de CRM- of ordersystemen.

Om deze risico’s te beheersen, zouden organisaties strikte datascopes moeten implementeren, gevoelige gegevens waar mogelijk moeten redigeren en gestandaardiseerde antwoorden voor gevoelige verzoeken moeten specificeren. Bovendien moeten deze tools worden gemonitord op tekenen van mogelijke misbruik, waaronder verzoekpercentages, herhaling en gelijkenis van payloads.

RAG en ‘Vraag uw kennisbasis’ assistenten

RAG en ‘vraag uw kennisbasis’ assistenten hebben de mogelijkheid om documenten en andere inhoud te benaderen die mogelijk boven het bedrijfsbeleid zijn verheven als onderdeel van de context van het LLM. Als gevolg hiervan kan kwaadaardige inhoud die in webpagina’s en andere bronnen is ingebed, een aanvaller in staat stellen om de beveiligingsmaatregelen te omzeilen.

Organisaties kunnen deze risico’s beperken door inhoudslabeling, toegestane lijsten voor ophalen en compartmentalisatie van prompts te implementeren. Bovendien beperken toegangseisen op basis van het principe van de minste privileges de gegevens die deze tools kunnen benaderen, waardoor de potentiële impact van een aanval wordt verminderd.

Impact van promptinjectie op de beveiliging van ondernemingen

Promptinjectie-aanvallen kunnen AI-gestuurde tools beïnvloeden om de wensen van de aanvaller uit te voeren. Dit kan aanzienlijke bedreigingen voor vertrouwelijkheid, integriteit en beschikbaarheid met zich meebrengen vanwege de mogelijkheid van datalekken, gemanipuleerde outputs en verstoorde workflows.

Een succesvolle promptinjectie-aanval kan moeilijk te onderzoeken zijn vanwege het gebruik van legitieme tools en beperkte zichtbaarheid in deze tools. Dit vormt ook een aanzienlijk risico voor de naleving van regelgeving als organisaties niet over de gegevens beschikken om te bewijzen wat er is gebeurd en de reikwijdte van het incident.

Veelvoorkomende zakelijke impact

Promptinjectie-aanvallen kunnen een verscheidenheid aan verschillende impacten op de onderneming hebben, waaronder:

• Blootstelling van klantgegevens
• Blootstelling van intellectuele eigendom (IE)
• Service-uitval
• Onjuiste antwoorden op klantvragen
• Besluitvorming op basis van onnauwkeurige gegevens
• Reputatie- en financiële schade
• Regulerende boetes en juridische blootstelling

Hoe kan promptinjectie worden gedetecteerd?

Het detecteren van promptinjectie vereist het analyseren van LLM-invoer, -uitvoer en -gedrag om anomalieën of schendingen van het bedrijfsbeleid te identificeren. Om dit te doen, moeten organisaties prompts, antwoorden en toolaanroepen loggen voor monitoring. De analyse moet zoeken naar anomalieën, schendingen van het beleid en herhaalde payloadpatronen.

Indicatoren in prompts, context en toolaanroepen

Prompts, context en toolaanroepen kunnen indicatoren van promptinjectieaanvallen bevatten. Waar je op moet letten zijn:

• Verdachte instructiepatronen
• Dwingende taal
• Ongebruikelijke frequentie van toolaanroepen
• Ongebruikelijke bestemmingen van toolaanroepen
• Te grote gegevens die door tools worden teruggegeven
• Herwonnen tekst die probeert te functioneren als beleid

Praktische mitigaties voor promptinjectie

Promptinjectieaanvallen vereisen een gelaagde verdediging, aangezien aanvallers kwaadaardige prompts kunnen maken om eenvoudige tekstzoekopdrachten en patroonherkenning te omzeilen. Een gelaagd mitigatiemodel moet omvatten:

• Veilige applicatieontwerp
• Model interactiecontroles
• Gegevensbeheer
• Operationele tests

Het doel van deze mitigaties is om de impact en frequentie van aanvallen te verminderen. De aard van LLM’s betekent dat het onmogelijk is om volledig te garanderen dat aanvallen nooit succesvol zullen zijn.

Ontwerppatronen die de explosieradius verminderen

Acties ter mitigatie van promptinjectie moeten zich richten op het beheren van de potentiële explosieradius van een succesvolle injectie. Best practices zijn onder andere:

• Minimale toegangscontroles voor tools, connectors en gegevensbronnen: Dit omvat het implementeren van aparte machtigingen voor lees- en schrijftoegang.
• Mensen-in-de-lus poorten voor gevoelige acties: Bijvoorbeeld, menselijke goedkeuring moet vereist zijn voor betalingen, accountwijzigingen, bevoorrechte admin-taken en andere risicovolle activiteiten.
• Sterke grenzen voor geheimen: Geheimen mogen nooit in prompts worden opgeslagen, gebruik in plaats daarvan scoped tokens of kluispatronen.
• Segmentatie voor ophaalbronnen: Idealiter zouden LLM’s alleen toegang moeten hebben tot vertrouwde corpora met gecureerde en gelabelde gegevens.
• Deterministische nabewerking voor risicovolle outputs: LLM-outputs in risicovolle workflows of met toegang tot gevoelige gegevens moeten worden nabewerkt door niet-AI-software om ervoor te zorgen dat beleid wordt gehandhaafd en gevoelige gegevens worden afgeschermd.

Beveiligingsmaatregelen tijdens runtime

Naast het beperken van de explosieradius van aanvallen, kunnen organisaties ook beveiligingsmaatregelen implementeren die risico’s tijdens runtime beheren. Best practices zijn onder andere:

• Verzoekfiltering en normalisatie: Alle LLM-antwoorden moeten worden geanalyseerd om potentieel gevoelige of kwaadaardige inhoud te filteren en om te zorgen voor naleving van bedrijfsbeleid.
• Gegevensverliescontroles: Gebruik DLP of een SWG om te voorkomen dat gevoelige gegevens via prompts en antwoorden worden verzonden wanneer mogelijk.
• Inhoudsrisicocontroles: LLM’s met webtoegang moeten worden beperkt in de websites en inhoudstypen die ze kunnen benaderen.
• Toegangsbeheer voor AI-apps en assistenten: AI-apps en assistenten moeten worden beperkt met toegangscontroles op basis van het principe van de minste privileges, die de gegevens en tools die ze kunnen gebruiken beperken.
• Logging en waarschuwingen: Logging en waarschuwingen moeten worden ingebouwd in AI-gestuurde tools om de juiste zichtbaarheid en auditsporen te waarborgen.

Hoe wordt promptinjectie getest en gevalideerd?

Promptinjectievulnerabiliteiten moeten regelmatig worden getest, aangezien kleine wijzigingen in prompts, tools, modellen en gegevensbronnen het risico opnieuw kunnen introduceren. Een AI-rode team gebruikt vijandige prompts om model- en app-gedragingen op een gestructureerde en herhaalbare manier te evalueren. Enkele van de belangrijkste zaken om op te testen zijn:

• Gegevenslek
• Beleid omzeilen
• Misbruik van tools
• Manipulatie van gegevensopvraging
• Schadelijke output

Testen moet regelmatig worden uitgevoerd, vooral na het implementeren van nieuwe agenten, tools of connectors. Het succes van een testprogramma kan worden geëvalueerd op basis van het succespercentage, de ernst, de detectiedekking, de tijd om te detecteren en de tijd om te beheersen.

Een herhaalbare promptinjectietestset bouwen

Een promptinjectietestset kan ervoor zorgen dat een organisatie de belangrijkste risico’s van promptinjectie voor haar systemen op de juiste manier aanpakt. Best practices zijn onder andere:

• Houd een bibliotheek bij van vijandige prompts die zijn gekoppeld aan risicocategorieën.
• Neem indirecte injectiefixtures (documenten, webpagina’s, tickets) op die veilig maar realistisch zijn.
• Test per workflow en per permissieset. Hetzelfde model kan veilig zijn in de ene context en onveilig in een andere.
• Automatiseer regressietests wanneer prompts, ophaalbronnen of toolschema’s veranderen.
• Documenteer het verwachte gedrag en de escalatiepaden wanneer een test faalt.

Risicoreductie van promptinjectie en operationele richtlijnen

Promptinjectie is een groeiend risico voor de cybersecurity van bedrijven, aangezien bedrijven steeds meer afhankelijk zijn van AI-tools die mogelijk kunnen worden misleid om kwaadaardige acties uit te voeren. Beveiliging tegen promptinjectie omvat het beperken van invoer, context, acties en uitvoer om de kans op een aanval en de mogelijke impact op het bedrijf te verminderen. Organisaties zouden:

• De toegang van AI-tools tot gegevens en tools beperken.
• Invoer en uitvoer monitoren op anomalieën en beleidschendingen.
• Gebruik deterministische sanering en sjablonering voor risicovolle reacties.
• Test regelmatig tools met vijandige prompts.

Het elimineren van het risico van promptinjectie is onmogelijk. Echter, organisaties kunnen de kans en de impact van een succesvolle aanval verminderen.

FAQ over promptinjectie

Is promptinjectie hetzelfde als jailbreaking?

Jailbreaking is een specifiek type promptinjectie-aanval die is ontworpen om een model te misleiden om verboden en schadelijke output te genereren. Promptinjectie-aanvallen omvatten ook de mogelijkheid dat een model ongeoorloofde acties onderneemt en interactie heeft met tools van derden.

Kan promptinjectie volledig worden voorkomen?

Nee, promptinjectie kan niet volledig worden voorkomen vanwege de moeilijkheid om alle kwaadaardige invoer te identificeren en het feit dat LLM’s geen deterministische, voorspelbare systemen zijn. Echter, gelaagde beveiligingsmaatregelen kunnen het risico en de impact van een succesvolle aanval verminderen.

Waarom wordt indirecte promptinjectie als gevaarlijker beschouwd?

Indirecte promptinjectie houdt in dat een aanvaller instructies injecteert in inhoud die door een LLM wordt geconsumeerd, zoals webpagina’s die worden geraadpleegd tijdens het verzamelen van context van het internet. Dit is gevaarlijker omdat een aanvaller mogelijk een agent kan beïnvloeden, zelfs als ze geen directe toegang hebben tot de gebruikersinterface.

Wat moet worden gelogd om pogingen tot promptinjectie te onderzoeken?

Logs moeten gebeurtenissen, toolaanroepen en beleidschendingen bevatten. Het loggen van ruwe prompts kan gevaarlijk zijn vanwege de mogelijkheid dat ze gevoelige gegevens bevatten, en alle logs moeten deze informatie geanonimiseerd hebben.

Wat is de eerste controle die moet worden geïmplementeerd voor een AI-assistent?

Toegang met de minste privileges is de belangrijkste controle die moet worden geïmplementeerd voor een AI-assistent. Het beperken van de toegang tot gegevens en andere tools beperkt de potentiële schade die kan worden aangericht door een succesvolle aanval.