Prompt-Injection-Angriffe verwenden b\u00f6sartige, gestaltete Anfragen, um ein LLM dazu zu bringen, eine unerw\u00fcnschte Aktion auszuf\u00fchren. Ein Angreifer k\u00f6nnte beispielsweise das GenAI-System \u00fcberzeugen, Sicherheitsvorkehrungen oder Unternehmensrichtlinien zu ignorieren und nicht genehmigte Arten von Inhalten zu generieren.<\/p>\n\n\n\n
Mit der weit verbreiteten Integration von GenAI und KI-Agenten in Unternehmensabl\u00e4ufe stellen Prompt-Injection-Angriffe ein erhebliches Risiko f\u00fcr die Zuverl\u00e4ssigkeit und Sicherheit von Dienstleistungen dar. Angreifer k\u00f6nnen Agenten dazu bringen, Aktionen auszuf\u00fchren, die zu Datenverletzungen, Malware-Infektionen oder anderen Sicherheitsvorf\u00e4llen f\u00fchren.<\/p>\n\n\n\n
LLMs haben in der Regel Anweisungen und Sicherheitsvorkehrungen, um zu steuern, wie sie arbeiten. LLM-Ersteller integrieren bestimmte Sicherheitsma\u00dfnahmen, und Unternehmen f\u00fcgen ihre eigenen Anweisungen hinzu, w\u00e4hrend sie Werkzeuge konfigurieren, um verschiedene Aufgaben in ihren Umgebungen auszuf\u00fchren.<\/p>\n\n\n\n
Prompt-Injection-Angriffe verwenden sorgf\u00e4ltig gestaltete Eingaben, die darauf ausgelegt sind, diese Sicherheitsvorkehrungen zu umgehen und etwas zu tun, das dem Angreifer zugutekommt, wie das Stehlen sensibler Daten, das Produzieren von gegen Richtlinien versto\u00dfenden Ausgaben oder das Ausl\u00f6sen von Aktionen in verbundenen Werkzeugen. Diese Eingaben k\u00f6nnten direkt an das Werkzeug \u00fcbergeben oder in andere Inhalte eingebettet werden, die es konsumiert, wie RAG-abgerufene Dokumente oder Webseiten, die ein Agent besucht.<\/p>\n\n\n\n
Direkte Prompt-Injection beinhaltet, dass der Angreifer direkt mit dem Agenten interagiert. Ein Angreifer k\u00f6nnte beispielsweise Eingabeaufforderungen in einen LLM-Chatbot eingeben. Diese b\u00f6sartigen Eingabeaufforderungen k\u00f6nnen verschiedenen Mustern folgen, wie:<\/p>\n\n\n\n
Das Ziel dieser Anweisungen besteht darin, dass die Eingabeaufforderung des Angreifers Vorrang vor den LLM-Schutzma\u00dfnahmen erh\u00e4lt, entweder durch Ausnutzung einer Schwachstelle oder durch die Wahrnehmung als wichtiger durch das LLM. Wenn dies erfolgreich ist, kann das LLM unerlaubte Inhalte generieren, versteckte Anweisungen preisgeben, unsichere Empfehlungen geben oder Aktionen an das falsche Werkzeug oder den falschen Benutzer umleiten.<\/p>\n\n\n\n
Indirekte Eingabeaufforderungsinjektionsangriffe f\u00fcgen b\u00f6sartige Anweisungen in den Inhalt ein, den ein Modell konsumiert, anstatt direkte Anweisungen zu geben. Diese k\u00f6nnten Folgendes umfassen:<\/p>\n\n\n\n
Diese Bedrohungen sind bedeutender, wenn ein LLM auf externe Inhalte zugreift, entweder \u00fcber ein RAG oder durch das Durchsuchen des Internets nach potenziellen Antworten, da die abgerufenen Daten vom LLM als Kontext behandelt werden. B\u00f6sartige Anweisungen k\u00f6nnen buchst\u00e4blich im Inhalt verborgen sein, zum Beispiel durch die Verwendung von wei\u00dfem Text, um Anweisungen f\u00fcr menschliche Leser unsichtbar zu machen, oder durch die Verwendung von harmlos aussehendem Text, den ein Modell als Anweisungen interpretiert.<\/p>\n\n\n\n
Eingabeaufforderungsinjektionsangriffe k\u00f6nnen durchgef\u00fchrt werden, um verschiedene Ziele zu erreichen. Zwei der Haupttypen von Angriffen versuchen, auf sensible Informationen \u00fcber die Systemaufforderung zuzugreifen oder die Nutzung von Werkzeugen durch eine KI zu manipulieren, um sensible Informationen zu sammeln oder sch\u00e4dliche Aktionen durchzuf\u00fchren.<\/p>\n\n\n\n
Einige Angriffe sind darauf ausgelegt, auf die Systemaufforderung zuzugreifen, die sensible Daten enthalten kann, wie versteckte Systemanweisungen, Richtlinien oder Geheimnisse. Diese Informationen k\u00f6nnen f\u00fcr einen Angreifer n\u00fctzlich sein, da sie es ihm erm\u00f6glichen, nachfolgende Angriffe zu gestalten, die diese Abwehrma\u00dfnahmen umgehen.<\/p>\n\n\n\n
Das Potenzial f\u00fcr die Offenlegung von Eingabeaufforderungen bedeutet, dass Geheimnisse niemals in Eingabeaufforderungen eingebettet werden sollten. Sicherheitsleitlinien wie „Keine Offenlegung“-Anweisungen k\u00f6nnen von einem Angreifer umgangen oder \u00fcberwunden werden.<\/p>\n\n\n\n
KI-Tools k\u00f6nnen m\u00f6glicherweise Funktionen oder APIs aufrufen, im Internet surfen oder Arbeitsabl\u00e4ufe ausl\u00f6sen. Eine sorgf\u00e4ltig gestaltete Eingabeaufforderung kann es einem Angreifer erm\u00f6glichen, festzulegen, welche Werkzeuge ausgew\u00e4hlt werden, die gesendeten Parameter und die Reihenfolge, in der Aktionen aufgerufen werden.<\/p>\n\n\n\n
Dies birgt das Risiko, dass ein Angreifer auf sensible Daten zugreifen kann, wenn er Anfragen an Ticketing-Systeme, CRM, Dokumentenspeicher, Code-Repositories oder Cloud-Konsolen stellt. Um dieses Risiko zu managen, sollten Organisationen Zugriffssteuerungen mit minimalen Rechten und Genehmigungsschritte mit menschlicher Beteiligung f\u00fcr hochwirksame Aktionen implementieren, insbesondere f\u00fcr KI-Agenten, die ohne menschliche Aufsicht arbeiten.<\/p>\n\n\n\n
Eingabeaufforderungsinjektionsangriffe k\u00f6nnen \u00fcberall dort auftreten, wo eine Organisation GenAI verwendet. H\u00e4ufige Beispiele sind:<\/p>\n\n\n\n
Selbst wenn Benutzer nicht direkt mit diesen Tools interagieren, bleibt die Eingabeaufforderungsinjektion ein Risiko. Tools k\u00f6nnen auf Webinhalte, Anh\u00e4nge, eingef\u00fcgte Protokolle, Kommentare von Drittanbietern zu SaaS und andere nicht vertrauensw\u00fcrdige Eingaben zugreifen, die b\u00f6sartige Anweisungen enthalten k\u00f6nnten.<\/p>\n\n\n\n
Chatbots und kundenorientierte Agenten akzeptieren Freitext von unbekannten Nutzern. Erfolgreiche Angriffe durch Eingabeinjektion k\u00f6nnten das Manipulieren von Ausgaben beinhalten, um Kunden irrezuf\u00fchren, sowie potenzielle Datenexposition, wenn der Bot Zugriff auf das CRM oder die Bestellsysteme hat.<\/p>\n\n\n\n
Um diese Risiken zu managen, sollten Organisationen strenge Datenrichtlinien implementieren, sensible Daten, wenn m\u00f6glich, schw\u00e4rzen und vorgefertigte Antworten f\u00fcr sensible Anfragen festlegen. Zus\u00e4tzlich sollten diese Werkzeuge auf Anzeichen potenziellen Missbrauchs \u00fcberwacht werden, einschlie\u00dflich Anforderungsraten, Wiederholungen und \u00c4hnlichkeiten bei den Payloads.<\/p>\n\n\n\n
RAG und \u201eFragen Sie Ihre Wissensdatenbank\u201c-Assistenten haben die F\u00e4higkeit, auf Dokumente und andere Inhalte zuzugreifen, die m\u00f6glicherweise \u00fcber die Unternehmensrichtlinien hinausgehen, als Teil des Kontexts des LLM. Infolgedessen kann b\u00f6sartiger Inhalt, der in Webseiten und anderen Ressourcen eingebettet ist, einem Angreifer erm\u00f6glichen, die Sicherheitsvorkehrungen zu umgehen.<\/p>\n\n\n\n
Organisationen k\u00f6nnen diese Risiken mindern, indem sie Inhaltskennzeichnungen, Abruf-Whitelist und die Aufteilung von Eingaben implementieren. Zus\u00e4tzlich begrenzen Zugriffsrechte nach dem Prinzip der geringsten Privilegien die Daten, auf die diese Werkzeuge zugreifen k\u00f6nnen, und reduzieren die potenziellen Auswirkungen eines Angriffs.<\/p>\n\n\n\n
Angriffe durch Eingabeinjektion k\u00f6nnen KI-gest\u00fctzte Werkzeuge dazu bringen, den W\u00fcnschen des Angreifers nachzukommen. Dies kann erhebliche Bedrohungen f\u00fcr Vertraulichkeit, Integrit\u00e4t und Verf\u00fcgbarkeit einf\u00fchren, aufgrund des Potenzials f\u00fcr Datenverletzungen, manipulierte Ausgaben und korrupte Arbeitsabl\u00e4ufe.<\/p>\n\n\n\n
Ein erfolgreicher Angriff durch Eingabeinjektion kann schwer zu untersuchen sein, da legitime Werkzeuge verwendet werden und die Sichtbarkeit in diese Werkzeuge begrenzt ist. Dies stellt auch ein erhebliches Risiko f\u00fcr die Einhaltung von Vorschriften dar, wenn Organisationen nicht \u00fcber die Daten verf\u00fcgen, um nachzuweisen, was passiert ist und den Umfang des Vorfalls zu bestimmen.<\/p>\n\n\n\n
Angriffe durch Eingabeinjektion k\u00f6nnen eine Vielzahl unterschiedlicher Auswirkungen auf das Unternehmen haben, einschlie\u00dflich:<\/p>\n\n\n\n
Die Erkennung von Prompt-Injection erfordert die Analyse von LLM-Eingaben, -Ausgaben und -Verhalten, um Anomalien oder Verst\u00f6\u00dfe gegen Unternehmensrichtlinien zu identifizieren. Dazu sollten Organisationen Eingaben, Antworten und Toolaufrufe zur \u00dcberwachung protokollieren. Die Analyse sollte nach Anomalien, Richtlinienverst\u00f6\u00dfen und wiederholten Payload-Mustern suchen.<\/p>\n\n\n\n
Eingaben, Kontext und Toolaufrufe k\u00f6nnen Indikatoren f\u00fcr Prompt-Injection-Angriffe enthalten. Worauf man achten sollte, sind:<\/p>\n\n\n\n
Prompt-Injection-Angriffe erfordern eine tiefgehende Verteidigung, da Angreifer b\u00f6sartige Eingaben erstellen k\u00f6nnen, um einfache Textsuchen und Mustererkennung zu umgehen. Ein mehrschichtiges Minderungskonzept sollte Folgendes umfassen:<\/p>\n\n\n\n
Das Ziel dieser Ma\u00dfnahmen ist es, die Auswirkungen und die H\u00e4ufigkeit von Angriffen zu verringern. Die Natur von LLMs bedeutet, dass es unm\u00f6glich ist, vollst\u00e4ndig zu garantieren, dass Angriffe niemals erfolgreich sein werden.<\/p>\n\n\n\n
Ma\u00dfnahmen zur Minderung von Eingabeaufforderungsinjektionen sollten sich darauf konzentrieren, den potenziellen Explosionsradius einer erfolgreichen Injektion zu verwalten. Best Practices umfassen:<\/p>\n\n\n\n
Zus\u00e4tzlich zur Begrenzung des Explosionsradius von Angriffen k\u00f6nnen Organisationen auch Sicherheitsvorkehrungen implementieren, die das Risiko zur Laufzeit verwalten. Best Practices umfassen:<\/p>\n\n\n\n
Die Schwachstellen der Eingabeaufforderungsinjektion sollten regelm\u00e4\u00dfig getestet werden, da kleine \u00c4nderungen an Eingabeaufforderungen, Werkzeugen, Modellen und Datenquellen Risiken wieder einf\u00fchren k\u00f6nnen. Ein KI-Rotteam verwendet gegnerische Eingabeaufforderungen, um das Verhalten von Modellen und Anwendungen auf strukturierte und wiederholbare Weise zu bewerten. Einige der wichtigsten Punkte, die getestet werden sollten, sind:<\/p>\n\n\n\n
Tests sollten regelm\u00e4\u00dfig durchgef\u00fchrt werden, insbesondere nach der Bereitstellung neuer Agenten, Werkzeuge oder Verbindungen. Der Erfolg eines Testprogramms kann anhand der Erfolgsquote, Schwere, Erkennungsabdeckung, Zeit bis zur Erkennung und Zeit bis zur Eind\u00e4mmung bewertet werden.<\/p>\n\n\n\n
Eine Testreihe f\u00fcr Prompt-Injection kann sicherstellen, dass eine Organisation die wichtigsten Risiken der Prompt-Injection f\u00fcr ihre Systeme angemessen adressiert. Best Practices umfassen:<\/p>\n\n\n\n
Prompt-Injection ist ein wachsendes Risiko f\u00fcr die Cybersicherheit von Unternehmen, da Firmen zunehmend auf KI-Tools angewiesen sind, die m\u00f6glicherweise dazu verleitet werden k\u00f6nnen, b\u00f6swillige Aktionen auszuf\u00fchren. Die Sicherheit bei der Prompt-Injection umfasst die Einschr\u00e4nkung von Eingaben, Kontext, Aktionen und Ausgaben, um die Wahrscheinlichkeit eines Angriffs und dessen potenzielle Auswirkungen auf das Unternehmen zu verringern. Organisationen sollten:<\/p>\n\n\n\n
Das Risiko der Prompt-Injection vollst\u00e4ndig zu beseitigen, ist unm\u00f6glich. Organisationen k\u00f6nnen jedoch die Wahrscheinlichkeit und den Wirkungsbereich eines erfolgreichen Angriffs verringern.<\/p>\n\n\n\n
Jailbreaking ist eine besondere Art von Prompt-Injection-Angriff, der darauf abzielt, ein Modell dazu zu bringen, verbotene und sch\u00e4dliche Ausgaben zu erzeugen. Prompt-Injection-Angriffe beinhalten auch das Potenzial, dass ein Modell unautorisierte Aktionen ausf\u00fchrt und mit Drittanbieter-Tools interagiert.<\/p>\n\n\n\n
Nein, Prompt-Injection kann nicht vollst\u00e4ndig verhindert werden, da es schwierig ist, alle b\u00f6sartigen Eingaben zu identifizieren und da LLMs keine deterministischen, vorhersehbaren Systeme sind. Allerdings k\u00f6nnen mehrschichtige Sicherheitskontrollen das Risiko und den Schadensradius eines erfolgreichen Angriffs verringern.<\/p>\n\n\n\n
Indirekte Prompt-Injection beinhaltet, dass ein Angreifer Anweisungen in Inhalte injiziert, die von einem LLM konsumiert werden, wie beispielsweise Webseiten, die beim Sammeln von Kontext aus dem Internet aufgerufen werden. Dies ist gef\u00e4hrlicher, da ein Angreifer m\u00f6glicherweise einen Agenten beeinflussen kann, selbst wenn er nicht direkt auf dessen Benutzeroberfl\u00e4che zugreifen kann.<\/p>\n\n\n\n
Protokolle sollten Ereignisse, Toolaufrufe und Verst\u00f6\u00dfe gegen Richtlinien enthalten. Das Protokollieren von Roh-Prompts kann gef\u00e4hrlich sein, da sie m\u00f6glicherweise sensible Daten enthalten, und alle Protokolle sollten diese Informationen geschw\u00e4rzt haben.<\/p>\n\n\n\n
Der Zugriff mit minimalen Rechten ist die wichtigste Kontrolle, die f\u00fcr einen KI-Assistenten implementiert werden sollte. Die Einschr\u00e4nkung des Zugriffs auf Daten und andere Tools begrenzt den potenziellen Schaden, der durch einen erfolgreichen Angriff angerichtet werden kann.<\/p>\n\n","protected":false},"excerpt":{"rendered":"
Prompt-Injection-Angriffe verwenden b\u00f6sartige, gestaltete Anfragen, um ein LLM dazu zu bringen, eine unerw\u00fcnschte Aktion auszuf\u00fchren. Ein Angreifer k\u00f6nnte beispielsweise das GenAI-System \u00fcberzeugen, Sicherheitsvorkehrungen oder Unternehmensrichtlinien zu ignorieren und nicht genehmigte Arten von Inhalten zu generieren. Mit der weit verbreiteten Integration von GenAI und KI-Agenten in Unternehmensabl\u00e4ufe stellen Prompt-Injection-Angriffe ein erhebliches Risiko f\u00fcr die Zuverl\u00e4ssigkeit und…<\/p>\n","protected":false},"author":193,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false},"glossary-topic":[1220],"coauthors":[1180],"class_list":["post-157082","glossary","type-glossary","status-publish","hentry","glossary-topic-uncategorized"],"acf":[],"yoast_head":"\n