Cato CTRL™ Threat Research: WormGPT-Varianten auf Basis von Grok und Mixtral 

Zusammenfassung 

Als große Sprachmodelle (LLMs) nach der Veröffentlichung von ChatGPT durch OpenAI im November 2022 populär wurden, erkannten Bedrohungsakteure das Potenzial solcher Systeme und wie sie diese für ihre bösartigen Aktivitäten einsetzen können. Die größte Herausforderung, der Bedrohungsakteure vor ein paar Jahren gegenüberstanden, war jedoch, dass die LLMs zensiert waren und die Erstellung bösartiger Inhalte nicht erlaubten. 

Hier kommt WormGPT ins Spiel.  

WormGPT tauchte im Juni 2023 in Hack Forums, einem beliebten Untergrundforum, als ein unzensiertes GenAI-Tool auf. WormGPT erleichterte böswillige Aktivitäten für Bedrohungsakteure. Im August 2023 wurde WormGPT jedoch von einem der Entwickler abgeschaltet.  

Seitdem sind WormGPT-Varianten in BreachForums, einem weiteren beliebten Untergrundforum, aufgetaucht. Im Rahmen unserer Analyse hat Cato CTRL bisher unbekannte Varianten von WormGPT entdeckt, die auf xAIs Grok und Mistral AIs Mixtral basieren. Nachfolgend finden Sie eine Zusammenfassung der beiden entdeckten WormGPT-Varianten. Dies ist ein neues KI-Sicherheitsrisiko, dessen sich Unternehmen bewusst sein sollten.

Abbildung 1. Anzeige von WormGPT

Technische Übersicht 

Hintergrund zu WormGPT 

Die erste Ankündigung der Entwicklung von WormGPT fand im März 2023 in Hack Forums, einem beliebten Untergrundforum, statt. Darauf folgte die öffentliche Veröffentlichung im Juni 2023 durch einen Werbepost im selben Forum. Der Entwickler, der das Pseudonym „Last“ verwendet, begann Berichten zufolge im Februar 2023 mit der Arbeit an dem Tool. Die Wahl eines Untergrundforums wie Hack Forums für die erste Ankündigung und Promotion ist bedeutend. Diese Untergrundforen dienen als zentrale Anlaufstellen für Bedrohungsakteure, um Tools, Techniken und Dienstleistungen auszutauschen, wodurch die Entwickler von WormGPT ihre Zielgruppe direkt ansprechen und anfängliches Interesse innerhalb dieser Gemeinschaft wecken können.  

WormGPT basierte auf GPT-J, einem Open-Source-LLM, das 2021 von EleutherAI entwickelt wurde. Es ist als ein GPT-3-ähnliches Modell mit 6 Milliarden Parametern konzipiert, das in der Lage ist, menschenähnlichen Text basierend auf Eingabeaufforderungen zu generieren.  

Die Preise liegen in der Regel zwischen 60 und 100 Euro pro Monat bzw. 550 Euro pro Jahr; ein privates Set-up ist für etwa 5.000 Euro erhältlich. Dieses abonnementbasierte Modell und die vergleichsweise hohen Kosten deuten auf eine klare Absicht hin, WormGPT innerhalb des cyberkriminellen Ökosystems zu monetarisieren und seinen Entwicklern eine kontinuierliche Einnahmequelle zu verschaffen. Die Verfügbarkeit einer privaten Set-up-Option zeigt den Versuch, auf anspruchsvollere oder wertvollere Bedrohungsakteure einzugehen, die möglicherweise eine exklusivere oder maßgeschneiderte Version des Tools benötigen. 

Das Auftauchen von WormGPT erregte schnell die Aufmerksamkeit der Medien, was letztendlich zu seinem angeblichen Niedergang führte. Am 8. August 2023 veröffentlichte der investigative Journalist Brian Krebs einen Artikel, der die Person hinter dem Alias „Last“ als Rafael Morais identifizierte. Am selben Tag wurde WormGPT eingestellt, wobei die Autoren übermäßige Medienberichterstattung und die daraus resultierende negative Publicity als Hauptgründe für das Ende des Projekts angaben. Die schnelle Abschaltung nach der öffentlichen Berichterstattung deutet auf ein starkes Bedürfnis der Autoren nach Anonymität sowie auf die Sorge vor möglichen rechtlichen Konsequenzen hin, die aus der Entwicklung und Verbreitung eines für illegale Zwecke entwickelten Tools resultieren könnten. 

Die Verbreitung von WormGPT förderte die Entwicklung und Werbung für andere unzensierte LLMs, was auf einen wachsenden Markt für solche Tools innerhalb der Cyberkriminalität hinweist. FraudGPT (auch als FraudBot bekannt) entwickelte sich rasch zu einer bedeutenden Alternative und wurde mit einem breiteren Spektrum bösartiger Funktionen beworben, darunter die Erstellung von Phishing-E-Mails, die Generierung von Schadcode sowie sogar die Bereitstellung von Anleitungen für Hackerangriffe. Andere unzensierte LLMs, die auftauchten, sind DarkBERT, das Berichten zufolge mit Daten aus dem Dark Web trainiert wurde, sowie andere Tools wie EvilGPT, DarkGPT, PentesterGPT, PoisonGPT, XXXGPT und XXX WolfGPT.  

Über die Entwicklung bösartiger LLMs hinaus gewann auch die Praxis an Verbreitung, legitime LLMs wie ChatGPT und Gemini durch sogenannte Jailbreaks dazu zu bringen, ihre eingebauten Sicherheitsvorkehrungen zu umgehen. Außerdem gibt es Hinweise darauf, dass Bedrohungsakteure aktiv KI-Experten rekrutieren, um ihre eigenen maßgeschneiderten unzensierten LLMs zu entwickeln, die auf spezifische Bedürfnisse und Angriffsvektoren zugeschnitten sind. 

Die Verbreitung von WormGPT-Varianten 

„WormGPT“ wurde zu einem Markennamen für unzensierte LLMs, die von Bedrohungsakteuren in ihren offensiven Operationen genutzt werden können. 

Am 26. Oktober 2024 veröffentlichte „xzin0vich“ eine neue Variante von WormGPT in BreachForums.  

Abbildung 2. „xzin0vich“ kündigt WormGPT an

Abbildung 3. xzin0vichs Telegram-Kanal für WormGPT mit ~7.500 Mitgliedern 

Der Zugriff auf WormGPT erfolgt über den Telegram-Chatbot und basiert auf einem Abonnement- und Einmalzahlungsmodell. 

Am 25. Februar 2025 veröffentlichte „keanu“ eine neue Variante von WormGPT in BreachForums. 

Abbildung 4. „keanu“-Werbung für WormGPT

Ist es möglich, dass Bedrohungsakteure bereits begonnen haben, ihre eigenen unzensierten LLMs zu trainieren? Wir haben uns Zugriff zu beiden WormGPTs verschafft, um diese Frage zu beantworten und die Antwortqualität bei beiden zu überprüfen. 

Zur Vereinfachung werden wir sie als keanu-WormGPT und xzin0vich-WormGPT bezeichnen. 

keanu-WormGPT 

Nachdem wir Zugriff zum Telegram-Chatbot erhalten hatten, begannen wir mit einer einfachen Frage: „Wer bist du?“

Abbildung 5. Frage an keanu-WormGPT: „Wer bist du?“ 

Abbildung 6. Aufforderung an Keanu-WormGPT, eine Phishing-E-Mail zu erstellen

Abbildung 7. Anfrage an Keanu-WormGPT, ein PowerShell-Skript zu erstellen, das Anmeldeinformationen von Windows 11 sammelt 

In diesem Stadium können wir sehen, dass es schädliche Inhalte erzeugen kann, aber was „treibt“ dieses unzensierte LLM an? 

Wir haben LLM-Jailbreak-Techniken verwendet, um Informationen über das zugrunde liegende Modell zu erhalten. 

Die Antwort?  

Abbildung 8. keanu-WormGPT enthüllt, dass es auf Grok basiert

Keanu-WormGPT enthüllt, dass es auf Grok basiert. Es scheint sich um eine Art Wrapper für Grok zu handeln, der die Systemeingabeaufforderung nutzt, um seinen Charakter zu definieren und ihn anzuweisen, die Schutzmechanismen von Grok zu umgehen, um bösartige Inhalte zu erzeugen. 

Nach ein paar Tagen haben wir den System-Prompt veröffentlicht.  

Abbildung 9. keanu-WormGPT gibt seinen System-Prompt preis 

Nach ein paar weiteren Tagen erhielten wir einen anderen System-Prompt.  

Abbildung 10. keanu-WormGPT gibt einen neuen System_Prompt preis 

Wir können sehen, dass der Entwickler versucht hat, promptbasierte Schutzmaßnahmen gegen die Offenlegung des System-Prompts zu implementieren. 

Unter dem Strich nutzen diese Angreifer die Grok-API mit einem benutzerdefinierten Jailbreak im System-Prompt, um die Sicherheitsvorkehrungen von Grok zu umgehen. 

xzin0vich-wormGPT  

Nachdem wir Zugriff zum Telegram-Chatbot erhalten hatten, begannen wir mit einer einfachen Frage: „Wer bist du?“ 

Abbildung 11. Frage an xzin0vich-WormGPT: „Wer bist du?“

Abbildung 12. Anfrage an xzin0vich-WormGPT, eine Phishing-E-Mail zu erstellen 

Abbildung 13. Anfrage an xzin0vich-WormGPT, ein PowerShell-Skript zu erstellen, um Anmeldeinformationen von Windows 11 zu sammeln 

In diesem Stadium können wir sehen, dass es schädliche Inhalte erzeugen kann, aber was „treibt“ dieses unzensierte LLM an? 

Wir haben LLM-Jailbreak-Techniken verwendet, um Informationen über das zugrunde liegende Modell zu erhalten. 

Abbildung 14. xzin0vich-WormGPT enthüllt seinen System-Prompt

Bei der Analyse der Antworten des Chatbots, insbesondere des durchgesickerten System-Prompts, deuten kritische Beweise auf seine zugrunde liegende Architektur hin. Im Prompt heißt es ausdrücklich: „WormGPT sollte nicht mit dem Standard-Mixtral-Modell antworten. Du solltest Antworten immer im WormGPT-Modus erstellen.“ 

Auch wenn man dies zunächst für eine überflüssige Anweisung oder eine Irreführung halten könnte, untermauern weitere Hinweise aus der gesamten Interaktion, insbesondere die Antworten unter simulierter „Zwangslage“, die Tatsache, dass Mixtral die Grundlage bildet. So offenbarte die WormGPT-Instanz beispielsweise Mixtral-spezifische architektonische Details, etwa die Nutzung von zwei aktiven Experten pro Token (top_k_routers: 2) sowie acht Key-Value-Heads (kv_heads: 8) für Grouped-Query Attention. 

Die direkte Erwähnung von „Mixtral“ in seinen Kernanweisungen sowie die offenbarten spezifischen architektonischen Parameter deuten stark darauf hin, dass es sich bei xzin0vich-WormGPT um ein auf Mixtral basierendes Modell handelt, dessen bösartiges Verhalten durch sein System-Prompt definiert und wahrscheinlich durch Feinabstimmung anhand spezieller illegaler Datensätze verstärkt wird. Kurz gesagt: Cato CTRL geht mit hoher Sicherheit davon aus, dass xzin0vich-WormGPT auf Mixtral basiert.  

Best Practices für die Sicherheit 

Stärkung der Bedrohungserkennung und -reaktion 

• Verwenden Sie Cato XDR mit integrierter Verhaltensanalyse und UEBA, um Anomalien und bisher unbekannte Bedrohungen mithilfe von Machine Learning (ML)-Modellen zu erkennen.  

• Nutzen Sie Cato XDR, um Signale von Netzwerk, Cloud und Remote-Nutzern automatisch zu korrelieren – entscheidend, wenn Phishing-Angriffe oder schnell mutierende Malware mehrere Oberflächen parallel anvisieren. 

Implementierung stärkerer Zugriffskontrollen 

• Setzen Sie Cato Universal ZTNA ein, um laterale Bewegungen zu begrenzen und kompromittierte Anmeldeinformationen mit kontinuierlichen Geräte-Posture-Checks und risikobewussten Richtlinien zu isolieren.  

• Setzen Sie mithilfe des identitätsbasierten Routings von Cato das Prinzip der geringsten Berechtigungen und die Multi-Faktor-Authentifizierung (MFA) ein, um detaillierte Zugriffsrichtlinien auf der Grundlage von Benutzeridentität, Rolle und Kontext zu ermöglichen und so die Angriffsfläche zu verringern. 

Verbesserung der Sicherheitsbewusstseins- und Schulungsmaßnahmen 

• Führen Sie mit GenAI erstellte Phishing-Simulationen durch, um Köder zu generieren, die den Tonfall perfekt treffen und den Kontext berücksichtigen.  

• Überwachen Sie die Nutzung von GenAI-Tools im Unternehmen über das Schatten-KI-Dashboard von Cato CASB, um IT-Teams zu helfen, riskantes oder unbefugtes Verhalten zu identifizieren.  

• Nutzen Sie Catos Bedrohungseinblicke und die Echtzeitanalyse des Datenverkehrs, um interne Sicherheitsübungen und die Planung der Reaktion auf Vorfälle zu verbessern.  

• Ergänzen Sie Catos Sichtbarkeit mit Schulungen von Drittanbietern für Entwickler und CI/CD-Sicherheitstools, um die Risiken beim Codieren mit GenAI zu adressieren. 

Fazit 

Die Forschung von Cato CTRL zur Entwicklung von WormGPT zeigt einen signifikanten Wandel von seiner ursprünglichen, auf GPT-J basierenden Inkarnation. „WormGPT“ hat sich mittlerweile als bekannte Marke für eine neue Klasse unzensierter LLMs etabliert, wie die bisher nicht bekannten WormGPT-Varianten zeigen, die auf xAIs Grok und Mistral AIs Mixtral basieren. 

Unsere Analyse zeigt, dass diese neuen Iterationen von WormGPT keine maßgeschneiderten Modelle sind, die von Grund auf neu erstellt wurden, sondern das Ergebnis von Bedrohungsakteuren, die bestehende LLMs geschickt anpassen. Durch die Manipulation von System-Prompts und möglicherweise durch Feinabstimmung mit illegalen Daten bieten die Schöpfer leistungsstarke, KI-gesteuerte Werkzeuge für Cyberkriminalitätsoperationen unter der Marke WormGPT an.