Was ist KI-Governance?

KI-Governance ist eine Reihe von Richtlinien, Verfahren und Kontrollen, die entwickelt wurden, um die Nutzung von KI in einer Organisation und deren Exposition gegenüber damit verbundenen Risiken zu steuern. Obwohl KI eine nützliche Technologie ist, birgt sie verschiedene Risiken für das Unternehmen, wie das Potenzial für Datenverletzungen oder KI-Halluzinationen, die Geschäftsprozesse schädigen können.

Da Unternehmen zunehmend auf KI angewiesen sind, ist KI-Governance entscheidend, um die Exposition gegenüber Sicherheitsrisiken zu steuern und die Einhaltung von Vorschriften sicherzustellen. Neben Richtlinien und Verfahren erfordert ein effektives KI-Governance-Programm technische Kontrollen, um administrative Richtlinien und Verfahren durchzusetzen.

Warum ist KI-Governance für moderne Unternehmen wichtig?

Die meisten modernen Unternehmen erkunden das Potenzial von KI zur Verbesserung von Geschäftsprozessen. Mit dem Aufkommen von agentischer KI umfasst dies das Vertrauen in KI-Agenten, autonom zu operieren, mit wenig oder keiner menschlichen Aufsicht. Dies bringt erhebliche Risiken für das Unternehmen mit sich, wenn KI-Agenten Fehler machen oder Unternehmensrichtlinien verletzen.

Darüber hinaus bedeutet die wachsende Integration von KI in SaaS-Lösungen, dass Mitarbeiter unautorisierte KI-Lösungen für geschäftliche Zwecke nutzen könnten. Diese Schatten-KI schafft das Potenzial für Datenlecks und andere KI-bezogene Bedrohungen, wenn eine Organisation keine Sichtbarkeit und Kontrolle über diese Nutzung von KI hat.

KI-Governance ist entscheidend, um sicherzustellen, dass die Nutzung von KI mit den Bedürfnissen des Unternehmens, den Zielen der Unternehmenssicherheit und den Compliance-Anforderungen übereinstimmt. Unternehmen sollten KI-spezifische Richtlinien für Secure Access Service Edge (SASE), Secure Web Gateway (SWG), Data Loss Prevention (DLP), Cloud Access Security Broker (CASB) und Zero Trust Network Access (ZTNA) definieren, um diese Anforderungen durchzusetzen.

Welche Risiken hilft die KI-Governance zu mindern?

KI-Tools können verschiedene Risiken für das Unternehmen in Bezug auf Betrieb, Sicherheit und andere Faktoren einführen. Einige der bedeutendsten Bedrohungen, die ein ausgereiftes KI-Governance-Programm mindern kann, sind:

• Ungenaue Ausgaben: KI-Tools können aufgrund unvollständiger oder falscher Trainingsdaten falsche Ausgaben erzeugen oder „halluzinieren“. KI-Governance kann helfen, Halluzinationen zu identifizieren und deren Auswirkungen zu steuern.
• Datenleck: KI-Tools mit Zugang zu sensiblen Daten können diese auf verschiedene Weise unbefugten Dritten offenbaren. Datensicherheitskontrollen sind entscheidend, um die Daten zu verwalten, die für KI zugänglich sind, und was damit geschieht.
• Schatten-KI Unbefugte Nutzung von KI-Tools kann sensible Informationen außerhalb der Kontrolle des Unternehmens bewegen. Programme zur KI-Governance können helfen, die Nutzung nicht genehmigter KI-Tools zu erkennen und zu verhindern.
• Missbrauch von KI: Angreifer oder böswillige Insider mit Zugang zu KI-Tools können diese nutzen, um sensible Informationen zu sammeln oder sie zu beeinträchtigen, um dem Unternehmen Schaden zuzufügen. Die Überwachung und Kontrolle der Eingaben in KI-Systeme kann vor Eingabeinjektionen und dem Missbrauch von KI schützen.

Kernfunktionen eines KI-Governance-Programms

Ein KI-Governance-Programm ist darauf ausgelegt, die Haupt Risiken im Zusammenhang mit der Nutzung von KI durch eine Organisation zu identifizieren und anzugehen. Dies umfasst alles, von der Entscheidung, welche Daten einem KI-Modell zugeführt werden, bis hin zur Verwaltung der Nutzung von KI-gestützten Tools im Unternehmen und der Sicherstellung der Einhaltung von Datenschutzvorschriften. Die Erreichung dieser Ziele ist ein mehrstufiger, kontinuierlicher Prozess, da sich die Nutzung von KI durch eine Organisation und die damit verbundenen Risiken weiterentwickeln und ihre Richtlinien und Verfahren reifen.

Entwicklung von Richtlinien und Risikokontrollen

Die Richtlinien zur KI-Governance in Unternehmen sollten die verschiedenen Aspekte ihrer KI-Operationen regeln. Einige wichtige Richtlinien umfassen:

• Akzeptable Nutzung von KI-Tools
• Zugangssteuerungsrichtlinien für KI-Agenten
• Einschränkungen beim Umgang mit Daten und beim Teilen von Daten für KI

Diese Richtlinien werden sich wahrscheinlich im Laufe der Zeit weiterentwickeln und sollten die Regeln für interne vs. externe Tools festlegen. Zum Beispiel kann ein internes Unternehmens-LLM, das im Unternehmensnetzwerk betrieben wird, mehr Zugang zu sensiblen Informationen haben als ChatGPT und andere KI-Tools von Drittanbietern.

Überwachung und Nutzungskontrolle

Überwachung und Sichtbarkeit der Nutzung von KI sind entscheidend für die Datensicherheit und die Einhaltung von Vorschriften. Wenn KI-Systemen der Zugriff auf geschützte Informationen gestattet wird, muss die Organisation in der Lage sein zu überprüfen, dass diese Daten angemessen verwendet und gesichert werden.

Wesentliche Elemente eines KI-Überwachungsprogramms umfassen:

• Netzwerktools zur Identifizierung der Nutzung genehmigter und nicht genehmigter KI-Tools
• Sichtbarkeitstools für die Datensicherheit zur Überwachung sensibler Daten, die in KI-Tools ein- und ausgehen
• Protokollierung von KI-Sitzungen und Durchführung von Überprüfungen der KI-Interaktionen
• Berichterstattung über die gesamte KI-Nutzung und verdächtige Interaktionen

Eine kontinuierliche Überwachung ist entscheidend, um die potenziellen Sicherheitsbedrohungen, die die Nutzung von KI mit sich bringt, zu managen. Sobald ein Datenleck aufgetreten ist oder ein KI-Agent einen Fehler in einem kritischen Arbeitsablauf macht, kann es zu spät sein, um den Schaden rückgängig zu machen.

Implementierung der KI-Governance in der Praxis

Die KI-Governance wird typischerweise über einen iterativen Prozess implementiert, wobei die Organisation neue Richtlinien und Kontrollen erstellt, während das Programm reift oder die Nutzung von KI sich entwickelt. Zum Beispiel könnte eine Organisation zunächst Richtlinien definieren, die die Nutzung bestimmter KI-Tools blockieren, und diese später aktualisieren, um deren Nutzung mit bestimmten Einschränkungen zu erlauben.

Diese Richtlinien sollten durch eine Zusammenarbeit zwischen Sicherheits-, Rechts-, IT- und Compliance-Teams umgesetzt werden. Dies stellt sicher, dass die Richtlinien die verschiedenen Bedürfnisse des Unternehmens erfüllen – Schutz vor Cyberangriffen, rechtlichen Risiken und Nichteinhaltung – und gleichzeitig effektiv durchsetzbar sind. Richtlinien und Kontrollen sollten auch regelmäßig überprüft und aktualisiert werden, um ihre Wirksamkeit sicherzustellen und kontinuierliche Verbesserungen vorzunehmen.

Genehmigte und eingeschränkte KI-Tools definieren

Da KI zunehmend in SaaS-Lösungen und andere Software integriert wird, müssen Unternehmen entscheiden, welche Tools erlaubt und welche verboten sind. Diese Entscheidungen sollten auf einer Bewertung des mit dem Tool verbundenen Risikos basieren, das mit den potenziellen geschäftlichen Vorteilen, die es bietet, in Einklang gebracht wird. Wenn eine Organisation beispielsweise ein SaaS-Tool in ihrer privaten Cloud implementiert, stellt dies ein sehr unterschiedliches Risiko dar als ein ähnliches Tool, das von einem Drittanbieter verwaltet wird. Interne Tools können vertrauenswürdiger sein und Zugang zu einer breiteren Palette sensibler Daten erhalten.

Selbst nach der Genehmigung eines bestimmten Werkzeugs sollte eine Organisation den Zugriff darauf kontrollieren. Die Definition von Onboarding-Prozessen, akzeptabler Nutzung und Datenhandhabungsrichtlinien bietet die dringend benötigte Sichtbarkeit und Kontrolle für die Nutzung von KI.

Verwaltung von Datenzugriffs- und Klassifizierungsregeln

Datenlecks und Missbrauch sind ein großes Risiko, das mit der Nutzung von KI verbunden ist. Daten können versehentlich unbefugten Dritten ausgesetzt oder auf eine Weise verwendet werden, die die Daten, das Unternehmen oder seine Kunden gefährdet.

Datenklassifizierungs- und Handhabungsrichtlinien sollten auf der Sensibilität der Daten basieren. Eine Organisation kann beispielsweise die Verarbeitung der meisten personenbezogenen Daten durch KI verbieten, aber den Zugriff interner Werkzeuge auf Kundennamen und -adressen erlauben. Alle externen KI-Systeme könnten jedoch vom Zugriff auf personenbezogene Daten ausgeschlossen werden, um Risiken von Datenverletzungen und regulatorischen Nichteinhaltungen zu managen.

Was ist ein KI-Governance-Rahmenwerk?

KI-Governance-Rahmenwerke wie das NIST AI Risk Management Framework (RMF) sind darauf ausgelegt, Organisationen dabei zu helfen, Richtlinien und Kontrollen zu erstellen, um ihre KI-Risikoexposition zu verwalten. Diese Rahmenwerke decken wichtige Komponenten der KI-Governance ab – Verantwortlichkeit, Transparenz, Sicherheit und Aufsicht – und erläutern, wie Organisationen ihre Programme erstellen und weiterentwickeln können. Durch den Aufbau von Programmen mit diesen Rahmenwerken können Organisationen auch die Einhaltung von Vorschriften vereinfachen, indem sie regulatorische Anforderungen auf die Kontrollen innerhalb des Rahmens abbilden.

Wesentliche Elemente, die in gemeinsamen Rahmenwerken zu finden sind

KI-Governance-Rahmenwerke können unterschiedliche Ziele haben und eine Vielzahl von Elementen umfassen. Einige der bedeutendsten sind:

• Modell-Dokumentation: Die Modell-Dokumentation beschreibt das verwendete Modell, seine Trainingsdaten und andere Faktoren zur Unterstützung der Prüf- und Verantwortlichkeit.
• Bias Evaluation: Bias-Bewertungen versuchen, Vorurteile zu identifizieren, die in einem Modell aufgrund ihrer Präsenz in den Trainingsdaten bestehen können.
• Erklärbarkeit: Erklärbarkeit bezieht sich auf die Fähigkeit zu verstehen, wie ein KI-Modell eine Entscheidung getroffen hat, was die Erkennung von Vorurteilen und Fehlern unterstützt.
• Datenkontrollen: Datenkontrollen beschränken die Informationen, die einem KI-System zur Verfügung stehen, um den Datenschutz und die Sicherheit zu gewährleisten.
• Wirkungsanalysen: Wirkungsanalysen bestimmen die potenziellen Auswirkungen des Einsatzes eines KI-Modells auf das Unternehmen, die Kunden und die Gesellschaft, um mögliche Schäden zu managen.
• Überwachung von Modellveränderungen: Die Überwachung von Modellveränderungen dient dazu, Veränderungen in der Leistung eines Modells im Laufe der Zeit zu erkennen, basierend auf seiner Exposition gegenüber zusätzlichen Daten und kontinuierlichem Training.
• Dokumentation des Trainings: Die Dokumentation des Trainings bietet Einblicke in die Erstellung des Modells und unterstützt die Prüfung und Einhaltung von Vorschriften.
• Schlussfolgerungsverfahren: Schlussfolgerungsverfahren erklären, wie ein Modell Eingaben verarbeitet, um Ausgaben zu generieren, was nützlich ist, um die Zuverlässigkeit für den Produktionsgebrauch zu bewerten.

Wie sollten Organisationen die Optionen zur Zertifizierung der KI-Governance bewerten?

Zertifizierungen der KI-Governance validieren die Wirksamkeit der KI-Governance-Richtlinien einer Organisation. Diese Zertifizierungen können aus verschiedenen Gründen nützlich sein, wie z.B. der Einhaltung von Vorschriften oder dem Aufbau von Vertrauen bei Kunden und Partnern.

Bei der Bewertung von Zertifizierungen der KI-Governance sind folgende Schlüsselfaktoren zu berücksichtigen:

• Umfang und Häufigkeit der Prüfungen
• Grad der Strenge
• Ausrichtung an internen Richtlinien
• Ausrichtung an regulatorischen Anforderungen (DSGVO, PCI DSS usw.)

Wie die KI-Governance mit SASE-Richtlinienkontrollen übereinstimmt?

Programme zur KI-Governance haben eine begrenzte Wirksamkeit, wenn Richtlinien nicht durch technische Kontrollen durchgesetzt werden. SASE-Architekturen sind ideal geeignet für die Durchsetzung von KI-Richtlinien, da sie eine tiefgehende und umfassende Sicht auf den Netzwerkverkehr einer Organisation und die Interaktion mit SaaS-Lösungen und anderen Programmen bieten.

Rolle des SWG in der KI-Überwachung

SWGs helfen Organisationen, den Webverkehr der Nutzer zu überwachen und die Unternehmenssicherheitsrichtlinien durchzusetzen. Diese Kontrollen können erweitert werden, um die KI-Governance zu unterstützen, indem der Inhalt, der zu und von KI-Tools fließt, auf Datenexfiltration, Prompt-Injection und andere Bedrohungen untersucht wird. Diese Sichtbarkeit auf webbasierte Ressourcen bietet eine kritische Kontrolle über die zunehmende Nutzung von KI-gestützten SaaS-Tools.

Rolle von DLP bei der Verhinderung von Datenverlust

Datenverlustpräventions- (DLP-)Tools sind darauf ausgelegt, das Teilen sensibler Daten mit unbefugten Empfängern zu identifizieren und zu blockieren. Mit dem Anstieg von KI erweitert sich die Nutzung von DLP, um das Teilen sensibler Daten mit KI-Tools oder die Exfiltration durch KI-Agenten zu beschränken. Während DLP Prompt-Injection und ähnliche Risiken nicht verwalten kann, kann es deren Auswirkungen verringern, indem der Zugang zu sensiblen Daten kontrolliert wird.

Identifizierung von Shadow-AI-Tools

Shadow AI ist eine wachsende Bedrohung mit der Verbreitung von SaaS-Tools, browserbasierten Apps, unbefugten Browsererweiterungen und anderen nicht verwalteten KI-Tools. Oft fehlt es Organisationen ohne ein ausgereiftes KI-Governance-Programm an Sichtbarkeit in diese Lösungen, was sie Datenverlust und anderen Bedrohungen aussetzt. Durch die Überwachung der Nutzung unbefugter KI-Apps können Organisationen deren Nutzung gemäß den Unternehmensrichtlinien blockieren oder einschränken.

Häufig gestellte Fragen zur KI-Governance

Was ist das Ziel der KI-Governance?

Die KI-Governance dient dazu, die Risiken der Nutzung von KI für Sicherheit, Compliance und Betrieb zu steuern. Ein KI-Governance-Programm verwaltet die Nutzung von KI und die Daten, die in sie hinein- und aus ihr herausfließen, um die größten KI-Risiken für das Unternehmen zu mindern.

Was ist ein KI-Governance-Rahmenwerk?

Ein KI-Governance-Rahmenwerk ist ein Werkzeug, das Organisationen dabei hilft, ihre eigenen KI-Governance-Programme zu entwickeln, die den Sicherheits- und Compliance-Anforderungen entsprechen. Ein Beispiel ist das NIST AI Risk Management Framework (AI RMF), das bewährte Sicherheitspraktiken für das Management von KI-Systemen detailliert.

Wie reduziert die KI-Governance das Risiko von Shadow AI?

Shadow AI ist hauptsächlich ein Risiko, wenn eine Organisation keine Sichtbarkeit und Kontrolle über die unbefugte Nutzung von KI-gestützten Werkzeugen hat. Die KI-Governance ermöglicht es, unbefugte KI-Nutzung zu erkennen und Unternehmensrichtlinien für KI durchzusetzen, um die Nutzung von KI in Übereinstimmung mit den Unternehmensrichtlinien zu bringen.

Wer ist in einem Unternehmen für die KI-Governance verantwortlich?

Die Verantwortung für die KI-Governance ist in der Organisation verteilt, da KI das Unternehmen auf verschiedene Weise gefährden kann. Zum Beispiel kann KI das Risiko von Cyberangriffen, rechtlichen Klagen oder regulatorischen Nichteinhaltungen mit sich bringen. Aus diesem Grund wird die KI-Governance am besten über einen funktionsübergreifenden Rat implementiert, der die Sicherheits-, IT-, Rechts- und Compliance-Teams einbezieht und sicherstellt, dass die KI-Richtlinien und -Kontrollen den Bedürfnissen aller Teile des Unternehmens entsprechen.

Ist KI-Governance für die Einhaltung von Vorschriften erforderlich?

Obwohl Vorschriften KI-Governance möglicherweise nicht ausdrücklich verlangen, ist sie oft implizit durch Datenschutzgesetze wie die DSGVO und Vorschriften wie NIS2 erforderlich. Das liegt daran, dass KI-Tools sensible Daten dem Risiko der Offenlegung aussetzen, geschützte Daten unsachgemäß verwenden oder Ausfälle verursachen können, die die Betriebsabläufe von Kernsystemen beeinträchtigen. Programme zur KI-Governance können dazu beitragen, die Einhaltung der Anforderungen dieser Vorschriften sicherzustellen.

KI-Governance und ihre Rolle in sicheren Unternehmensabläufen

Da Unternehmen zunehmend auf KI angewiesen sind und ihr Zugang zu sensiblen Daten und kritischen Arbeitsabläufen gewährt wird, ist KI-Governance unerlässlich. Die frühzeitige Definition und Durchsetzung von Richtlinien zur KI-Governance hilft Organisationen, das Risiko kostspieliger Vorfälle zu reduzieren und ein Programm zu implementieren, das im Laufe der Zeit skalierbar und reif werden kann.

Bei der Erstellung einer kritischen KI-Governance ist es wichtig sicherzustellen, dass Richtlinien und Verfahren durch technische Kontrollen unterstützt und durchgesetzt werden. Andernfalls könnten Shadow AI und Angreifer in der Lage sein, Richtlinien zu verletzen oder zu umgehen, um ihre Ziele auf Kosten der Sicherheit und der regulatorischen Compliance der Organisation zu erreichen.

SASE-Lösungen sind dafür ideal geeignet, da SWG-, DLP- und Sichtbarkeitskontrollen der Angriffsoberfläche auch auf KI-Bedrohungen und -Lösungen ausgeweitet werden können. Die Bereitstellung dieser Funktionen als Teil einer integrierten Sicherheitsplattform mit tiefem Einblick in den gesamten WAN-Verkehr hilft auch, Sichtbarkeitslücken zu schließen und das Management zu vereinfachen.