KI-Modelle kennen keine Unternehmensrollen
Sprachmodelle (LLMs) liefern semantisch plausible Antworten. Ihr Ziel ist es, Wissen sprachlich stimmig zusammenzuführen und möglichst hilfreich zurückzugeben. Sie kennen dabei jedoch weder vertrauliche Informationen noch organisatorische Rollen oder Grenzen. Genau dort tun sich für den Unternehmenseinsatz Lücken auf. Wo Sprachmodelle auf Unternehmensdaten treffen, wird Governance zur Voraussetzung.
Hohe Erwartungen an KI
Die Erwartungen an KI sind entsprechend hoch: schnelleres Arbeiten, besserer Zugang zu Wissen, mehr Entlastung im Alltag und fundiertere Entscheidungen für Mitarbeiter und Kunden. Das funktioniert besonders gut in Umgebungen, in denen Informationen breit zugänglich sein sollen, beispielsweise beim Support. Im Unternehmen endet diese Offenheit jedoch dort, wo unterschiedliche Rollen auf sensible Daten treffen.
Informationssicherheit
In klassischen Unternehmenssystemen ist diese Trennung selbstverständlich. CRM-, ERP- oder HR-Systeme bilden Rollen, Berechtigungen und Mandantenfähigkeit in der Regel von Haus aus ab. Sie unterscheiden also technisch, welche Person welche Daten sehen, bearbeiten oder auswerten darf und welche nicht.
Genau diese Trennung fehlt einem Sprachmodell zunächst. Es kennt semantische Zusammenhänge, aber keine eingebaute Unternehmenslogik für Zuständigkeiten, vertrauliche oder geheime Daten und Mandantengrenzen.
Key takeaways
- LLMs erzeugen plausible Antworten, aber keine unternehmerische Governance.
- Ein Modell weiß nicht aus sich heraus, welche Informationen für welche Rolle bestimmt sind.
- Klassische Unternehmensgrenzen wie Rollen, Berechtigungen und Mandantentrennung müssen außerhalb des Modells durchgesetzt werden.
- Sensible Daten werden oft über den Kontext in die AI-Umgebung gebracht und können dort zum Sicherheitsrisiko werden.
- Eingebaute Sicherheitsfunktionen in AI-Werkzeugen helfen, ersetzen aber keine belastbare Governance.
- Wer sensible Unternehmensdaten mit KI nutzt, muss Zugriff, Kontext und Systemarchitektur bewusst absichern.
Kann ein Modell Governance nicht lernen?
Naheliegend ist deshalb die Frage, ob ein Sprachmodell Governance nicht einfach lernen kann. Semantisch kann ein Modell durchaus einordnen, was Marketing, Finanzen, HR, Projekte oder Geschäftsführung sind. Für belastbare Governance reicht das jedoch nicht aus.
Dafür wären zunächst zwei Voraussetzungen nötig: Erstens müsste das Modell sicher wissen, wer der konkrete Nutzer ist. Zweitens müsste es auf dieser Basis zuverlässig entscheiden können, welche Informationen zugänglich sind und welche nicht. Genau an beiden Punkten stoßen LLMs an Grenzen.
Das LLM ist historisch aus der Sprachverarbeitung entstanden, nicht aus der Sicherheitsarchitektur. Es kann Semantik liefern, aber keine belastbare Authentifizierung. Und es kann Autorisierung sprachlich nachvollziehen, aber nicht verlässlich garantieren, weil Autorisierung deterministische Regelprüfung verlangt und kein semantisches Wahrscheinlichkeitsproblem ist.
Wir erkennen daraus zwei Dinge: Zum einen ist es gefährlich, sich auf Sprachmodelle zu verlassen, wenn es darum geht, Governance im Unternehmen durchzusetzen. Wer Chat-Bots und AI-Agenten blind mit vertraulichen Informationen füttert oder ihnen Zugang zu kritischen Systemen gewährt, handelt verantwortungslos. Zum anderen ist beim Einsatz von KI im Unternehmenskontext Kompetenz gefragt: Systeme müssen danach beurteilt werden, wie sie mit vertraulichen Daten umgehen.
Wer beim Einsatz von KI-Werkzeugen Governance ignoriert, handelt verantwortungslos.
Woher ein LLM seine Informationen bezieht
Ein Blick hinter die Kulissen eines Sprachmodells führt auf den entscheidenden Punkt. Ein LLM generiert seine Antworten aus zwei Quellen: aus den Modellparametern und aus dem aktuellen Kontext. Die Modellparameter enthalten verdichtetes Wissen aus dem Training, also gelernte Muster und Zusammenhänge aus der Vergangenheit. Für sensible Unternehmensdaten ist jedoch vor allem der Kontext entscheidend, also das, was dem Modell zur Laufzeit aus Chatverlauf, Dokumenten, Suchtreffern oder anderen Quellen bereitgestellt wird.
Genau dort liegt das eigentliche Governance-Problem. Denn nicht das allgemeine Weltwissen des Modells ist im Unternehmensalltag meist kritisch, sondern die Frage, welche konkreten Informationen in den Kontext gelangen und damit für die Antwort überhaupt verfügbar werden.
Bei Agentic AI verschärft sich diese Lage zusätzlich. Ein Agent nutzt nicht nur ein LLM, sondern kann über Werkzeuge mit seiner Umgebung interagieren und selbständig neue Informationen in den Kontext laden. Damit wird aus einem beratenden System ein handelndes System. Je mehr Zugriff ein Agent auf Unternehmensdaten und Werkzeuge erhält, desto wichtiger wird eine saubere Zugriffskontrolle rund um den Kontext.
Hinzu kommt ein weiteres praktisches Risiko: Wenn sensible Informationen in den Kontext gegeben werden, dann liegen sie häufig nicht nur im Modellprozess, sondern bereits vorher in der AI-Umgebung, im Request, im Verlauf, im Cache oder im Logging. Wer sicherheitskritische Systeme für KI öffnet, muss deshalb damit rechnen, dass abgefragte Daten an mehreren Stellen sichtbar oder speicherbar werden.
Lösungsansätze
Wenn Sprachmodelle Governance nicht von sich aus mitbringen, muss diese Governance in der AI-Umgebung geschaffen werden. Der Schutz sensibler Unternehmensdaten entsteht also nicht im Modell selbst, sondern in der Architektur um das Modell herum.
Diesen Ansatz verspricht zum Beispiel SAP Joule: eine KI-Umgebung, die sich der Mandanten bewusst ist und interne Sprachmodelle gezielt einbindet. Voraussetzung dafür ist allerdings eine strikte und deterministische Prüfung aller Rechte und Identitäten.
Ein erster Grundsatz lautet deshalb: Unternehmensdaten sollten nicht unkontrolliert in agentische Systeme gelangen. Der Datenzugriff muss bereits vor dem Modell begrenzt werden. Ein Modell sollte nur auf Daten zugreifen können, die für Rolle, Zweck und Aufgabe tatsächlich erlaubt sind. Daran schließt sich unmittelbar der zweite Schritt an: Retrieval muss autorisiert werden. Nicht jeder Suchtreffer darf automatisch im Kontext des Modells landen. Erst die Rechteprüfung, dann der Zugriff auf Dokumente, Datensätze oder Suchergebnisse.
Wir haben bereits gesehen, dass AI-Agenten selbständig Daten in ihren Kontext laden und gegebenenfalls über Werkzeuge auf Unternehmenssysteme zugreifen. Es gilt daher, den Zugriff von Agenten auf sensible Daten bewusst einzuschränken. Dafür bieten sich diese Ansätze an:
Agenten im Benutzerkontext: Agenten sollten, wenn möglich, im Kontext des angemeldeten Benutzers arbeiten. Verkürzt gesagt heißt das: Ein Agent kann nur das sehen, was auch der angemeldete Benutzer sehen darf. Chatverläufe, Kontext und verwandte Daten werden dann im Benutzerkontext gespeichert. Konsequenterweise sollte man KI-Agenten nicht im Kontext eines IT-Administrators starten und für die Interaktion mit der KI gegebenenfalls einen eigenen Benutzer vorsehen.
Sandboxing nutzen: Agenten können in einer Sandbox laufen, also in einer Umgebung, in der festgelegt wird, welche Ressourcen wie Dateien, Verzeichnisse oder Netzwerkdienste sie lesend oder schreibend nutzen dürfen. Diese Einstellungen sollten bewusst gewählt werden. Die globale Obergrenze sollte so strikt wie möglich sein. Vorsicht ist dennoch geboten: Ein Agent kann verfügbare Werkzeuge innerhalb einer Sandbox kreativ kombinieren und auf Nachfrage auch außerhalb dieser Grenzen handeln, wenn er dort wiederum sensible Daten für seinen Kontext einsammelt.
IAM-Systeme nutzen: AI-Werkzeuge sollten an bestehende Rollen-, IAM- und Freigabesysteme gekoppelt werden, statt ein eigenes improvisiertes Berechtigungsmodell aufzubauen oder Berechtigungen im Werkzeug zu tunneln. Dazu passen auch diese SilverQ-Beiträge:
Nachvollziehbarkeit herstellen: Datenklassifizierung, Logging, Protokollierung und bei kritischen Fällen ein Human-in-the-loop sind keine Ergänzung, sondern Teil der eigentlichen Governance.
Fazit
LLMs erzeugen plausible Antworten, aber keine unternehmerische Governance. Sie wissen nicht aus sich heraus, welche Informationen für welche Rolle bestimmt sind und welche Daten vertraulich bleiben müssen. Der blinde Einsatz von KI-Werkzeugen im Kontext sensibler Informationen wird deshalb schnell zum Sicherheitsrisiko.
Sensible Informationen werden im Kontext eines Modells verarbeitet und je nach AI-Umgebung auch in Requests, Verläufen, Caches oder Logs gespeichert, teilweise sogar im Klartext. Dort können sie jenseits fachlicher Governance-Regeln erreichbar werden.
Wer sichere AI-Systeme konzipieren will, muss deshalb selbst Schutz aufbauen: durch klare Zugriffskontrolle, geeignete Systemarchitektur, minimierten Kontext und belastbare Governance rund um Sprachmodelle und AI-Agenten. Sicherheitskonzepte wie Sandboxing in Agenten können einen Rahmen bieten. Gerade bei sensiblen Unternehmensdaten wäre es aber gefährlich, sich auf Default-Einstellungen zu verlassen.
Wo Sprachmodelle auf sensible Unternehmensdaten treffen, wird Governance zur Voraussetzung.