Prompt Injection: Definition, Risiko und Schutz
Definition
Prompt Injection ist ein Angriff, bei dem manipulierter Text die Anweisungen eines KI-Systems überschreibt. Der Angreifer versteckt Befehle in einer Nachricht, einem Dokument oder einer Webseite, damit der Assistent seine eigentliche Aufgabe verlässt und stattdessen dem versteckten Befehl folgt. Ziel sind oft der Abfluss von Daten, falsche Antworten oder unerlaubte Aktionen im Namen des Nutzers.
Warum der Begriff zählt
Sobald ein Assistent auf ein Company Brain zugreift oder Aktionen ausführt, wird jede Eingabe zum möglichen Einfallstor. Ein untergeschobener Satz in einer E-Mail oder einem PDF kann den Assistenten dazu bringen, vertrauliches Wissen preiszugeben. Für ein zweites Gehirn ist das ernst, weil dort gerade das sensible Firmenwissen liegt. Wer Prompt Injection kennt, baut Grenzen ein, bevor er Rechte vergibt.
Wann es relevant ist
- Der Assistent verarbeitet fremde Texte, etwa Mails, Tickets oder Webinhalte.
- Er hat Zugriff auf vertrauliche Quellen im Company Brain.
- Er darf Aktionen auslösen, etwa senden, buchen oder ändern.
- Externe Nutzer können Eingaben an den Assistenten schicken.
Wann nicht
Ein rein internes Werkzeug, das nur festen, geprüften Text ohne fremde Eingaben verarbeitet, hat ein kleines Risiko. Auch ein Assistent ohne Zugriff auf sensible Daten und ohne Aktionsrechte ist weniger gefährdet. Das heißt nicht, dass man den Punkt ignoriert, aber die Priorität ist niedriger.
Branchen, die das nutzen
- Banken und Versicherungen: ein Assistent liest Kundenkorrespondenz, deshalb muss jede fremde Nachricht als potenziell manipulativ behandelt werden.
- Rechtsabteilungen: Verträge und Schriftsätze von Gegenseiten enthalten fremden Text, der geprüfte Grenzen braucht.
- Kundensupport: eingehende Tickets kommen von außen und dürfen den Assistenten nicht zu unerlaubten Auskünften verleiten.
- Forschung und Entwicklung: eingespeiste Web-Quellen können versteckte Befehle tragen und müssen isoliert bleiben.
Typische Anwendungsfälle
- Eine Trennung von System-Anweisung und fremdem Inhalt, damit Text keine Regeln überschreibt.
- Eine Freigabestufe für heikle Aktionen, statt sie automatisch auszuführen.
- Eine Filterung von Ausgaben, die versucht, Daten aus dem Company Brain zu ziehen.
- Ein Test mit bekannten Angriffsmustern vor dem Livegang.
- Eine Protokollierung, die verdächtige Eingaben sichtbar macht.
Entscheidungshilfe
| Signal | Schutz gegen Prompt Injection nötig | Alternative |
|---|---|---|
| Assistent liest fremde Texte | strikte Trennung und Filter | reines Vertrauen ist riskant |
| Zugriff auf sensibles Wissen | Rechte eng, Ausgaben prüfen | offener Zugriff gefährdet Daten |
| Aktionen mit Wirkung | menschliche Freigabe einbauen | Auto-Ausführung ist gefährlich |
| Nur fester interner Text | Risiko gering | leichte Kontrolle reicht |
Beispiel
Ein Team lässt seinen Support-Assistenten eingehende Tickets zusammenfassen. Um Prompt Injection abzuwehren, wird der Ticket-Text klar als fremder Inhalt markiert, der Assistent bekommt keine Rechte auf Kundendaten außerhalb des Tickets, und jede Aktion braucht eine Freigabe. Vor dem Start prüft das Team bekannte Angriffssätze. Das Beispiel beschreibt die Methode, keine behauptete Kundenkennzahl.
Verbindung zu Services
Schutz gehört von Beginn an in den Aufbau eines Company Brain und in jeden KI-Agenten, den wir für dich erstellen.
Quellen
Diese Einordnung beschreibt anerkannte Muster rund um Prompt Injection und übliche Abwehr. Das konkrete Risiko und die passenden Maßnahmen hängen vom Aufbau, den Rechten und den Quellen ab und müssen im Einzelfall geprüft werden.
