Von Oluwole Akinwale, Leiter von Professional Services
Vielleicht nutzen Sie einen KI-Assistenten, um E-Mails zu verfassen, Texte zusammenzufassen oder beim Online-Shopping zu helfen. Sie vertrauen wohl darauf, dass er genau das tut, was Sie ihm aufgetragen haben, oder?
Aber was ist, wenn es jemandem gelingt, heimlich Anweisungen einzuschleusen, ohne dass du es merkst?
Prompt Injection ist eine hinterlistige Art, KI auszutricksen, indem Befehle in den Text versteckt werden, den sie liest. Wenn man über Cybersicherheit spricht, bezieht sich “Injection” auf das Einfügen von etwas in einen bestehenden Ablauf. Prompt Injection nimmt also Ihren Prompt oder die Eingabe, die Sie einer KI geben, und fügt versteckte Anweisungen in die Eingabe der KI ein. Stellen Sie sich das so vor, als würde Ihnen jemand falsche Anweisungen zuflüstern, bevor Sie mit Ihrem Assistenten sprechen, und der Assistent befolgt diese, anstatt Ihnen zuzuhören.
Wie Prompt Injection funktioniert
Prompt-Injection-Angriffe nutzen aus, wie KI Text liest. KI-Modelle haben oft Schwierigkeiten, zwischen dem, was der Benutzer verlangt hat, dem, was der Entwickler beabsichtigt hat, und dem, was ein böswilliger Akteur heimlich eingefügt hat, zu unterscheiden.
Wenn die KI schädliche Anweisungen sieht, die wie normaler Text aussehen, befolgt sie diese möglicherweise. Stellen Sie sich vor, Sie verwenden eine KI, um Ihren Kalender zu verwalten, und erhalten eine Einladung per E-Mail. Die E-Mail scheint von einem Kollegen zu stammen, enthält jedoch versteckte Anweisungen für die KI, ein Meeting mit falschen Details hinzuzufügen, wodurch Ihr Zeitplan durcheinander gerät. Es gibt zwei Hauptwege, wie dies geschieht:
- Direkteinspritzung Ein Benutzer gibt Anweisungen ein, die die KI direkt manipulieren.
- Indirekte Einspritzung: Jemand versteckt Befehle in etwas, das die KI liest, wie zum Beispiel einer E-Mail, einer Webseite oder einem Dokument.
Sowas passiert bereits im echten Leben:
Die KI-Zusammenfassungen von Gmail wurden durch versteckte Befehle ausgetrickst
Gmails KI kann lange E-Mails für Sie zusammenfassen. Im Jahr 2025 fanden Forscher heraus, dass Angreifer unsichtbaren Text in einer E-Mail verstecken können, beispielsweise durch die Verwendung einer weißen Schrift auf weißem Hintergrund, der geheime Anweisungen enthält. Die KI befolgte diese versteckten Anweisungen und lieferte irreführende Zusammenfassungen, selbst wenn die E-Mail riskant oder täuschend war.
Chatbot wurde dazu verleitet, ein Auto im Wert von $76.000 für $1 anzubieten
Im Dezember 2023 besuchte Chris Bakke die Website eines Chevrolet-Händlers und tat etwas, das sowohl lustig als auch ein wenig beunruhigend war. Mit nur wenigen cleveren „messages“ brachte er den ChatGPT-gestützten Chatbot dazu, ihm einen $76.000 teuren Chevy Tahoe für $1 zu verkaufen.
Warum es wichtig ist
Prompt-Injection dringt nicht wie Malware in Ihr System ein. Stattdessen übernimmt sie die Kommunikation zwischen Ihnen und der KI. Da KI Text als Anweisungen behandelt, kann ein schädlicher Prompt die Schutzmaßnahmen des Entwicklers umgehen, wenn das Modell nicht in der Lage ist, sichere Eingaben von den Eingaben eines Angreifers zu unterscheiden.
Das bedeutet, dass selbst alltägliche Werkzeuge dazu gebracht werden können, sich auf seltsame Weise zu verhalten, wenn jemand die richtigen Tricks kennt.
Was Sie als Benutzer tun können
Während Entwickler ständig daran arbeiten, bessere Schutzmechanismen zu entwickeln, können Sie sich in der Zwischenzeit schützen durch:
1. Vorsicht bei der KI-Eingabe.
Vermeiden Sie es, nicht vertrauenswürdigen Text oder Dokumente einzufügen.
2. Auf ungewöhnliches Verhalten achten.
Wenn sich die KI merkwürdig verhält, ignorieren Sie es nicht. Sie können die Anomalie auch über geeignete Kanäle melden und so dazu beitragen, Tausende oder sogar Millionen anderer Nutzer zu retten.
3. Wählen Sie vertrauenswürdige Tools.
Nutzen Sie KI-Dienste und Plugins von namhaften Anbietern, die regelmäßig aktualisiert werden und Sicherheit priorisieren. Um sicherzustellen, dass ein Tool zuverlässig ist, achten Sie auf aktuelle Updates oder prüfen Sie, ob der Anbieter regelmäßig Patches veröffentlicht. Halten Sie außerdem Ausschau nach Sicherheitssiegeln oder Zertifizierungen, die auf strenge Tests in Bezug auf Privatsphäre und Datenschutz hinweisen.
Diese Schritte befähigen Sie, sicherere Entscheidungen zu treffen und die Kontrolle über Ihre KI-Interaktionen zu behalten.
Fazit
Prompt Injection ähnelt Social Engineering, bei dem Menschen dazu gebracht werden, wichtige Informationen preisizugeben. Aber für KI ist kein Passwort erforderlich; sie braucht nur die richtigen Wörter an der richtigen Stelle.
Zum Glück gilt: Je besser wir es verstehen, desto leichter fällt es auf, wenn etwas nicht stimmt. Wachsamkeit ist Ihre erste Verteidigungslinie und sorgt dafür, dass Ihr digitaler Assistent für Sie arbeitet und nicht für jemand anderen.
InfografikWarum Automatisierung Verantwortung braucht
Blog—Die unsichtbare Schicht: KI-Steuerung in iPaaS-Plattformen