När din AI blir lurad: AI-promptfälla

Av Oluwole Akinwale, Chef för Professional Services

Du kanske använder en AI-assistent för att skriva utkast till e-postmeddelanden, sammanfatta meddelanden eller få hjälp med nätköp. Du litar väl på att den gör precis som du bett den om, eller hur?

Men vad händer om någon lyckades smuggla in hemliga instruktioner utan att du visste om det?

Prompt injection är ett smygande sätt att lura AI genom att dölja kommandon i det innehåll det läser. När man pratar om cybersäkerhet refererar “injection” till att infoga något i ett befintligt flöde. Så prompt injection tar din prompt, eller den input du ger till en AI, och infogar dolda instruktioner i AI:ns input. Tänk på det som att någon viskar falska instruktioner till din assistent innan du pratar, och assistenten följer dem istället för att lyssna på dig.

Hur promptinjektion fungerar

Prompt injection utnyttjar hur AI läser text. AI-modeller kämpar ofta med att skilja mellan vad användaren bad om, vad utvecklaren avsåg och vad en illvillig aktör tyst har infogat.

Om AI:n ser skadliga instruktioner som ser ut som vanlig text kan den följa dem. Tänk dig att du använder en AI för att hantera din kalender och får en inbjudan via e-post. E-postmeddelandet verkar komma från en kollega, men det innehåller dolda instruktioner för AI:n att lägga till ett möte med felaktiga uppgifter, vilket stör ditt schema. Det finns två huvudsakliga sätt som detta inträffar:

1. Direktinsprutning: En användare skriver instruktioner som direkt manipulerar AI:n.
2. Indirekt insprutning: Någon döljer kommandon i något som AI:n läser, till exempel ett e-postmeddelande, en webbsida eller ett dokument.

Sådant här händer redan i verkligheten:

G-mails AI-sammanfattningar lurade av dolda kommandon

Googles AI kan sammanfatta långa e-postmeddelanden åt dig. År 2025 fann forskare att angripare kunde dölja osynlig text i ett e-postmeddelande, till exempel genom att använda en vit text på vit bakgrund, med hemliga instruktioner. AI:n följde dessa dolda instruktioner och gav vilseledande sammanfattningar, även när e-postmeddelandet var riskabelt eller bedrägligt.

Chatbot lurades att erbjuda en bil värd $76 000 för $1

I december 2023 besökte Chris Bakke en Chevrolet-återförsäljares webbplats och gjorde något som var både roligt och lite oroande. Med bara några få smarta message:er fick han deras ChatGPT-drivna chattbot att gå med på att sälja honom en $76 000 Chevy Tahoe för $1.

Varför det är viktigt

Promptinjektion tränger sig inte in i ditt system på samma sätt som skadlig programvara. Istället tar den över kommunikationen mellan dig och AI:n. Eftersom AI tolkar text som instruktioner kan en skadlig prompt kringgå utvecklarens skyddsåtgärder om modellen inte kan skilja säkra meddelanden från en angripares indata.

Detta innebär att även vardagliga verktyg kan tvingas att agera på konstiga sätt om någon känner till de rätta knepen.

Vad du kan göra som användare

Medan utvecklare ständigt arbetar med att bygga bättre försvar kan du skydda dig under tiden genom att:

1. Att vara försiktig med AI-indata.

Undvik att klistra in opålitlig text eller dokument.

2. Följa för udda beteenden.

Om AI:n börjar bete sig konstigt, ignorera det inte. Du kan också anmäla avvikelsen via lämpliga kanaler, vilket hjälper till att rädda tusentals eller till och med miljontals andra användare.

3. Välj pålitliga verktyg.

Använd AI-tjänster och plugins från välkända leverantörer som uppdateras frekvent och prioriterar säkerhet. För att säkerställa att ett verktyg är pålitligt, leta efter nyligen genomförda uppdateringar eller kontrollera om leverantören regelbundet släpper patchar. Håll också utkik efter säkerhetsmärken eller certifieringar som indikerar rigorös testning för integritet och dataskydd.

Dessa steg ger dig möjlighet att göra säkrare val och behålla kontrollen över dina AI-interaktioner.

Slutsats

Prompt injection liknar social ingenjörskonst, som innebär att lura människor att ge ifrån sig viktig information. Men för AI behövs inget lösenord; det räcker med rätt ord på rätt plats.

Lyckligtvis, ju mer vi förstår det, desto lättare är det att upptäcka när något inte stämmer. Medvetenhet är ditt första försvar och hjälper till att säkerställa att din digitala assistent arbetar för dig, inte för någon annan.