Neues Abwehrsystem CaMeL stoppt gefährliche Prompt-Injection-Angriffe auf KI-Chatbots
Lara Bauer
Neues Abwehrsystem CaMeL stoppt gefährliche Prompt-Injection-Angriffe auf KI-Chatbots
Ein neues Abwehrsystem namens CaMeL wurde entwickelt, um eine schwerwiegende Sicherheitslücke in KI-Chatbots zu schließen. Die als Prompt-Injection-Angriffe bekannte Schwachstelle stellt seit 2022 ein Risiko dar. Forscher von Google DeepMind und CAMEL-AI haben nun eine Methode vorgestellt, mit der sich solche Bedrohungen wirksamer als bisher blockiert werden können.
CaMeL funktioniert, indem es Sprachmodelle als unzuverlässige Komponenten innerhalb eines streng kontrollierten Systems behandelt. Es teilt Aufgaben zwischen zwei getrennten KI-Bausteinen auf: einem 'privilegierten KI-Modell' und einem 'isolierten KI-Modell'. Ersteres generiert Code, der die erforderlichen Schritte festlegt, während letzteres unstrukturierte Daten in strukturierte Ergebnisse umwandelt.
Cashback bei deinen
Lieblingsrestaurants und Services
Kaufe Gutscheine und spare in deinen Lieblingsorten in deiner Nähe
CaMeL stellt einen wichtigen Fortschritt beim Schutz von KI-Systemen vor Datenlecks durch böswillige Eingaben dar. Sein Dual-KI-Design und die strengen Datenkontrollen helfen, Insider-Bedrohungen und unbefugte Datenabflüsse zu verhindern. Dennoch müssen Organisationen das System mit bestehenden Sicherheitsmaßnahmen kombinieren, um umfassenden Schutz zu gewährleisten.
