Neues Abwehrsystem CaMeL stoppt gefährliche Prompt-Injection-Angriffe auf KI-Chatbots

Admin User
1 Min.
Eine Gruppe von Menschen, die um einen Tisch herum auf Stühlen sitzen und auf einen Laptop schauen und arbeiten, mit mehreren Flyern, auf denen verschiedene Werbeanzeigen zu sehen sind.

Neues Abwehrsystem CaMeL stoppt gefährliche Prompt-Injection-Angriffe auf KI-Chatbots

Ein neues Abwehrsystem namens CaMeL wurde entwickelt, um eine schwerwiegende Sicherheitslücke in KI-Chatbots zu schließen. Die als Prompt-Injection-Angriffe bekannte Schwachstelle stellt seit 2022 ein Risiko dar. Forscher von Google DeepMind und CAMEL-AI haben nun eine Methode vorgestellt, mit der sich solche Bedrohungen wirksamer als bisher blockiert werden können.

CaMeL funktioniert, indem es Sprachmodelle als unzuverlässige Komponenten innerhalb eines streng kontrollierten Systems behandelt. Es teilt Aufgaben zwischen zwei getrennten KI-Bausteinen auf: einem 'privilegierten KI-Modell' und einem 'isolierten KI-Modell'. Ersteres generiert Code, der die erforderlichen Schritte festlegt, während letzteres unstrukturierte Daten in strukturierte Ergebnisse umwandelt.

CaMeL stellt einen wichtigen Fortschritt beim Schutz von KI-Systemen vor Datenlecks durch böswillige Eingaben dar. Sein Dual-KI-Design und die strengen Datenkontrollen helfen, Insider-Bedrohungen und unbefugte Datenabflüsse zu verhindern. Dennoch müssen Organisationen das System mit bestehenden Sicherheitsmaßnahmen kombinieren, um umfassenden Schutz zu gewährleisten.