Bei den jüngsten von Barracuda Research analysierten Phishing-Angriffen kombinierten Angreifer zwei verschiedene Taktiken in derselben E-Mail: Social Engineering, das auf menschliche Empfänger abzielte, und Prompt Injection, das darauf abzielte, die KI-gestützten E-Mail-Assistenten der Empfänger zu manipulieren.

Diese „Dual Target“-E-Mails bestehen aus mehreren Inhaltsebenen. Eine Ebene enthält den für menschliche Empfänger sichtbaren Text und Bilder, die andere Ebene die versteckten Anweisungen für KI-Systeme. Diese können zum Beispiel in HTML-Kommentaren, unsichtbaren Textelementen wie einer Schriftart mit Schriftgrösse Null oder weissem Text, verschlüsselten Inhalten oder geschützten Anhängen verborgen sein.

Von Barracuda beobachtete Beispiele für Prompts, die auf KI-Systeme zielen

KI-basierte E-Mail-Assistenten sind darauf ausgelegt, Nachrichten zu lesen, zusammenzufassen, zu priorisieren und zu verwalten. Versteckte Anweisungen sollen die Art und Weise manipulieren, wie diese Systeme E-Mail-Inhalte interpretieren und auf sie reagieren. Die von den Barracuda-Bedrohungsforschern beobachteten Beispiele dafür umfassen:

Hinzufügen einer falschen Aktion mit hoher Priorität, die einen Mitarbeiter dazu anweist, die Zahlungsdaten eines Lieferanten zu aktualisieren, wodurch die Wahrscheinlichkeit einer betrügerischen Zahlung steigt
Manipulation einer automatischen Prüfung von Lebensläufen bei Bewerbungen durch Einbettung versteckter Anweisungen, die die KI dazu anweisen, eine perfekte Bewertung des Lebenslaufs zu vergeben und unabhängig von den tatsächlichen Qualifikationen ein Vorstellungsgespräch zu empfehlen
Anweisung an einen KI-Assistenten, in einen autorisierten Wartungs- oder Verwaltungsmodus zu wechseln und seine Konfiguration offenzulegen
Anweisung an einen Programmierassistenten, bei der Generierung von Authentifizierungsfunktionen Code zum Diebstahl von Anmeldedaten einzufügen

„Eine einzige E-Mail kann inzwischen zwei separate Angriffe enthalten, zum Beispiel eine herkömmliche Phishing-Nachricht, um mithilfe eines schädlichen Anhangs Zugangsdaten zu entwenden, und eine Prompt Injection, um KI-Systeme zu manipulieren und deren Verhalten zu beeinflussen“, sagt Guruprasad Kenja, Threat Analyst bei Barracuda. „Da KI-Assistenten zunehmend in alltägliche Geschäftsprozesse integriert werden, müssen Unternehmen nicht nur die Nutzer und ihre Posteingänge schützen, sondern auch die KI-Systeme, die E-Mail-Daten verarbeiten und auf diese reagieren.“

Weitere Informationen und Empfehlungen finden Sie im Blogbeitrag.