Den Sturm meistern: Die potenzielle Bedrohungslandschaft von Cloud-GenAI-Diensten verstehen

Dieser Blogbeitrag entstand in Zusammenarbeit mit der European Champions Alliance, einer gemeinnützigen Initiative, die sich zum Ziel gesetzt hat, die Position Europas in der globalen Technologielandschaft zu stärken.

Die rasche Einführung von generativer KI (GenAI) in der Cloud verändert ganze Branchen und erschließt beispielloses Potenzial für Kreativität, Automatisierung und Innovation. GenAI-Dienste werden für Unternehmen jeder Größe unverzichtbar – vom Verfassen überzeugender Marketingtexte bis hin zur Generierung komplexer Programmcodes. 

Diese leistungsstarke Technologie bringt jedoch auch eine neue und sich ständig wandelnde Bedrohungslandschaft mit sich, die Unternehmen verstehen und proaktiv angehen müssen. Da sich immer mehr Unternehmen auf cloudbasierte GenAI-Dienste verlassen, ist es entscheidend, die potenziellen Risiken dieser transformativen Reise zu erkennen und zu minimieren. Das Ignorieren dieser Bedrohungen kann zu schwerwiegenden Sicherheitsverletzungen, Datenverlusten, Reputationsschäden und finanziellen Folgen führen.

Die Bedrohungslandschaft für Cloud-GenAI-Dienste entwickelt sich rasant

Da GenAI aufgrund der steigenden Nachfrage und der Anforderungen an die Implementierung in den nächsten Jahren zu einer Mainstream-Technologie wird, wird sich auch die damit verbundene Bedrohungslandschaft schnell weiterentwickeln. Dies führt zu einer zunehmenden Anzahl und Vielfalt an Bedrohungen, die auf GenAI-Dienste abzielen.

Es gibt zwei Hauptgründe, warum die Bedrohungslandschaft von GenAI in den nächsten Jahren mit Vorsicht zu genießen ist:

• KI ist das neue geistige Eigentum: Ähnlich wie vertrauliche Daten und Dienste in der Cloud sind KI-Modelle, Assets und Workloads das neue geistige Eigentum, das vor potenziellen Cyberbedrohungen geschützt werden muss. Sollten diese an die Öffentlichkeit gelangen oder von unbefugten Nutzern verwendet werden, könnten Unternehmen den Innovationsvorsprung ihrer KI-Systeme verlieren – insbesondere im rasanten Wettlauf der KI-Entwicklung.
• Mangelndes Sicherheitsbewusstsein: Viele Unternehmen befinden sich derzeit in der Anfangsphase der Einführung von GenAI-Technologie und erkunden deren Möglichkeiten und Herausforderungen. Sie sind sich jedoch oft nicht bewusst, dass sie für die korrekte und sichere Konfiguration des KI-Systems verantwortlich sind, ähnlich wie beim Modell der geteilten Verantwortung im Cloud-Computing. 47 % der Unternehmen verfügen über keine spezifische Cybersicherheitsstrategie zum Schutz ihrer KI-Systeme, während 62 % der Unternehmen keine Datenschutzrichtlinie speziell für KI haben.

Beispiele für die Bedrohungslandschaft bei Cloud-GenAI

Die einzigartigen Eigenschaften von GenAI-Modellen und deren Bereitstellung in der Cloud schaffen neuartige Angriffsvektoren. Hier sind einige wichtige potenzielle Bedrohungen:

‍

Prompt Injection & Jailbreaking

Prompt Injection tritt auf, wenn Benutzereingaben absichtlich oder versehentlich falsch an andere Teile des GenAI-Modells weitergeleitet werden. Jailbreaking hingegen ist der gezielte Versuch, das GenAI-Modell durch entsprechende Eingaben dazu zu bringen, seine Sicherheitsprotokolle zu ignorieren. Die Begriffe „Prompt Injection“ und „Jailbreaking“ werden häufig synonym verwendet.

Beide Angriffsarten nutzen bösartige Prompts, die vom GenAI-Modell verarbeitet werden. Diese Inhalte müssen nicht zwingend für Menschen lesbar sein, etwa wenn sie an eine Datei angehängt werden. Dies kann dazu führen, dass das GenAI-Modell unbeabsichtigte Ausgaben erzeugt, die von seinem normalen Verhalten abweichen, wie etwa die Offenlegung sensibler Informationen, fehlerhafte oder voreingenommene Ergebnisse sowie die Beeinflussung kritischer Entscheidungsprozesse. Zum Beispiel: ein Chatbot wird durch Prompt-Injection-Angriffe dazu „ausgetrickst“, ein brandneues Auto für 1 $ zu verkaufen.

Modell-/Workload-Hijacking

Modell- oder Workload-Hijacking liegt vor, wenn Angreifer ein GenAI-Modell oder eine Workload unbefugt übernehmen und ohne Erlaubnis des Eigentümers nutzen. Dies kann durch den Diebstahl von Zugangsdaten geschehen, um unbefugten Zugriff auf das GenAI-Modell oder die Workload zu erlangen. Eines der bekanntesten Beispiele für diesen Angriff ist LLMjacking, bei dem Angreifer ein Large Language Model (LLM) kapern.

Ein solches Hijacking kann verschiedene Folgen haben, wie etwa finanzielle Verluste, da die Nutzung des Modells über das übliche Maß hinaus ansteigt und Cloud-Anbieter ihre GenAI-Dienste nutzungsabhängig abrechnen. Eine weitere Folge ist der Zugriff auf vertrauliche Informationen und GenAI-Ressourcen, die unbefugt geändert, gelöscht oder veröffentlicht werden könnten.

Datenvergiftung (Data Poisoning) 

Data Poisoning zielt darauf ab, die Ausgabe oder Leistung des GenAI-Modells zu korrumpieren, indem während der Pre-Training- oder Fine-Tuning-Phase bösartige Datenpunkte eingeschleust werden, beispielsweise durch nicht verifizierte externe Datensätze oder schädliche Inhalte. Die Manipulation der vom Modell verwendeten Datensätze kann zu verschiedenen Problemen führen, wie etwa einer geringeren Genauigkeit, einer reduzierten Modellleistung und einer Beeinträchtigung der Modellsicherheit.

Modell-/Asset-Diebstahl

Der Diebstahl des GenAI-Modells oder der für bzw. innerhalb der GenAI-Workloads verwendeten Assets – wie Datensätze, Programmcode oder Datenbanken – kann erfolgen, sobald Angreifer unbefugten Zugriff auf die Cloud-Infrastruktur erhalten, auf der das Modell oder die Assets gehostet werden. Theoretisch könnten die Angreifer das GenAI-Modell oder die Workload auf Basis der gestohlenen Assets nachbilden, was dazu führen kann, dass die betroffenen Unternehmen ihren Wettbewerbsvorteil bei ihren GenAI-Modellen oder Workloads verlieren.

‍

So sichern Sie Cloud-GenAI-Workloads ab

Die Absicherung von Cloud-GenAI-Workloads erfordert einen mehrschichtigen Ansatz, der die spezifischen Risiken dieser Technologie adressiert. Hier sind einige entscheidende Schritte, die Unternehmen unternehmen können:

• Implementieren Sie starke Authentifizierungsmechanismen, einschließlich Multi-Faktor-Authentifizierung (MFA), und setzen Sie eine strikte rollenbasierte Zugriffskontrolle (RBAC) durch, um einzuschränken, wer mit GenAI-Modellen, Daten und der zugehörigen Infrastruktur interagieren darf. 
• Validieren und bereinigen Sie Prompt-Eingaben, um Prompt-Injection-Angriffe zu verhindern, indem Sie beispielsweise potenziell bösartige oder unerwartete Eingaben herausfiltern, bevor sie vom GenAI-Modell verarbeitet werden. 
• Überwachen Sie kontinuierlich die von GenAI-Modellen generierten Ausgaben auf unerwartete, schädliche oder sensible Inhalte, um sicherzustellen, dass das Modell dem erwarteten Verhalten und den Sicherheitsrichtlinien entspricht.
• Implementieren Sie Sicherheitsmaßnahmen, um die Integrität der GenAI-Modelle selbst zu schützen. Dazu gehören die Überwachung auf unbefugte Änderungen, die Implementierung einer Versionskontrolle sowie der mögliche Einsatz von Techniken wie Watermarking, um Manipulationen oder unbefugtes Kopieren zu erkennen. 
• Sichern Sie die APIs, die für die Interaktion mit cloudbasierten GenAI-Diensten durch Benutzer verwendet werden, mittels Authentifizierung und Autorisierung, Ratenbegrenzung zur Missbrauchsverhinderung sowie der Überwachung des API-Verkehrs auf verdächtige Aktivitäten. 
• Erstellen und implementieren Sie die erforderliche Sicherheitsstrategie sowie die Incident-Response-Playbooks für die GenAI-Workloads.
• Führen Sie regelmäßige Sicherheitsaudits und Penetrationstests für GenAI-Workloads und deren zugrunde liegende Infrastruktur durch, um die Sicherheit und Cyber-Resilienz der Workloads zu bewerten sowie potenzielle Sicherheitslücken zu identifizieren und zu beheben.

Wie Mitigant Sie bei der Sicherung von Cloud-GenAI-Workloads unterstützen kann

Mitigant Security für die GenAI-Plattform bietet einen proaktiven Cloud-Sicherheitsansatz, der Unternehmen dabei unterstützt, ihre Cloud-native Infrastruktur und Cloud-GenAI-Workloads effektiv abzusichern. Unser umfassender Ansatz adressiert die verschiedenen oben genannten Bedrohungen:

• AI Security Posture Management: Mitigant kann Sicherheitslücken in Cloud-GenAI-Workloads erkennen und beheben, die durch Fehlkonfigurationen und Compliance-Verstöße entstehen. Unternehmen können ihre Cloud-GenAI-Workloads zudem überwachen, indem sie Änderungen innerhalb der Workloads auf potenzielle böswillige Aktivitäten prüfen und die Einhaltung von Cloud-Sicherheitsvorschriften sowie Best Practices wie ISO 27001, CIS Benchmark und SOC2 sicherstellen.
• GenAI Red Teaming: Mitigant kann verschiedene Bedrohungen für Cloud-GenAI-Workloads simulieren, um die Bereitschaft und Resilienz der Workloads und Cloud-Infrastrukturen gegenüber potenziellen Gefahren wie LLMJacking, Ransomware-Angriffen und Datenlecks zu überprüfen. Die simulierten Bedrohungen basieren auf den MITRE ATT&CK und MITRE ATLAS Frameworks, die Unternehmen dabei helfen, Sicherheitslücken in ihrer Cloud-GenAI-Sicherheitsstrategie und ihren Incident-Playbooks zu entdecken und zu schließen. 

Registrieren Sie sich unter mitigant.io/sign-up für eine kostenlose Testversion, um Ihre Cloud und KI proaktiv vor Cyberbedrohungen zu schützen, oder vereinbaren Sie einen Termin mit unseren Cloud-Sicherheitsexperten, um Ihre Anforderungen zu besprechen und zu erfahren, wie Mitigant Ihre Cloud-Sicherheitsreise beschleunigen kann unter mitigant.io/book-demo.