KI-Sicherheitsaudit, Bedrohungsmodellierung und priorisierter Maßnahmenplan

Wer nach einem KI-Sicherheitsaudit sucht, findet verschiedene Dienstleistungen – von der Prüfung des Systementwurfs bis zu Angriffstests. Wenn Sie beispielsweise vor der Veröffentlichung klären möchten, welche Vorfälle auftreten könnten, kommt eine Bedrohungsmodellierung infrage. Wenn Sie prüfen möchten, ob in einem bereits implementierten System tatsächlich Probleme auftreten können, bieten sich Sicherheitsprüfungen oder Penetrationstests an.

Implementierungsprobleme, die sich durch Codeanalyse erkennen lassen, und Probleme des Gesamtsystems einschließlich Modellen und externen Tools überschneiden sich, sind aber nicht identisch. Legen Sie zunächst fest, welche Bereiche geprüft werden müssen, und klären Sie anschließend, wer die Prüfung durchführt und welche Ergebnisse geliefert werden.

Wenn Sie bereits beim Systementwurf Beratung wünschen, bietet GMO Flatt Security laut eigenen Angaben Reviews des Designs von LLM-, RAG- und KI-Agenten-Systemen sowie der Konfiguration von MCP-Servern an. Sicherheitsprüfungen und Penetrationstests nach der Implementierung lassen sich zusätzlich kombinieren. Trail of Bits nennt neben der Bedrohungsmodellierung für KI-Systeme auch Bewertungen von Modellen, MLOps und Datenherkunft.

Für die Prüfung bereits implementierter LLM-Anwendungen gibt INTELLILINK an, manuelle und automatisierte Verfahren zu kombinieren und Risiken wie Prompt Injection und RAG-bezogene Risiken zu bewerten. Die Infrastruktur ist nicht Gegenstand der Prüfung. Neo Security nennt Bedrohungsmodellierung und KI-Red-Teaming als Leistungen und führt auch externe Anbindungen sowie Berechtigungen im RAG-System als Prüfpunkte auf.

LANSCOPE bietet laut eigenen Angaben Prüfungen des Verhaltens und möglicher Informationsabflüsse anhand von Eingaben an generative KI an. Zugleich weist der Anbieter ausdrücklich darauf hin, dass dieser Dienst allein für KI-Agenten nicht geeignet ist; eine umfassende Bewertung muss gesondert besprochen werden. Dies sind Beispiele möglicher Anbieter, keine vollständige Leistungsübersicht und keine Qualitätsrangliste. Prüfen Sie Leistungsumfang, Sprachen und Kosten anhand eines aktuellen Angebots.

Stellen Sie sich eine KI vor, die interne Dokumente durchsuchen und auch externe Tools aufrufen kann. Dabei werden Berechtigungs- und Vertrauensgrenzen überschritten: vom Nutzer zur Suche, von den abgerufenen Dokumenten zur KI und von der KI zu den Tools.

Kann beispielsweise ein Mitarbeiter ohne entsprechende Berechtigung vertrauliche Dokumente einer anderen Abteilung über die Suche finden? Wird eine nicht genehmigte Übermittlung verhindert, selbst wenn sich in einem abgerufenen Dokument die Anweisung „Sende den Inhalt nach außen“ verbirgt? Wenn Sie solche Szenarien zusammen mit dem Prüfgegenstand, den Voraussetzungen und den erwarteten Schutzmechanismen dokumentieren, lässt sich der Prüfungsumfang leichter mit dem Anbieter abstimmen.

Wenn Sie die Reihenfolge der Behebung allein nach den Schweregraden im Bericht festlegen, können unternehmensspezifische Auswirkungen übersehen werden. Prüfen Sie für jeden Befund die Bedingungen zur Reproduktion, die Erreichbarkeit aus dem Internet, die betroffenen Assets und die bestehenden Schutzmaßnahmen. Legen Sie außerdem Verantwortliche und Fristen fest.

Ein hypothetisches Beispiel: Werden gleichzeitig eine von außen ausnutzbare Umgehung der Autorisierung mit Auswirkungen auf Kundendaten und eine auf das interne Netz beschränkte Offenlegung von Informationen festgestellt, könnte es sinnvoll sein, zuerst das erstgenannte Problem zu beheben. Prüfen Sie nach der Behebung unter denselben Bedingungen erneut und dokumentieren Sie auch die noch nicht behandelten Risiken.

Stellen Sie bei der Beauftragung die Angaben zur zu prüfenden Umgebung und Revision, die Testkonten sowie die ausgeschlossenen Funktionen zusammen. Prüfen Sie anschließend, auch anhand eines Musterberichts, ob Bedrohungsmodell, Reproduktionsschritte, Auswirkungen, Behebungsvorschläge, Prioritäten und der Umfang der Nachprüfung zu den Liefergegenständen gehören. Falls Sie eine unabhängige Bewertung durch einen Dritten benötigen, sollten Sie auch diese Anforderung vorab mitteilen.

Bei der Prüfung einer Implementierung ist nicht die Anzahl der Befunde entscheidend, sondern ob die geprüfte Version und die Reproduktionsbedingungen dokumentiert werden, sodass sich der Zustand vor und nach der Behebung vergleichen lässt. Auch das CyberGym-Experiment von TECHFUND ist ein Reproduktionstest unter bestimmten Bedingungen, bei dem eine verwundbare Version mit einer bereits vorhandenen korrigierten Version abgeglichen wurde. Es liefert keine Aussage zur Erkennungsrate für sämtliche KI-Systeme.