Lässt sich eine KI-Firewall mit jedem KI-Modell verwenden? So beurteilen Sie ihre Abdeckung
Yuta Matsuyama
Sicherheitsforscher, TECHFUND Inc.
Aktualisiert:
Für wen: Entwickler von KI-Anwendungen und Sicherheitsteams
Die praktische Antwort
Wenn Sie bei der Einführung einer KI-Firewall nur prüfen, ob das aktuell verwendete Modell unterstützt wird, können einige der zu schützenden Pfade ungeschützt bleiben. Denn selbst ein modellunabhängig nutzbares Produkt prüft unter Umständen tatsächlich nur Anfragen, die in einem bestimmten Format eingehen. Die kurze Antwort lautet: Ob eine KI-Firewall mit einem Modell kompatibel ist, hängt vom Produkt und von der Art der Anbindung ab. Prüft ein Mechanismus die Eingaben der Anwendung, bevor sie das Modell erreichen, lässt er sich nach einem Modellwechsel möglicherweise an derselben Stelle weiterverwenden. Bei Funktionen, die in Modellaufrufe integriert sind, hängt die Verfügbarkeit dagegen vom Anbieter, von der Modell-ID und von der API ab.
Was Sie zuerst prüfen sollten
Prüfen Sie die Punkte in dieser Reihenfolge: ① Wo findet die Prüfung statt? ② Was kann geprüft werden? ③ Was geschieht nach einer Erkennung? Der folgende Vergleich basiert auf der offiziellen Dokumentation mit Stand vom 13. November 2026. Spezifikationen und Preiskonditionen können sich ändern. Prüfen Sie daher vor der Einführung die aktuellen Informationen.
Cloudflares „Firewall for AI“ ist modellunabhängig – für prüfbare Eingaben gelten jedoch Bedingungen
Falls der von Ihnen gesuchte Name das Produkt von Cloudflare bezeichnet, sollten Sie zunächst auf die Benennung achten. Cloudflares AI Security for Apps hieß zuvor „Firewall for AI“. Laut offizieller Dokumentation ist die Erkennung unabhängig vom verwendeten LLM.
Derselben Dokumentation zufolge werden jedoch nur eingehende Anfragen an Endpunkte mit dem Label cf-llm geprüft, und die derzeitige Erkennung verarbeitet das Format application/json. Um auf Grundlage von Erkennungsergebnissen für Prompt Injection und andere Bedrohungen Anfragen zu blockieren oder Challenges auszulösen, müssen WAF-Regeln konfiguriert werden. Die KI-Erkennungsfelder sind ein kostenpflichtiges Add-on für Enterprise; die Verfügbarkeit muss beim Anbieter bestätigt werden.
Mit anderen Worten: Die Unabhängigkeit vom Modellnamen bedeutet nicht, dass Bilder, Dokumente, Modellantworten und interne Pfade der Anwendung automatisch geprüft werden. Klären Sie zuerst, ob Ihre Eingaben den Prüfbereich durchlaufen.
Zu beachten ist, dass AI Gateway Guardrails, obwohl ebenfalls von Cloudflare angeboten, eine separate Funktion ist. Laut offizieller Dokumentation wird bei unbekanntem Modelltyp nur die Eingabe bewertet; die Bewertung der Antwort wird übersprungen. Allein die Tatsache, dass eine Verbindung zum Gateway hergestellt werden kann, bedeutet nicht zwangsläufig, dass auch die Antworten geprüft werden.
Was „unterstützt“ bedeutet, hängt von der Anbindung ab
Beispielsweise enthält die Liste der von Amazon Bedrock Guardrails unterstützten Modelle Modelle, für die sich Guardrails nicht direkt im Inferenzaufruf angeben lassen. Laut Dokumentation führt eine solche Angabe bei einem nicht unterstützten Modell zu einem Validierungsfehler. ApplyGuardrail hingegen ist eine API, die von der Anwendung übergebenen Text unabhängig prüfen kann, ohne ein Modell aufzurufen.
Selbst unter demselben Produktnamen bedeutet „Modellunterstützung“ bei einer direkten Integration während der Inferenz etwas anderes als bei einer unabhängigen API. Mit einer unabhängigen API lässt sich eine Architektur umsetzen, in der die Anwendung die Ein- und Ausgaben eines anderen Modells zur Prüfung übergibt. Sowohl die Übermittlung der zu prüfenden Inhalte als auch die Verarbeitung der Ergebnisse müssen Sie jedoch selbst integrieren. Allein aus der Beschreibung „modellunabhängig“ lässt sich nicht ableiten, dass sämtliche Informationen einschließlich Bildern und Audio geprüft werden.
Die Unterstützungsliste von NVIDIA NeMo Guardrails umfasst mehrere Anbieter und selbst gehostete Modelle. Die Anbindung und die Frage, ob zusätzliche Bibliotheken erforderlich sind, unterscheiden sich jedoch je nach Anbieter. Am zuverlässigsten ist es, zunächst das zu betreibende Modell und das API-Format festzulegen und anschließend genau diese Kombination zu prüfen.
| Art der Anbindung | Was zu prüfen ist | Beispiel |
|---|---|---|
| Prüfung am Eingang der Anwendung | Ziel-URLs, Anfrageformate und zu prüfende Felder. Ob intern abgerufene Dokumente und Antworten diesen Punkt durchlaufen | Cloudflare AI Security for Apps |
| Integration in Modellaufrufe | Modell-ID, API, Region und Funktionen für Ein- und Ausgaben | Integration von Amazon Bedrock Guardrails bei der Inferenz |
| Aufruf einer unabhängigen Prüf-API | Was die Anwendung wann sendet und wie sie mit dem Prüfurteil umgeht. Nicht gesendete Informationen werden nicht geprüft | ApplyGuardrail von Amazon Bedrock |
| Einbindung einer Bibliothek in die Anwendung | Unterstützte Anbieter, Adapter, Unterschiede zwischen Funktionen und eigene Betriebsverantwortung | NVIDIA NeMo Guardrails |
Zeichnen Sie zuerst die Informationswege auf, bevor Sie sich auf das Modell konzentrieren
Betrachten wir beispielsweise einen KI-Assistenten, der interne Dokumente durchsucht, um Fragen zu beantworten.
Auch wenn die Firewall am Eingang die Fragen der Nutzer prüft, durchlaufen die nach der Suche eingebundenen Dokumente und die von externen Tools zurückgegebenen Daten diesen Eingang möglicherweise nicht. Bei indirekter Prompt Injection durch in Dokumente eingebettete Anweisungen nennt auch die Erläuterung von OWASP externe Dokumente als einen möglichen Angriffsweg. Auch die Dokumentation zu Amazon Bedrock Knowledge Bases hält ausdrücklich fest, dass Amazon Bedrock Guardrails nicht auf Referenzmaterialien angewendet werden, die zur Laufzeit abgerufen werden.
Unterscheiden Sie bei der Bewertung mindestens zwischen Fragen, abgerufenen Dokumenten, Tool-Argumenten und -Ergebnissen sowie Modellantworten. Halten Sie fest, welche Kontrollen welche Stellen prüfen. Wenn Sie Bilder oder Audio verarbeiten, prüfen Sie außerdem, ob die jeweiligen Formate in den tatsächlich eingesetzten Richtlinien zur Prüfung vorgesehen sind. Testen Sie nach einem Wechsel des angebundenen Modells erneut, ob dieselben Pfade und Kontrollen erhalten geblieben sind.
Nutzerfrage → Eingabeprüfung → Suche → Abgerufene Dokumente → Modell → Ausgabeprüfung → Antwort
Ergebnisse externer Tools → Modell (bei Bedarf)Testen Sie Erkennung und Blockierung, Sprachen und das Verhalten bei Ausfällen
„Kann erkennen“ und „blockiert automatisch“ sind nicht dasselbe. Microsoft Prompt Shields erkennt Angriffsmuster in Nutzereingaben und übergebenen Dokumenten. Bei der Azure AI Content Safety API entscheidet jedoch die Anwendung, was nach einer Erkennung geschieht, etwa ob Inhalte zugelassen oder blockiert werden. Dass kein Angriff erkannt wurde, garantiert ebenfalls nicht, dass der Inhalt sicher ist.
Senden Sie in Tests vor der Einführung sowohl normale Fragen in den verwendeten Sprachen als auch Angriffsbeispiele, die innerhalb eines autorisierten Rahmens vorbereitet wurden. Prüfen Sie, ob sie die Prüfung durchlaufen haben, ob legitime Eingaben fälschlich blockiert werden und ob die Verarbeitung nach der Erkennung wie erwartet funktioniert. Gerade bei anderen Sprachen als Englisch, etwa Japanisch, sollten Sie nicht nur die pro Funktion unterstützten Sprachen prüfen, sondern auch das Verhalten bei tatsächlichen Eingaben. Microsoft empfiehlt ebenfalls, Prompt Shields für jede verwendete Sprache zu evaluieren.
Legen Sie außerdem fest, ob bei einer Zeitüberschreitung des Prüfdienstes der Datenverkehr zugelassen oder gestoppt wird, ob beim Streaming bereits vor der Prüfung Teile des Inhalts angezeigt werden könnten und wie Sie verhindern, dass vertrauliche Informationen in Protokollen verbleiben. Die Architektur darf sich nicht allein auf die Prüfung verlassen: Sie muss auch die Berechtigungen der vom Modell aufrufbaren Funktionen auf ein Minimum begrenzen und für wichtige Vorgänge eine gesonderte Freigabe vorsehen.
Häufige Fragen
Läuft die Prüfung nach einem Modellwechsel weiter?
Prüfen Sie Endpunkt, Format und Pfade und testen Sie Erkennung und Blockierung erneut.
Ist Inhalt sicher, wenn kein Angriff erkannt wird?
Nein. Prüfungen können Angriffe oder Pfade übersehen; beschränken Sie Berechtigungen und verlangen Sie bei Bedarf menschliche Freigaben.
Wie Hi AUDIT Agent helfen kann
Wenn Sie zusätzlich zur Prüfung von Ein- und Ausgaben im laufenden Betrieb auch Berechtigungsprüfungen und die Eingabeverarbeitung im Anwendungscode überprüfen möchten, können Sie Hi AUDIT Agent aus Ihrer Entwicklungsumgebung heraus nutzen. Über MCP können Sie eine Codeanalyse anfordern und die gefundenen Stellen sowie vorgeschlagene Korrekturen prüfen. Die Analyseergebnisse dienen als Grundlage für die Überprüfung; ob Änderungen übernommen werden, entscheiden Menschen. Das Tool ersetzt keine KI-Firewall im laufenden Betrieb.
Hi AUDIT Agent-Konto erstellen