Wie hält man eine AI BOM nach ihrer Erstellung aktuell? Änderungen an Modellen, RAG und Agenten verfolgen

Yuta Matsuyama

Sicherheitsforscher, TECHFUND Inc.

Aktualisiert:

Für wen: Entwicklungs- und Sicherheitsverantwortliche, die externe Modell-APIs, RAG und Agenten betreiben

Die praktische Antwort

Eine AI BOM ist nicht mit ihrer einmaligen Erstellung abgeschlossen. Auch ohne Codeänderungen kann sich die Produktionskonfiguration durch Aktualisierungen externer Modelle oder die Synchronisierung von Suchdaten ändern. Unterscheiden Sie die festgelegte Konfiguration von tatsächlich überprüften Informationen und bestimmen Sie Verantwortliche für den Abgleich bei Änderungen und in regelmäßigen Abständen. Interpretieren Sie leere Felder nicht als Hinweis auf Sicherheit, sondern verfolgen Sie unbekannte Informationen als ungeprüft weiter.

Auch bei gleichem Code kann sich die verwendete KI ändern

Selbst wenn die Stückliste zum Release korrekt ist, weicht sie zunehmend von der Realität ab, wenn sich danach Modelle, durchsuchte Daten oder angebundene Tools ändern. CycloneDX ML-BOM kann Modelle, Datensätze, Abhängigkeiten und weitere Elemente abbilden. Die bloße Existenz eines Beschreibungsformats bedeutet jedoch nicht, dass die gesamte zur Laufzeit verwendete Konfiguration automatisch entdeckt wird.

Die Tabelle in diesem Artikel bietet Teams eine Struktur zur Pflege ihrer AI BOM und zugehöriger Betriebsaufzeichnungen. Damit wird nicht behauptet, dass die aufgeführten Angaben Pflichtfelder von CycloneDX sind. Legen Sie fest, was erfasst wird und wie es beobachtet werden soll, und dokumentieren Sie auch, was sich nicht überprüfen lässt.

Modellvorgabe und tatsächlich verwendete Version trennen

Erfassen Sie zunächst die konfigurierte Modell-ID, den Anbieter, die verwendete API, die Umgebung und die freigebende Person. Halten Sie anschließend die tatsächliche Modellversion fest, soweit sie sich über die Verwaltungskonsole oder API des Anbieters, zulässige Laufzeitmetadaten oder ähnliche Quellen überprüfen lässt, sowie Datum und Uhrzeit der Überprüfung. Eine angezeigte ID identifiziert nicht zwangsläufig die internen Modellgewichte oder den Trainingsverlauf. Ist eine Überprüfung nicht möglich, kennzeichnen Sie die Information als ungeprüft und fragen Sie beim Modellanbieter nach.

Bei Microsoft Foundry Models sind die Version des Modells selbst und die API-Version voneinander getrennt. Einige Bereitstellungen werden gemäß ihrer Aktualisierungsrichtlinie automatisch auf die Standardversion aktualisiert. Änderungen lassen sich daher möglicherweise nicht allein anhand von Differenzen in der Anwendungskonfiguration erkennen. Prüfen Sie die tatsächlich geltende Richtlinie für jedes verwendete Modell, jeden Tarif und jede Region und gleichen Sie Aktualisierungsbenachrichtigungen mit den Betriebsaufzeichnungen ab.

Wichtig ist, Aliasse von Modellnamen, festgelegte Versionen, Fallback-Ziele und nicht offengelegte Anbieterinformationen nicht gleichzusetzen. Auch wenn Sie veröffentlichte Aussagen zu Trainingsdaten oder zum Basismodell eines externen Modells dokumentieren, trennen Sie diese von Belegen, die die tatsächliche Nutzung unabhängig bestätigen.

Auch RAG-Daten und Verbindungen von Agenten verfolgen

Verwalten Sie bei RAG nicht nur das Modell zur Antwortgenerierung, sondern auch die Datenquellen für die Suche, Berechtigungen, den Zeitpunkt der Datenaufnahme, das Embedding-Modell, Indexversionen und Aktualisierungsjobs. Die Aktualisierung eines Quelldokuments bedeutet nicht zwangsläufig, dass sie bereits im Suchindex berücksichtigt ist. Beispielsweise werden bei Amazon Bedrock Knowledge Bases nach dem Hinzufügen, Ändern oder Löschen von Dateien in einer Datenquelle die Änderungen durch eine Synchronisierung in den Index übernommen. Prüfen Sie den Synchronisierungsstatus und den Zeitpunkt, ab dem die Daten durchsuchbar sind, gesondert.

Es ist auch wichtig, die für den RAG-Abruf verwendeten Dokumente nicht mit Trainingsdaten zu verwechseln. CycloneDX v1.7 modelCard.datasets steht für die Daten, die zum Training und zur Evaluierung dieses Modells verwendet wurden. Damit nicht fälschlicherweise der Eindruck entsteht, dass die beim Abruf herangezogenen Dokumente für das Training verwendet wurden, verknüpfen Sie sie über eine Struktur, die ihren Verwendungszweck unterscheidet, oder über separate Betriebsaufzeichnungen.

Wenn ein Agent externe Tools aufruft, ergänzen Sie das Inventar um Verbindungsziele, ausführbare Operationen, verwendete Berechtigungen und zuständige Personen sowie die Konfigurationsversion. Diese Informationen sind von den Trainingsdaten des Modells zu unterscheiden. Gleichen Sie die im Repository erkennbare Konfiguration mit den tatsächlich in Produktion aktiven Verbindungen anhand von Informationsquellen ab, auf die Sie berechtigt zugreifen können.

Beispiel: Abweichungen zwischen Konfiguration und Realität als noch zu prüfen behandeln

Das folgende Betriebsbeispiel ist fiktiv und enthält keine Messwerte eines Anbieters oder Tools. Angenommen, die Bereitstellungskonfiguration verwendet einen Modellalias mit wechselndem Ziel, und an RAG sind interne Dokumente sowie ein externes Suchwerkzeug angebunden.

Nach der Erstellung eines neuen Inventars zeigt sich: Die Modellvorgabe ist unverändert, aber die letzte Überprüfung der tatsächlichen Version liegt lange zurück, und trotz aktualisierter Dokumente ist der Abschluss der Datenaufnahme nicht bestätigt. Auch wenn der Generierungsbefehl erfolgreich war, geben Sie diesen Zustand nicht als „unverändert“ oder „sicher“ frei, sondern bitten Sie die jeweils Verantwortlichen, die Belege zu prüfen.

Fiktives Beispiel: Abweichungen und zu prüfende Belege
GegenstandIm Inventar festzuhaltende InformationenAls Nächstes zu prüfen
ModellKonfigurierte ID, bestätigte Version sowie Datum und Uhrzeit der Überprüfung. Ist die Version nicht sichtbar, als ungeprüft kennzeichnenÜber die Verwaltungskonsole oder verfügbare Antwortmetadaten prüfen und bei Änderungen testen
RAG-DatenDatenquellen-ID, Dokumentversion oder Aktualisierungszeitpunkt, Status des DatenaufnahmejobsAbschluss der Synchronisierung und durchsuchbare Version bestätigen. Quelldokumente und Index unterscheiden
Externe ToolsTool-Kennung, Verbindungsziel, erlaubte Operationen, verantwortliche PersonTatsächlich aktive Einstellungen und Berechtigungen abgleichen. Bei Änderungen den Zugriff neu bewerten

Die Angaben und Bewertungen sind ein veranschaulichendes Betriebsbeispiel. Passen Sie sie an die verwendeten Formate und Dienste an.

Aktualisierungsauslöser und Verantwortliche für ungeprüfte Informationen festlegen

Aktualisieren Sie das Inventar bei Releases und Konfigurationsänderungen und richten Sie zusätzlich separate Benachrichtigungen oder regelmäßige Prüfungen für Anbieteraktualisierungen, Datensynchronisierung und Berechtigungsänderungen ein. Halten Sie bei Abweichungen gegenüber dem vorherigen Stand nicht nur die geänderten Angaben fest, sondern auch Quelle, Erfassungszeitpunkt, prüfende Person und Frist für die nächste Überprüfung. Wenn sich Informationen nicht beschaffen lassen, behandeln Sie dies nicht als Erfolg, sondern geben Sie sie als ungeprüft an die zuständige Person weiter.

In öffentlichen Unterlagen beschriebene Trainingsdaten sind nicht dasselbe wie Suchdaten, die sich anhand tatsächlicher Verarbeitungsprotokolle überprüfen lassen. Dokumentieren Sie Angaben aus der Modellkarte, Konfigurationswerte, Beobachtungsergebnisse und unabhängig überprüfte Belege getrennt voneinander. Code- und Konfigurationsreviews können Änderungen an referenzierten Zielen erkennen, aber weder nicht offengelegte Modellinterna noch sämtliche Ausführungspfade einer externen API nachweisen.

  1. Legen Sie für jedes Release-Ziel und jede Umgebung die Verantwortlichen und Informationsquellen für Modelle, Daten und Tools fest.
  2. Erfassen Sie verfügbare Kennungen und Zeitstempel und prüfen Sie die Abweichungen gegenüber dem vorherigen Stand sowie ungeprüfte Angaben.
  3. Prüfen Sie je nach Änderung die Evaluierungen, Berechtigungen und die Übernahme in die Suchergebnisse und übergeben Sie die Ergebnisse sowie verbleibende Risiken an die freigebende Person.

Auch das Inventar selbst mit Zugriffskontrollen schützen

Das Inventar enthält Informationen wie Verbindungsziele und interne Konfigurationen, die Sie möglicherweise nicht nach außen geben möchten. Erfassen Sie API-Schlüssel, Geheimnisse, Nutzerprompts oder Dokumentinhalte nicht pauschal. Beschränken Sie sich auf die für den jeweiligen Zweck erforderlichen Informationen und legen Sie Leseberechtigungen, Aufbewahrungsfristen und Löschverfahren fest. Auch Hashing macht Informationen nicht zwangsläufig anonym. OWASP nennt Zugriffskontrollen und die Einschränkung von Datenquellen als Maßnahmen gegen die Offenlegung sensibler Informationen.

Häufige Fragen

Muss die AI BOM nicht aktualisiert werden, wenn der Modellname gleich bleibt?

Doch. Durch Aliasse oder Aktualisierungen auf der Verwaltungsseite kann sich die tatsächliche Version ändern. Prüfen Sie die Aktualisierungsrichtlinie Ihrer Umgebung und die Version, die sich bestätigen lässt.

Wie dokumentiert man die Trainingsdaten eines externen Modells, wenn sie unbekannt sind?

Unterscheiden Sie öffentliche Aussagen des Anbieters von unabhängig überprüften Tatsachen und halten Sie die Informationen als nicht offengelegt oder ungeprüft fest. Füllen Sie Lücken nicht mit Vermutungen.

Wie Hi AUDIT Agent helfen kann

Wenn Sie Modelle oder Verbindungsziele ändern, lohnt es sich, neben der Aktualisierung der Bestandsliste auch die Sicherheit des geänderten Anwendungscodes zu prüfen. Mit Hi AUDIT Agent können Sie über den Chat einer MCP-kompatiblen Entwicklungsumgebung eine Analyse des betreffenden Codes anfordern und die Begründungen der beanstandeten Stellen sowie die Korrekturvorschläge direkt dort prüfen. Nach den Korrekturen können Sie eine weitere Analyse anfordern. So lassen sich Änderungen leichter in die tägliche Prüfung einbeziehen. Hi AUDIT Agent aktualisiert seine Erkennungsfunktionen und CVE-Daten serverseitig, was den Aufwand für die lokale Aktualisierung der Erkennungsregeln des Produkts verringert. Welche Modellversionen tatsächlich verwendet wurden und welche Konfiguration in der Produktionsumgebung vorliegt, sollten Sie separat anhand von Betriebsaufzeichnungen oder anderen Quellen prüfen.

Hi AUDIT Agent-Konto erstellen