¿Cómo mantener una AI BOM actualizada después de crearla? Seguimiento de cambios en modelos, RAG y agentes

Yuta Matsuyama

Investigador de seguridad, TECHFUND Inc.

Actualizado:

Para quién es: Personal de desarrollo y seguridad que opera API de modelos externos, RAG y agentes

Respuesta práctica

Una AI BOM no queda terminada al generarla una vez. Aunque el código no cambie, la configuración de producción puede variar por actualizaciones de modelos externos o por la sincronización de datos de recuperación. Distinga la configuración establecida de la información que realmente se ha verificado, y designe responsables de contrastarlas cuando haya cambios y de forma periódica. No interprete los campos vacíos como indicios de seguridad: haga seguimiento de la información desconocida como no verificada.

La IA utilizada puede cambiar aunque el código sea el mismo

Aunque la lista de componentes sea precisa en el momento del lanzamiento, se irá alejando de la realidad si después cambian los modelos, los datos consultados o las herramientas conectadas. CycloneDX ML-BOM puede representar modelos, conjuntos de datos, dependencias y otros elementos, pero disponer de un formato de descripción no significa que se descubra automáticamente toda la configuración en ejecución.

La tabla de este artículo ofrece una estructura para que los equipos mantengan su AI BOM y los registros operativos relacionados. No pretende afirmar que sus elementos sean campos obligatorios de CycloneDX. Defina qué se va a supervisar y cómo se observará, y registre también lo que no pueda verificarse.

Separe el modelo especificado de la versión realmente utilizada

Primero, registre el ID del modelo configurado, el proveedor, la API utilizada, el entorno y la persona que lo aprueba. Después, registre la versión real del modelo en la medida en que pueda verificarse mediante la consola de administración o la API del proveedor, los metadatos de ejecución permitidos u otras fuentes similares, junto con la fecha y hora de verificación. El ID mostrado no identifica necesariamente los pesos internos del modelo ni su historial de entrenamiento. Si no puede verificarse, márquelo como no verificado y consulte al proveedor del modelo.

En Microsoft Foundry Models, la versión del propio modelo y la versión de la API son distintas. Algunos despliegues se actualizan automáticamente a la versión predeterminada según su política de actualización, por lo que las diferencias en la configuración de la aplicación podrían no bastar para detectar los cambios. Compruebe la política real de cada modelo, plan y región que utilice, y contraste las notificaciones de actualización con los registros operativos.

Es importante no tratar como equivalentes los alias de nombres de modelos, las versiones fijadas, los destinos de respaldo y la información no divulgada por el proveedor. Incluso si registra declaraciones públicas sobre los datos de entrenamiento o el modelo base de un modelo externo, manténgalas separadas de las evidencias que permitan verificar de forma independiente su uso real.

Haga seguimiento también de los datos de RAG y de las conexiones de los agentes

En RAG, gestione no solo el modelo que genera las respuestas, sino también las fuentes de datos de recuperación, los permisos, el momento de ingesta, el modelo de embeddings, las versiones del índice y los trabajos de actualización. Que un documento original se haya actualizado no significa que el índice de recuperación ya refleje esa actualización. Por ejemplo, en Amazon Bedrock Knowledge Bases, tras añadir, modificar o eliminar archivos en una fuente de datos, se realiza una sincronización para reflejar los cambios en el índice. Compruebe por separado el estado de sincronización y el momento en que los datos pasan a estar disponibles para las búsquedas.

También es importante no confundir los documentos de recuperación de RAG con los datos de entrenamiento. CycloneDX v1.7 modelCard.datasets representa los datos utilizados para entrenar y evaluar ese modelo. Para evitar dar la impresión errónea de que los documentos consultados durante la recuperación se utilizaron para el entrenamiento, vincúlelos mediante una estructura que distinga su finalidad o mediante registros operativos separados.

Cuando un agente invoque herramientas externas, añada al inventario los destinos de conexión, las operaciones que puede ejecutar, los permisos utilizados y sus responsables, así como la versión de la configuración. Esta información es distinta de los datos de entrenamiento del modelo. Contraste la configuración visible en el repositorio con las conexiones realmente activas en producción mediante fuentes de información a las que tenga acceso autorizado.

Ejemplo: Tratar las diferencias entre la configuración y la realidad como pendientes de verificación

El siguiente es un ejemplo operativo ficticio, no mediciones reales de un proveedor o una herramienta. Supongamos que la configuración del despliegue especifica un alias de modelo cuyo destino puede cambiar, y que RAG está conectado a documentos internos y a una herramienta de búsqueda externa.

Al generar un nuevo inventario, se observa que, aunque el modelo especificado sigue siendo el mismo, la última verificación de la versión real es antigua y no se ha confirmado la finalización de la ingesta pese a haberse actualizado los documentos. Aunque el comando de generación se ejecute correctamente, no apruebe este estado como «sin cambios» o «seguro»; solicite a cada responsable que compruebe las evidencias.

Ejemplo ficticio: Diferencias y evidencias que deben comprobarse
ObjetoInformación que debe conservarse en el inventarioQué verificar a continuación
ModeloID configurado, versión verificada y fecha y hora de verificación. Si la versión no es visible, marcarla como no verificadaVerificar mediante la consola de administración o los metadatos de respuesta disponibles, y realizar pruebas cuando haya cambios
Datos de RAGID de la fuente de datos, versión del documento o fecha y hora de actualización, y estado del trabajo de ingestaConfirmar la finalización de la sincronización y la versión disponible para las búsquedas. Distinguir los documentos originales del índice
Herramientas externasIdentificador de la herramienta, destino de conexión, operaciones permitidas y responsableContrastar la configuración y los permisos realmente vigentes. Reevaluar el acceso cuando haya cambios

Los elementos y criterios son un ejemplo operativo ilustrativo. Adáptelos a los formatos y servicios que utilice.

Defina los desencadenantes de actualización y los responsables de la información no verificada

Actualice el inventario en los lanzamientos y los cambios de configuración, y establezca también notificaciones independientes o comprobaciones periódicas para las actualizaciones del proveedor, la sincronización de datos y los cambios de permisos. Al registrar las diferencias respecto al registro anterior, conserve no solo los elementos modificados, sino también la fuente, la hora de obtención, quién lo verificó y el plazo para la próxima verificación. Si no se ha podido obtener información, no lo trate como un éxito: remítala al responsable como no verificada.

Los datos de entrenamiento descritos en documentación pública no son lo mismo que los datos de recuperación que pueden verificarse a partir de los registros de procesamiento reales. Registre sin mezclar las afirmaciones de la ficha del modelo, los valores de configuración, las observaciones y las evidencias verificadas de forma independiente. Las revisiones de código y configuración pueden detectar cambios en los destinos de las referencias, pero no pueden demostrar los aspectos internos no divulgados de los modelos ni todas las rutas de ejecución de una API externa.

  1. Para cada objeto de lanzamiento y entorno, defina los responsables y las fuentes de información de los modelos, los datos y las herramientas.
  2. Registre los identificadores y las marcas de tiempo que pueda obtener, y revise las diferencias respecto al registro anterior y los elementos no verificados.
  3. Según el cambio, compruebe las evaluaciones, los permisos y su reflejo en los resultados de búsqueda, y entregue los resultados y los riesgos restantes a la persona encargada de aprobarlos.

Aplique controles de acceso también al propio inventario

El inventario contiene información que quizá no desee divulgar externamente, como destinos de conexión y configuraciones internas. No registre indiscriminadamente claves de API, secretos, prompts de usuarios ni el cuerpo de los documentos. Limítese a la información necesaria para el propósito previsto y defina los permisos de consulta, los plazos de conservación y los métodos de eliminación. Aplicar un hash tampoco garantiza el anonimato. OWASP menciona los controles de acceso y las restricciones de las fuentes de datos como medidas contra la exposición de información sensible.

Preguntas frecuentes

Si el nombre del modelo no cambia, ¿no es necesario actualizar la AI BOM?

Puede ser necesario actualizar la AI BOM aunque el nombre del modelo sea el mismo. Los alias o las actualizaciones desde la administración pueden cambiar la versión real. Compruebe la política de actualización de su entorno y la versión que pueda verificar.

¿Cómo se registran los datos de entrenamiento de un modelo externo cuando se desconocen?

Distinga las declaraciones públicas del proveedor de los hechos verificados de forma independiente, y deje constancia de la información como no divulgada o no verificada. No rellene los vacíos con conjeturas.

Cómo puede ayudar Hi AUDIT Agent

Al cambiar los modelos o los destinos de conexión, además de actualizar el inventario, también conviene comprobar la seguridad del código modificado de la aplicación. Con Hi AUDIT Agent, puedes solicitar el análisis del código en cuestión desde el chat de un entorno de desarrollo compatible con MCP y consultar allí mismo los fundamentos de los problemas señalados y las correcciones propuestas. Después de aplicar las correcciones, puedes solicitar otro análisis, lo que facilita incorporar los cambios a las revisiones cotidianas. Hi AUDIT Agent actualiza sus capacidades de detección y datos CVE en el servidor, lo que reduce el esfuerzo de actualizar localmente las reglas de detección del producto. Verifica por separado las versiones de los modelos realmente utilizadas y la configuración en producción mediante registros operativos u otras fuentes.

Crear una cuenta de Hi AUDIT Agent