创建 AI BOM 后如何持续更新?追踪模型、RAG 和智能体的变化

Yuta Matsuyama

TECHFUND 株式会社 安全研究员

更新日期:

适合谁阅读: 运维外部模型 API、RAG 和智能体的开发与安全人员

简要回答

AI BOM 并不是生成一次就结束了。即使代码没有变化,外部模型的更新或检索数据的同步也可能改变生产环境的配置。请区分已设置的配置与实际核实的信息,并明确发生变更时及定期核对的负责人。对于未知信息,不要将空白理解为安全,而应将其作为未核实项持续跟踪。

即使代码相同,所使用的 AI 也会变化

即使发布时的物料清单准确,如果之后模型、检索对象数据或连接的工具发生变化,清单也会逐渐偏离实际情况。CycloneDX ML-BOM 可以描述模型、数据集、依赖关系等,但有了描述格式,并不意味着能自动发现运行中的全部组成配置。

本文中的表格是为团队维护 AI BOM 及相关运维记录而整理的框架,并不是在声称表中项目是 CycloneDX 的必填字段。请确定管理对象及观测方法,同时记录无法核实的事项。

区分指定的模型与实际使用的版本

首先,记录所设置的模型 ID、提供方、使用的 API、环境和审批人。然后,在提供方的管理界面、API、获准使用的运行时元数据等能够核实的范围内,记录实际模型版本及核实时间。显示的 ID 不一定能确定内部模型的权重或训练历史。如果无法核实,应标记为未核实,并向模型提供方确认。

在 Microsoft Foundry Models 中,模型本身的版本与 API 版本是分开的。部分部署会根据更新策略自动更新到默认版本,因此仅查看应用配置差异,可能无法发现变化。请针对所使用的模型、计划和区域分别核实实际策略,并将更新通知与运维记录进行核对。

重要的是,不要将模型名称的别名、固定版本、回退目标和提供方未公开的信息等同看待。即使记录了有关外部模型训练数据或基础模型的公开声明,也应将其与能够独立核实实际使用情况的证据分开。

同时追踪 RAG 数据和智能体的连接目标

对于 RAG,除了生成回答的模型,还应将检索数据源、权限、摄取时间、嵌入模型、索引版本和更新作业纳入管理。源文档更新后,并不意味着检索索引中已经反映了更新。例如,在 Amazon Bedrock Knowledge Bases 中,对数据源中的文件进行添加、修改或删除后,需要通过同步将变化反映到索引中。请分别核实同步状态以及数据何时变得可检索。

同样重要的是,不要将 RAG 检索文档与训练数据混淆。CycloneDX v1.7 modelCard.datasets 表示用于该模型训练和评估的数据。为避免让人误以为检索时参考的文档曾用于训练,请通过区分用途的结构或单独的运行记录来关联这些文档。

智能体调用外部工具时,应将连接目标、可执行的操作、使用的权限及负责人、配置版本加入清单。这些信息与模型训练数据是不同的。请通过有权访问的信息源,核对代码仓库中可见的配置与生产环境中实际启用的连接目标。

示例:将配置与实际情况的差异视为待核实项

以下是虚构的运维示例,并非提供方或工具的实测数据。假设部署配置中指定了指向会变化的模型别名,并且为 RAG 连接了内部文档和外部搜索工具。

生成新清单后发现,虽然指定的模型没有变化,但上次核实实际版本的时间已较久,而且文档虽已更新,却尚未确认摄取是否完成。即使生成命令成功,也不要将这种状态批准为“无变化”或“安全”,而应请各负责人核实证据。

虚构示例:差异及需要核实的证据
对象清单中保留的信息接下来需要核实的事项
模型所设置的 ID、已核实的版本、核实时间。版本不可见时标记为未核实通过管理界面或可用的响应元数据核实,并在发生变更时进行测试
RAG 数据数据源 ID、文档版本或更新时间、摄取作业状态确认同步完成情况和可检索的版本。区分源文档与索引
外部工具工具标识符、连接目标、允许的操作、负责人核对实际生效的配置和权限。发生变更时重新评估访问权限

这些项目和判断仅为说明性的运维示例。请根据所使用的格式和服务进行调整。

确定更新触发条件和未核实信息的负责人

在发布或配置变更时更新清单,并针对提供方更新、数据同步和权限变更另行设置通知或定期检查。记录与上次记录的差异时,不仅要保留变更项目,还应保留来源、获取时间、核实人及下次核实期限。如果无法获取信息,不要将其视为成功,而应以未核实状态交给负责人。

公开资料中描述的训练数据,与能够从实际处理日志中核实的检索数据并不相同。请分别记录模型卡中的描述、配置值、观测结果以及独立核实的证据,不要混为一谈。代码或配置审查可以发现引用目标的变化,但无法证明外部 API 中未公开的模型内部情况或所有执行路径。

  1. 针对每个发布对象和环境,确定模型、数据和工具的负责人及信息源。
  2. 记录能够获取的标识符和时间,并审查与上次相比的差异及未核实项目。
  3. 根据变更核查评估、权限以及是否已反映到检索结果中,并将结果和剩余风险提交给审批人。

也要对清单本身实施访问控制

资产清单包含连接目标、内部配置等不希望对外披露的信息。不要无条件记录 API 密钥、机密信息、用户提示词或文档正文,应仅保留实现目的所必需的信息,并明确查看权限、保存期限和删除方式。哈希处理也不一定能实现匿名化。OWASP 将访问控制和限制数据源列为应对敏感信息暴露的措施。

常见问题

模型名称相同,就不需要更新 AI BOM 吗?

不是。别名或管理端的更新可能使实际版本发生变化。请检查所用环境的更新策略以及能够核实的版本。

不知道外部模型的训练数据时,应如何记录?

应区分提供方的公开声明与独立核实的事实,并保留为未公开或未核实状态。不要用推测填补空白。

Hi AUDIT Agent 如何帮助您

更换模型或连接目标时,除了更新清单,也值得检查修改后的应用代码是否安全。使用 Hi AUDIT Agent,可以通过支持 MCP 的开发环境中的聊天功能请求分析目标代码,并当场查看所指出问题的依据和修改建议。修改后还可以再次请求分析,因此更容易将变更纳入日常审查。Hi AUDIT Agent 的检测功能和 CVE 数据在服务器端更新,从而减少在本地更新该产品检测规则的工作量。实际使用的模型版本及生产环境中的配置,请通过运维记录等另行确认。

注册 Hi AUDIT Agent