AI 安全审计、威胁建模与修复优先级路线图

Yuta Matsuyama

TECHFUND 株式会社 安全研究员

更新日期:

适合谁阅读: 评估代码审查和专业服务的工程负责人及安全团队。

简要回答

为使用AI的系统选择审计服务商时,建议首先明确“想要验证什么”。设计阶段的威胁建模、针对运行中AI的攻击测试以及代码审查,所需的专业能力和交付成果各不相同。

首先区分需要委托的工作

寻找AI安全审计服务时,会看到从设计审查到攻击测试等多种服务。例如,如果希望在上线前梳理“可能发生哪些安全事件”,可以考虑威胁建模;如果希望确认已实现的系统是否确实会出现问题,则可以考虑安全检测或渗透测试。

代码分析发现的实现问题,与涵盖模型及外部工具的整个系统层面的问题虽有重叠,但并不相同。应先明确需要检查的部分,再确认由谁执行、交付哪些成果。

可咨询的服务商及其服务对象

如果希望从设计阶段开始咨询,GMO Flatt Security介绍了针对LLM、RAG、AI智能体设计及MCP服务器配置的审查服务。实现后的安全检测和渗透测试可作为附加服务组合使用。Trail of Bits除AI系统威胁建模外,还列出了模型、MLOps、数据溯源等评估服务。

如果希望验证已实现的LLM应用,INTELLILINK表示会结合手动与自动方式,评估提示词注入及RAG风险,基础设施不在服务范围内。Neo Security列出了威胁建模与AI红队测试服务,并将外部集成及RAG权限纳入检测项目。

LANSCOPE介绍了通过向生成式AI输入内容来验证其行为及信息泄露情况的服务。另一方面,该公司明确说明,仅使用这项服务并不适合评估AI智能体,综合评估需要另行咨询。这些仅是候选服务商示例,并非所有服务的完整清单或质量排名。服务范围、语言和费用请以最新报价为准。

以RAG威胁模型为例思考

请设想一个既能检索公司内部文档,又能调用外部工具的AI。在这种情况下,从用户到检索、从检索到的文档到AI、再从AI到工具,每个环节都涉及权限或信任边界的转换。

例如,没有权限的员工是否能检索到其他部门的机密文档?即使检索到的文档中混入“将内容发送到外部”的指令,是否也不会执行未经批准的发送操作?将这些场景连同测试对象、前提条件和预期控制措施一并列出,有助于与检测服务商就验证范围达成共识。

将报告转化为修复路线图

如果仅根据报告中的严重程度决定修复顺序,可能会忽略问题对本公司的实际影响。应针对每项发现,确认复现条件、是否可从互联网访问、受影响的资产以及现有防护措施,并确定负责人和期限。

举一个假设的例子:如果同时发现了可从外部访问且会影响客户数据的授权绕过问题,以及仅限公司内部的信息暴露问题,可以考虑优先修复前者。修复后,应在相同条件下重新验证,并记录尚未处理的风险。

报价时应确认的交付成果

委托时,应准备好目标环境及修订版本信息、检测用账号,以及不在检测范围内的功能清单。在此基础上,请结合报告样本,确认交付成果是否包含威胁模型、复现步骤、影响、修复建议、优先级及复测范围。如果需要第三方独立评估,也应提前说明这一条件。

在验证实现时,比起发现问题的数量,更重要的是能否保留目标版本及复现条件,以便比较修复前后的情况。TECHFUND的CyberGym实验也是在特定条件下,对照存在漏洞的版本与已有修复版本开展的复现测试,并不代表所有AI系统的漏洞检出率。

常见问题

AI 代码分析能替代独立审计吗?

不能。发现和修复建议辅助人工审查;需要独立评估时,请向合格的服务商确认。

有用的报告应包含什么?

范围和版本、证据、影响、相关位置、建议措施、优先级以及未解决的问题或限制。

来源与延伸阅读

Hi AUDIT Agent 如何帮助您

Hi AUDIT Agent 可通过 MCP 代码分析辅助检查发现位置和修复建议。威胁模型与优先级仍由人员判断;需要独立审计时请另行安排。

注册 Hi AUDIT Agent