AI 安全审计、威胁建模与修复优先级路线图
Yuta Matsuyama
TECHFUND 株式会社 安全研究员
更新日期:
适合谁阅读: 评估代码审查和专业服务的工程负责人及安全团队。
简要回答
为使用AI的系统选择审计服务商时,建议首先明确“想要验证什么”。设计阶段的威胁建模、针对运行中AI的攻击测试以及代码审查,所需的专业能力和交付成果各不相同。
首先区分需要委托的工作
寻找AI安全审计服务时,会看到从设计审查到攻击测试等多种服务。例如,如果希望在上线前梳理“可能发生哪些安全事件”,可以考虑威胁建模;如果希望确认已实现的系统是否确实会出现问题,则可以考虑安全检测或渗透测试。
代码分析发现的实现问题,与涵盖模型及外部工具的整个系统层面的问题虽有重叠,但并不相同。应先明确需要检查的部分,再确认由谁执行、交付哪些成果。
可咨询的服务商及其服务对象
如果希望从设计阶段开始咨询,GMO Flatt Security介绍了针对LLM、RAG、AI智能体设计及MCP服务器配置的审查服务。实现后的安全检测和渗透测试可作为附加服务组合使用。Trail of Bits除AI系统威胁建模外,还列出了模型、MLOps、数据溯源等评估服务。
如果希望验证已实现的LLM应用,INTELLILINK表示会结合手动与自动方式,评估提示词注入及RAG风险,基础设施不在服务范围内。Neo Security列出了威胁建模与AI红队测试服务,并将外部集成及RAG权限纳入检测项目。
LANSCOPE介绍了通过向生成式AI输入内容来验证其行为及信息泄露情况的服务。另一方面,该公司明确说明,仅使用这项服务并不适合评估AI智能体,综合评估需要另行咨询。这些仅是候选服务商示例,并非所有服务的完整清单或质量排名。服务范围、语言和费用请以最新报价为准。
以RAG威胁模型为例思考
请设想一个既能检索公司内部文档,又能调用外部工具的AI。在这种情况下,从用户到检索、从检索到的文档到AI、再从AI到工具,每个环节都涉及权限或信任边界的转换。
例如,没有权限的员工是否能检索到其他部门的机密文档?即使检索到的文档中混入“将内容发送到外部”的指令,是否也不会执行未经批准的发送操作?将这些场景连同测试对象、前提条件和预期控制措施一并列出,有助于与检测服务商就验证范围达成共识。
将报告转化为修复路线图
如果仅根据报告中的严重程度决定修复顺序,可能会忽略问题对本公司的实际影响。应针对每项发现,确认复现条件、是否可从互联网访问、受影响的资产以及现有防护措施,并确定负责人和期限。
举一个假设的例子:如果同时发现了可从外部访问且会影响客户数据的授权绕过问题,以及仅限公司内部的信息暴露问题,可以考虑优先修复前者。修复后,应在相同条件下重新验证,并记录尚未处理的风险。
报价时应确认的交付成果
委托时,应准备好目标环境及修订版本信息、检测用账号,以及不在检测范围内的功能清单。在此基础上,请结合报告样本,确认交付成果是否包含威胁模型、复现步骤、影响、修复建议、优先级及复测范围。如果需要第三方独立评估,也应提前说明这一条件。
在验证实现时,比起发现问题的数量,更重要的是能否保留目标版本及复现条件,以便比较修复前后的情况。TECHFUND的CyberGym实验也是在特定条件下,对照存在漏洞的版本与已有修复版本开展的复现测试,并不代表所有AI系统的漏洞检出率。
常见问题
AI 代码分析能替代独立审计吗?
不能。发现和修复建议辅助人工审查;需要独立评估时,请向合格的服务商确认。
有用的报告应包含什么?
范围和版本、证据、影响、相关位置、建议措施、优先级以及未解决的问题或限制。
来源与延伸阅读
Hi AUDIT Agent 如何帮助您
Hi AUDIT Agent 可通过 MCP 代码分析辅助检查发现位置和修复建议。威胁模型与优先级仍由人员判断;需要独立审计时请另行安排。
注册 Hi AUDIT Agent