AI 防火墙能用于任何 AI 模型吗?如何判断其覆盖范围
Yuta Matsuyama
TECHFUND 株式会社 安全研究员
更新日期:
适合谁阅读: AI 应用开发人员和安全团队
简要回答
部署 AI 防火墙时,如果只确认“是否支持当前使用的模型”,可能会让一些原本想保护的路径仍然暴露在外。因为即使产品不挑模型,实际检查的也可能只是以特定格式传入的请求。 先说结论:AI 防火墙与模型之间的兼容关系,取决于产品及连接方式。如果是在输入到达模型之前检查应用输入的机制,那么切换模型后,有时仍能在同一位置继续使用。另一方面,对于集成在模型调用中的功能,能否使用则会因提供商、模型 ID 和 API 而异。
选型前先检查
建议按以下顺序确认:①将检查放在哪里,②能够检查什么,③检测后如何处理。以下比较基于截至 2026 年 11 月 13 日的官方资料。规格和收费条件可能发生变化,因此请在部署前确认最新信息。
Cloudflare 的“Firewall for AI”与模型无关,但可检查的输入有条件限制
如果你搜索的名称指的是 Cloudflare 的产品,首先需要注意名称。Cloudflare 的 AI Security for Apps 以前名为“Firewall for AI”。官方资料说明,其检测不依赖于所使用的 LLM。
不过,根据同一份资料,检查对象是发往带有 cf-llm 标签的端点的入站请求,目前的检测支持 application/json 格式。要利用提示注入等威胁的检测结果执行拦截或质询,需要配置 WAF 规则。AI 检测字段是面向 Enterprise 的付费附加功能,使用前需要向提供商确认。
也就是说,不依赖模型名称,并不等于会自动检查图像、文档、模型响应以及应用内部的路径。请先确认自己的输入是否会经过检查范围。
需要注意的是,虽然同样由 Cloudflare 提供,但 AI Gateway Guardrails 是另一项功能。官方文档指出,如果模型类型未知,则只评估输入,跳过对响应的评估。仅仅能够连接到网关,并不意味着响应也一定会受到检查。
“可用”的含义因连接方式而异
例如,Amazon Bedrock Guardrails 支持的模型列表中列出了无法在推理调用中直接指定护栏的模型。资料说明,如果为不支持的模型指定护栏,就会出现验证错误。而 ApplyGuardrail 则是不调用模型、可以独立检查应用所传入文本的 API。
即使产品名称相同,推理时的直接集成与独立 API 所说的“模型支持”,含义也不同。使用独立 API 时,可以构建由应用传入其他模型的输入和输出进行检查的架构,但发送待检查内容以及使用检查结果的处理逻辑,都需要自行集成。仅凭“与模型无关”的说明,无法判断包括图像和音频在内的所有信息都会受到检查。
NVIDIA NeMo Guardrails 的支持列表涵盖多个提供商和自行托管的模型。不过,连接方式以及是否需要额外的库,因提供商而异。更可靠的做法是先确定要运行的模型和 API 格式,再确认对应的组合。
| 连接方式 | 需要确认的事项 | 示例 |
|---|---|---|
| 在应用入口检查 | 目标 URL、请求格式、检查的字段。内部获取的文档和响应是否会经过这里 | Cloudflare AI Security for Apps |
| 集成到模型调用中 | 模型 ID、API、区域,以及支持输入和输出的功能 | Amazon Bedrock Guardrails 的推理时集成 |
| 调用独立的检查 API | 应用在何时发送什么内容,以及如何处理判定结果。未发送的信息不会被检查 | Amazon Bedrock 的 ApplyGuardrail |
| 将库嵌入应用 | 支持的提供商、适配器、各功能之间的差异,以及自身的运维责任 | NVIDIA NeMo Guardrails |
先画出信息流动路径,再考虑模型
例如,设想一个通过搜索内部文档来回答问题的 AI 助手。
即使入口防火墙检查了用户问题,搜索后引入的文档和外部工具返回的数据,也可能不经过该入口。对于通过文档中嵌入的指令进行的间接提示注入,OWASP 的说明也将外部文档列为攻击路径之一。 Amazon Bedrock Knowledge Bases 的文档也明确指出,护栏不会应用于运行时检索到的参考资料。
评估时,请至少将问题、获取的文档、工具参数与结果,以及模型回答区分开来,写清楚各处由哪些控制措施进行检查。如果处理图像或音频,也要确认每种格式是否确实属于实际策略的检查对象。更换连接的模型后,应重新测试相同的路径和控制措施是否仍然保留。
用户问题 → 输入检查 → 搜索 → 获取的文档 → 模型 → 输出检查 → 回答
外部工具结果 → 模型(需要时)测试检测与拦截、语言以及故障时的行为
“能够检测”与“会自动拦截”并不是一回事。Microsoft Prompt Shields 会检测针对用户输入或传入文档的攻击模式。不过,在 Azure AI Content Safety API 中,检测后是允许还是拦截等处理,由应用决定。没有检测到攻击,也不代表内容一定安全。
部署前的测试应同时提交所用语言的正常问题,以及在授权范围内准备的攻击示例。请确认它们是否经过检查、是否出现误拦截,以及检测后的处理是否符合预期。尤其对于日语等非英语语言,不仅要确认各功能支持哪些语言,还要检查其面对实际输入时的行为。Microsoft 也建议针对所用的每种语言评估 Prompt Shields。
此外,还应明确:检查服务超时时是放行还是停止;流式输出是否可能在检查前显示部分内容;以及如何避免在日志中留下敏感信息。设计上不能只依赖检查,还需要将模型可调用功能的权限降至最低,并为重要操作设置单独的审批。
常见问题
更换模型后仍会继续检查吗?
请确认端点、格式和路径,并重新测试检测与拦截。
没有检测到攻击就一定安全吗?
不是。检查可能漏报或遗漏路径,还需要限制权限并在适当情况下由人工审批。
Hi AUDIT Agent 如何帮助您
如果除了检查运行中的输入和输出,还想审查应用代码中的权限检查和输入处理,可以从开发环境中使用 Hi AUDIT Agent。通过 MCP,可以请求代码分析,并查看检测到的位置和修复建议。分析结果是供审查使用的材料,是否应用修改由人来决定。它不能替代运行中的 AI 防火墙。
注册 Hi AUDIT Agent