AI 防火牆能用於任何 AI 模型嗎?如何判斷其涵蓋範圍
Yuta Matsuyama
TECHFUND 株式会社 資安研究員
更新日期:
適合誰閱讀: AI 應用程式開發人員與資安團隊
簡要回答
導入 AI 防火牆時,如果只確認「是否支援目前使用的模型」,可能會讓某些原本想保護的路徑仍未受到保護。因為即使產品不受模型限制,實際檢查的也可能只是以特定格式傳入的請求。 先說結論:AI 防火牆與模型之間的相容關係,取決於產品及連接方式。如果是在輸入到達模型之前檢查應用程式輸入的機制,那麼切換模型後,有時仍能在相同位置繼續使用。另一方面,對於整合在模型呼叫中的功能,能否使用則會因供應商、模型 ID 和 API 而異。
選擇前先確認
建議依照以下順序確認:①將檢查放在哪裡,②能夠檢查什麼,③偵測後如何處理。以下比較以截至 2026 年 11 月 13 日的官方資料為依據。規格和收費條件可能變更,因此請在導入前確認最新資訊。
Cloudflare 的「Firewall for AI」不依賴模型,但可檢查的輸入有條件限制
如果你搜尋的名稱指的是 Cloudflare 的產品,首先需要留意名稱。Cloudflare 的 AI Security for Apps 以前稱為「Firewall for AI」。官方資料說明,其偵測不依賴所使用的 LLM。
不過,根據同一份資料,檢查對象是傳送至帶有 cf-llm 標籤之端點的傳入請求,目前的偵測支援 application/json 格式。若要利用提示注入等威脅的偵測結果執行封鎖或驗證挑戰,需要設定 WAF 規則。AI 偵測欄位是提供給 Enterprise 的付費附加功能,使用前需要向供應商確認。
也就是說,不依賴模型名稱,並不等於會自動檢查影像、文件、模型回應,以及應用程式內部的路徑。請先確認自己的輸入是否會經過檢查範圍。
需要注意的是,雖然同樣由 Cloudflare 提供,但 AI Gateway Guardrails 是另一項功能。官方文件指出,如果模型類型未知,則只評估輸入,略過對回應的評估。僅僅能夠連線至閘道,並不代表回應也一定會受到檢查。
「可用」的含義因連接方式而異
例如,Amazon Bedrock Guardrails 支援的模型清單中列出了無法在推論呼叫中直接指定護欄的模型。資料說明,如果為不支援的模型指定護欄,就會發生驗證錯誤。而 ApplyGuardrail 則是不呼叫模型、可以獨立檢查應用程式所傳入文字的 API。
即使產品名稱相同,推論時的直接整合與獨立 API 所說的「模型支援」,含義也不同。使用獨立 API 時,可以建構由應用程式傳入其他模型的輸入和輸出進行檢查的架構,但傳送待檢查內容以及使用檢查結果的處理邏輯,都需要自行整合。僅憑「不依賴模型」的說明,無法判斷包括影像和音訊在內的所有資訊都會受到檢查。
NVIDIA NeMo Guardrails 的支援清單涵蓋多個供應商和自行託管的模型。不過,連接方式以及是否需要額外的程式庫,因供應商而異。較可靠的做法是先確定要運行的模型和 API 格式,再確認對應的組合。
| 連接方式 | 需要確認的事項 | 範例 |
|---|---|---|
| 在應用程式入口檢查 | 目標 URL、請求格式、檢查的欄位。內部取得的文件和回應是否會經過這裡 | Cloudflare AI Security for Apps |
| 整合至模型呼叫中 | 模型 ID、API、區域,以及支援輸入和輸出的功能 | Amazon Bedrock Guardrails 的推論時整合 |
| 呼叫獨立的檢查 API | 應用程式在何時傳送什麼內容,以及如何處理判定結果。未傳送的資訊不會被檢查 | Amazon Bedrock 的 ApplyGuardrail |
| 將程式庫嵌入應用程式 | 支援的供應商、介接器、各功能之間的差異,以及自身的維運責任 | NVIDIA NeMo Guardrails |
先畫出資訊流動路徑,再考慮模型
例如,設想一個透過搜尋內部文件來回答問題的 AI 助理。
即使入口防火牆檢查了使用者問題,搜尋後引入的文件和外部工具傳回的資料,也可能不經過該入口。對於透過文件中嵌入的指令進行的間接提示注入,OWASP 的說明也將外部文件列為攻擊路徑之一。 Amazon Bedrock Knowledge Bases 的文件也明確指出,Amazon Bedrock Guardrails(護欄)不會套用至執行時檢索到的參考資料。
評估時,請至少將問題、取得的文件、工具引數與結果,以及模型回答區分開來,寫清楚各處由哪些控制措施進行檢查。如果處理影像或音訊,也要確認每種格式是否確實屬於實際政策的檢查對象。更換連接的模型後,應重新測試相同的路徑和控制措施是否仍然保留。
使用者問題 → 輸入檢查 → 搜尋 → 取得的文件 → 模型 → 輸出檢查 → 回答
外部工具結果 → 模型(需要時)測試偵測與封鎖、語言以及故障時的行為
「能夠偵測」與「會自動封鎖」並不是一回事。Microsoft Prompt Shields 會偵測針對使用者輸入或傳入文件的攻擊模式。不過,在 Azure AI Content Safety API 中,偵測後是允許還是封鎖等處理,由應用程式決定。沒有偵測到攻擊,也不代表內容一定安全。
導入前的測試應同時送入所用語言的一般問題,以及在授權範圍內準備的攻擊範例。請確認它們是否經過檢查、是否出現誤封鎖,以及偵測後的處理是否符合預期。尤其對於日語等非英語語言,不僅要確認各功能支援哪些語言,還要檢查其面對實際輸入時的行為。Microsoft 也建議針對所用的每種語言評估 Prompt Shields。
此外,還應明確決定:檢查服務逾時時是放行還是停止;串流輸出是否可能在檢查前顯示部分內容;以及如何避免在日誌中留下機敏資訊。設計上不能只依賴檢查,還需要將模型可呼叫功能的權限降至最低,並為重要操作設置個別核准機制。
常見問題
更換模型後仍會繼續檢查嗎?
請確認端點、格式及路徑,並重新測試偵測與封鎖。
沒有偵測到攻擊就一定安全嗎?
不是。檢查可能漏報或遺漏路徑,仍需限制權限並在適當情況下由人工核准。
Hi AUDIT Agent 如何協助您
如果除了檢查運行中的輸入和輸出,還想檢視應用程式碼中的權限檢查和輸入處理,可以從開發環境中使用 Hi AUDIT Agent。透過 MCP,可以請求程式碼分析,並查看偵測到的位置和修正建議。分析結果是供審查使用的材料,是否套用修改由人來決定。它不能取代運行中的 AI 防火牆。
註冊 Hi AUDIT Agent