Um firewall de IA pode ser usado com qualquer modelo de IA? Como avaliar sua cobertura
Yuta Matsuyama
Pesquisador de segurança, TECHFUND Inc.
Atualizado:
Para quem é: Desenvolvedores de aplicações de IA e equipes de segurança
Resposta prática
Ao implantar um firewall de IA, verificar apenas se ele é compatível com o modelo que você usa atualmente pode deixar sem proteção alguns dos caminhos que deseja proteger. Isso porque até um produto que funciona independentemente do modelo pode, na prática, inspecionar apenas solicitações que chegam em um formato específico. A conclusão é que a compatibilidade entre um firewall de IA e um modelo depende do produto e da forma de conexão. Se o mecanismo inspeciona as entradas da aplicação antes que elas cheguem ao modelo, talvez seja possível continuar usando-o no mesmo ponto mesmo após trocar de modelo. Por outro lado, em recursos integrados às chamadas ao modelo, a disponibilidade varia conforme o provedor, o ID do modelo e a API.
O que verificar primeiro
Verifique os pontos nesta ordem: ① onde posicionar a inspeção, ② o que ela pode inspecionar e ③ o que acontece após a detecção. A comparação abaixo se baseia na documentação oficial disponível em 13 de novembro de 2026. As especificações e as condições de cobrança podem mudar; por isso, consulte as informações mais recentes antes da implantação.
O “Firewall for AI” da Cloudflare é independente de modelo, mas há condições para as entradas que ele pode inspecionar
Se o nome que você pesquisou se refere ao produto da Cloudflare, primeiro preste atenção à nomenclatura. O AI Security for Apps da Cloudflare se chamava anteriormente “Firewall for AI”. A documentação oficial explica que a detecção não depende do LLM utilizado.
No entanto, segundo essa mesma documentação, a inspeção abrange solicitações recebidas em endpoints com o rótulo cf-llm, e a detecção atual trabalha com o formato application/json. Para bloquear solicitações ou apresentar desafios com base nos resultados da detecção de injeção de prompt e outras ameaças, é necessário configurar regras do WAF. Os campos de detecção de IA são um complemento pago para Enterprise, e é necessário confirmar a disponibilidade com o provedor.
Ou seja, não depender do nome do modelo é diferente de inspecionar automaticamente imagens, documentos, respostas do modelo e caminhos internos da aplicação. Primeiro, verifique se suas entradas passam pelo escopo de inspeção.
Vale observar que o AI Gateway Guardrails, embora também seja da Cloudflare, é uma funcionalidade distinta. A documentação oficial informa que, quando o tipo de modelo é desconhecido, apenas a entrada é avaliada, e a avaliação da resposta é ignorada. O simples fato de conseguir se conectar ao gateway não significa necessariamente que as respostas também sejam inspecionadas.
O significado de “compatível” muda conforme a forma de conexão
Por exemplo, a lista de modelos compatíveis com o Amazon Bedrock Guardrails inclui modelos para os quais não é possível especificar guardrails diretamente nas chamadas de inferência. A documentação explica que fazer isso com um modelo não compatível gera um erro de validação. Já o ApplyGuardrail é uma API que pode inspecionar de forma independente o texto enviado pela aplicação, sem chamar um modelo.
Mesmo sob o mesmo nome de produto, “compatibilidade com modelos” tem significados diferentes na integração direta durante a inferência e em uma API independente. Uma API independente permite uma arquitetura em que a aplicação envia as entradas e saídas de outro modelo para inspeção, mas é necessário implementar tanto o processo de envio do conteúdo a ser inspecionado quanto o processo que utiliza os resultados. A descrição de um produto como independente de modelo, por si só, não permite concluir que todas as informações, incluindo imagens e áudio, serão inspecionadas.
A lista de compatibilidade do NVIDIA NeMo Guardrails abrange vários provedores e modelos hospedados por conta própria. No entanto, as formas de conexão e a necessidade de bibliotecas adicionais variam conforme o provedor. A abordagem mais segura é definir primeiro o modelo e o formato de API que serão utilizados e, depois, verificar essa combinação específica.
| Forma de conexão | O que verificar | Exemplo |
|---|---|---|
| Inspecionar na entrada da aplicação | URLs de destino, formatos de solicitação e campos inspecionados. Se documentos obtidos internamente e respostas passam por esse ponto | Cloudflare AI Security for Apps |
| Integrar às chamadas ao modelo | ID do modelo, API, região e recursos compatíveis com entradas e saídas | Integração do Amazon Bedrock Guardrails durante a inferência |
| Chamar uma API de inspeção independente | O que a aplicação envia, quando envia e como trata o resultado da avaliação. Informações não enviadas não são inspecionadas | ApplyGuardrail do Amazon Bedrock |
| Incorporar uma biblioteca à aplicação | Provedores compatíveis, adaptadores, diferenças entre recursos e suas próprias responsabilidades operacionais | NVIDIA NeMo Guardrails |
Mapeie o caminho das informações antes de se concentrar no modelo
Considere, por exemplo, um assistente de IA que pesquisa documentos internos para responder a perguntas.
Mesmo que o firewall na entrada examine as perguntas dos usuários, os documentos incorporados após a busca e os dados retornados por ferramentas externas podem não passar por essa entrada. Em relação à injeção indireta de prompt por meio de instruções embutidas em documentos, a explicação da OWASP também aponta documentos externos como um dos caminhos de ataque. A documentação do Amazon Bedrock Knowledge Bases também declara explicitamente que os guardrails do Amazon Bedrock não são aplicados aos materiais de referência recuperados durante a execução.
Durante a avaliação, diferencie pelo menos perguntas, documentos recuperados, argumentos e resultados de ferramentas e respostas do modelo, e registre quais controles inspecionam cada ponto. Se você trabalha com imagens ou áudio, verifique também se cada formato está realmente incluído no escopo de inspeção das políticas aplicadas. Ao trocar o modelo conectado, teste novamente se os mesmos caminhos e controles foram mantidos.
Pergunta do usuário → Inspeção de entrada → Busca → Documentos recuperados → Modelo → Inspeção de saída → Resposta
Resultados de ferramentas externas → Modelo (quando necessário)Teste a detecção e o bloqueio, os idiomas e o comportamento em caso de falha
“Consegue detectar” e “bloqueia automaticamente” não são a mesma coisa. O Microsoft Prompt Shields detecta padrões de ataque nas entradas dos usuários e nos documentos fornecidos. No entanto, com a Azure AI Content Safety API, é a aplicação que decide o que fazer após a detecção, como permitir ou bloquear o conteúdo. A ausência de um ataque detectado também não garante que o conteúdo seja seguro.
Nos testes antes da implantação, envie tanto perguntas normais nos idiomas utilizados quanto exemplos de ataques preparados dentro de um escopo autorizado. Verifique se passaram pela inspeção, se entradas legítimas foram bloqueadas por engano e se o tratamento após a detecção funcionou conforme esperado. Especialmente para idiomas diferentes do inglês, como o japonês, verifique não apenas os idiomas compatíveis com cada recurso, mas também seu comportamento com entradas reais. A Microsoft também recomenda avaliar o Prompt Shields em cada idioma utilizado.
Além disso, defina se o tráfego será permitido ou interrompido quando o serviço de inspeção atingir o tempo limite, se o streaming poderá exibir parte do conteúdo antes da inspeção e como evitar que informações confidenciais fiquem nos logs. O projeto não deve depender apenas da inspeção: também precisa reduzir ao mínimo as permissões das funções que o modelo pode chamar e exigir uma aprovação separada para operações importantes.
Perguntas frequentes
A inspeção continua após trocar o modelo?
Verifique o endpoint, o formato e os caminhos e teste novamente a detecção e o bloqueio.
O conteúdo é seguro se nenhum ataque for detectado?
Não. A inspeção pode deixar passar ataques ou caminhos; limite permissões e exija aprovação humana quando apropriado.
Como o Hi AUDIT Agent pode ajudar
Se, além de inspecionar entradas e saídas durante a execução, você também quiser revisar as verificações de permissão e o processamento de entradas no código da aplicação, poderá usar o Hi AUDIT Agent a partir do ambiente de desenvolvimento. Por meio do MCP, você pode solicitar uma análise do código e verificar os locais detectados e as correções propostas. Os resultados da análise servem como material de revisão; a decisão de aplicar as alterações cabe às pessoas. Ele não substitui um firewall de IA em operação sobre o tráfego em tempo real.
Criar uma conta no Hi AUDIT Agent