Um firewall de IA pode ser usado com qualquer modelo de IA? Como avaliar sua cobertura

Yuta Matsuyama

Pesquisador de segurança, TECHFUND Inc.

Atualizado:

Para quem é: Desenvolvedores de aplicações de IA e equipes de segurança

Resposta prática

Ao implantar um firewall de IA, verificar apenas se ele é compatível com o modelo que você usa atualmente pode deixar sem proteção alguns dos caminhos que deseja proteger. Isso porque até um produto que funciona independentemente do modelo pode, na prática, inspecionar apenas solicitações que chegam em um formato específico. A conclusão é que a compatibilidade entre um firewall de IA e um modelo depende do produto e da forma de conexão. Se o mecanismo inspeciona as entradas da aplicação antes que elas cheguem ao modelo, talvez seja possível continuar usando-o no mesmo ponto mesmo após trocar de modelo. Por outro lado, em recursos integrados às chamadas ao modelo, a disponibilidade varia conforme o provedor, o ID do modelo e a API.

O que verificar primeiro

Verifique os pontos nesta ordem: ① onde posicionar a inspeção, ② o que ela pode inspecionar e ③ o que acontece após a detecção. A comparação abaixo se baseia na documentação oficial disponível em 13 de novembro de 2026. As especificações e as condições de cobrança podem mudar; por isso, consulte as informações mais recentes antes da implantação.

O “Firewall for AI” da Cloudflare é independente de modelo, mas há condições para as entradas que ele pode inspecionar

Se o nome que você pesquisou se refere ao produto da Cloudflare, primeiro preste atenção à nomenclatura. O AI Security for Apps da Cloudflare se chamava anteriormente “Firewall for AI”. A documentação oficial explica que a detecção não depende do LLM utilizado.

No entanto, segundo essa mesma documentação, a inspeção abrange solicitações recebidas em endpoints com o rótulo cf-llm, e a detecção atual trabalha com o formato application/json. Para bloquear solicitações ou apresentar desafios com base nos resultados da detecção de injeção de prompt e outras ameaças, é necessário configurar regras do WAF. Os campos de detecção de IA são um complemento pago para Enterprise, e é necessário confirmar a disponibilidade com o provedor.

Ou seja, não depender do nome do modelo é diferente de inspecionar automaticamente imagens, documentos, respostas do modelo e caminhos internos da aplicação. Primeiro, verifique se suas entradas passam pelo escopo de inspeção.

Vale observar que o AI Gateway Guardrails, embora também seja da Cloudflare, é uma funcionalidade distinta. A documentação oficial informa que, quando o tipo de modelo é desconhecido, apenas a entrada é avaliada, e a avaliação da resposta é ignorada. O simples fato de conseguir se conectar ao gateway não significa necessariamente que as respostas também sejam inspecionadas.

O significado de “compatível” muda conforme a forma de conexão

Por exemplo, a lista de modelos compatíveis com o Amazon Bedrock Guardrails inclui modelos para os quais não é possível especificar guardrails diretamente nas chamadas de inferência. A documentação explica que fazer isso com um modelo não compatível gera um erro de validação. Já o ApplyGuardrail é uma API que pode inspecionar de forma independente o texto enviado pela aplicação, sem chamar um modelo.

Mesmo sob o mesmo nome de produto, “compatibilidade com modelos” tem significados diferentes na integração direta durante a inferência e em uma API independente. Uma API independente permite uma arquitetura em que a aplicação envia as entradas e saídas de outro modelo para inspeção, mas é necessário implementar tanto o processo de envio do conteúdo a ser inspecionado quanto o processo que utiliza os resultados. A descrição de um produto como independente de modelo, por si só, não permite concluir que todas as informações, incluindo imagens e áudio, serão inspecionadas.

A lista de compatibilidade do NVIDIA NeMo Guardrails abrange vários provedores e modelos hospedados por conta própria. No entanto, as formas de conexão e a necessidade de bibliotecas adicionais variam conforme o provedor. A abordagem mais segura é definir primeiro o modelo e o formato de API que serão utilizados e, depois, verificar essa combinação específica.

Métodos de conexão e verificações
Forma de conexãoO que verificarExemplo
Inspecionar na entrada da aplicaçãoURLs de destino, formatos de solicitação e campos inspecionados. Se documentos obtidos internamente e respostas passam por esse pontoCloudflare AI Security for Apps
Integrar às chamadas ao modeloID do modelo, API, região e recursos compatíveis com entradas e saídasIntegração do Amazon Bedrock Guardrails durante a inferência
Chamar uma API de inspeção independenteO que a aplicação envia, quando envia e como trata o resultado da avaliação. Informações não enviadas não são inspecionadasApplyGuardrail do Amazon Bedrock
Incorporar uma biblioteca à aplicaçãoProvedores compatíveis, adaptadores, diferenças entre recursos e suas próprias responsabilidades operacionaisNVIDIA NeMo Guardrails

Mapeie o caminho das informações antes de se concentrar no modelo

Considere, por exemplo, um assistente de IA que pesquisa documentos internos para responder a perguntas.

Mesmo que o firewall na entrada examine as perguntas dos usuários, os documentos incorporados após a busca e os dados retornados por ferramentas externas podem não passar por essa entrada. Em relação à injeção indireta de prompt por meio de instruções embutidas em documentos, a explicação da OWASP também aponta documentos externos como um dos caminhos de ataque. A documentação do Amazon Bedrock Knowledge Bases também declara explicitamente que os guardrails do Amazon Bedrock não são aplicados aos materiais de referência recuperados durante a execução.

Durante a avaliação, diferencie pelo menos perguntas, documentos recuperados, argumentos e resultados de ferramentas e respostas do modelo, e registre quais controles inspecionam cada ponto. Se você trabalha com imagens ou áudio, verifique também se cada formato está realmente incluído no escopo de inspeção das políticas aplicadas. Ao trocar o modelo conectado, teste novamente se os mesmos caminhos e controles foram mantidos.

Exemplo de fluxo de informações
Pergunta do usuário → Inspeção de entrada → Busca → Documentos recuperados → Modelo → Inspeção de saída → Resposta
Resultados de ferramentas externas → Modelo (quando necessário)

Teste a detecção e o bloqueio, os idiomas e o comportamento em caso de falha

“Consegue detectar” e “bloqueia automaticamente” não são a mesma coisa. O Microsoft Prompt Shields detecta padrões de ataque nas entradas dos usuários e nos documentos fornecidos. No entanto, com a Azure AI Content Safety API, é a aplicação que decide o que fazer após a detecção, como permitir ou bloquear o conteúdo. A ausência de um ataque detectado também não garante que o conteúdo seja seguro.

Nos testes antes da implantação, envie tanto perguntas normais nos idiomas utilizados quanto exemplos de ataques preparados dentro de um escopo autorizado. Verifique se passaram pela inspeção, se entradas legítimas foram bloqueadas por engano e se o tratamento após a detecção funcionou conforme esperado. Especialmente para idiomas diferentes do inglês, como o japonês, verifique não apenas os idiomas compatíveis com cada recurso, mas também seu comportamento com entradas reais. A Microsoft também recomenda avaliar o Prompt Shields em cada idioma utilizado.

Além disso, defina se o tráfego será permitido ou interrompido quando o serviço de inspeção atingir o tempo limite, se o streaming poderá exibir parte do conteúdo antes da inspeção e como evitar que informações confidenciais fiquem nos logs. O projeto não deve depender apenas da inspeção: também precisa reduzir ao mínimo as permissões das funções que o modelo pode chamar e exigir uma aprovação separada para operações importantes.

Perguntas frequentes

A inspeção continua após trocar o modelo?

Verifique o endpoint, o formato e os caminhos e teste novamente a detecção e o bloqueio.

O conteúdo é seguro se nenhum ataque for detectado?

Não. A inspeção pode deixar passar ataques ou caminhos; limite permissões e exija aprovação humana quando apropriado.

Como o Hi AUDIT Agent pode ajudar

Se, além de inspecionar entradas e saídas durante a execução, você também quiser revisar as verificações de permissão e o processamento de entradas no código da aplicação, poderá usar o Hi AUDIT Agent a partir do ambiente de desenvolvimento. Por meio do MCP, você pode solicitar uma análise do código e verificar os locais detectados e as correções propostas. Os resultados da análise servem como material de revisão; a decisão de aplicar as alterações cabe às pessoas. Ele não substitui um firewall de IA em operação sobre o tráfego em tempo real.

Criar uma conta no Hi AUDIT Agent