Auditoria de segurança com IA, modelagem de ameaças e plano de correção priorizado

Ao procurar uma auditoria de segurança de IA, você encontrará diversos serviços, desde revisões de projeto até testes de ataque. Por exemplo, se quiser mapear quais incidentes podem ocorrer antes do lançamento, a modelagem de ameaças é uma opção. Se quiser verificar se problemas realmente podem ocorrer em um sistema já implementado, considere avaliações de segurança ou testes de penetração.

Os problemas de implementação encontrados pela análise de código e os problemas do sistema como um todo, incluindo modelos e ferramentas externas, têm pontos em comum, mas não são a mesma coisa. Defina claramente quais partes precisam ser avaliadas e confirme quem realizará o trabalho e o que será entregue.

Para quem deseja orientação desde a fase de projeto, a GMO Flatt Security informa que oferece revisão de projetos de LLMs, RAG e agentes de IA, além de configurações de servidores MCP. Avaliações de segurança e testes de penetração após a implementação podem ser combinados como serviços adicionais. A Trail of Bits apresenta, além da modelagem de ameaças para sistemas de IA, avaliações de modelos, MLOps e proveniência de dados.

Para verificar aplicações com LLMs já implementadas, a INTELLILINK informa que combina métodos manuais e automatizados para avaliar injeção de prompts e riscos de RAG. A infraestrutura está fora do escopo. A Neo Security apresenta serviços de modelagem de ameaças e red teaming de IA, incluindo integrações externas e permissões de RAG entre os itens avaliados.

A LANSCOPE informa que verifica o comportamento e o vazamento de informações por meio de entradas fornecidas à IA generativa. Por outro lado, declara expressamente que esse serviço, isoladamente, não é adequado para agentes de IA, sendo necessário consultar o fornecedor separadamente para uma avaliação abrangente. Esses são exemplos de possíveis fornecedores, não uma lista de todos os serviços nem um ranking de qualidade. Confirme o escopo oferecido, os idiomas e os custos em uma proposta atualizada.

Imagine uma IA capaz de pesquisar documentos internos e também acionar ferramentas externas. Nesse caso, o fluxo atravessa limites de permissão e confiança: do usuário para a busca, dos documentos recuperados para a IA e da IA para as ferramentas.

Por exemplo: um funcionário sem permissão conseguiria pesquisar documentos confidenciais de outro departamento? Se uma instrução como “envie o conteúdo para fora da organização” fosse inserida em um documento recuperado, seria possível executar um envio não autorizado? Registrar esses cenários junto com seus alvos, premissas e controles esperados facilita o alinhamento do escopo de verificação com o fornecedor da avaliação.

Definir a ordem das correções apenas pela gravidade indicada no relatório pode fazer com que os impactos específicos para sua empresa sejam ignorados. Para cada apontamento, verifique as condições de reprodução, a possibilidade de acesso pela internet, os ativos afetados e as medidas de proteção existentes, e estabeleça um responsável e um prazo.

Em um exemplo fictício, se forem encontrados simultaneamente um desvio de autorização explorável externamente que afete dados de clientes e uma exposição de informações limitada ao ambiente interno, uma decisão possível seria corrigir o primeiro antes. Após a correção, repita a verificação nas mesmas condições e registre também os riscos ainda não tratados.

Ao solicitar o serviço, reúna as informações sobre o ambiente e a revisão a serem avaliados, as contas para os testes e as funcionalidades fora do escopo. Em seguida, consulte também uma amostra de relatório para confirmar se os entregáveis incluem o modelo de ameaças, os procedimentos de reprodução, os impactos, as propostas de correção, as prioridades e o escopo da reavaliação. Se precisar de uma avaliação independente realizada por terceiros, é importante informar essa condição antecipadamente.

Na verificação da implementação, mais importante do que a quantidade de apontamentos é registrar a versão avaliada e as condições de reprodução para permitir uma comparação antes e depois das correções. O experimento da TECHFUND com o CyberGym também é um teste de reprodução sob condições específicas, que comparou uma versão vulnerável com uma versão corrigida já existente, e não representa a taxa de detecção em todos os sistemas de IA.