Como manter uma AI BOM atualizada depois de criá-la? Acompanhando mudanças em modelos, RAG e agentes
Yuta Matsuyama
Pesquisador de segurança, TECHFUND Inc.
Atualizado:
Para quem é: Profissionais de desenvolvimento e segurança que operam APIs de modelos externos, RAG e agentes
Resposta prática
Uma AI BOM não está concluída depois de ser gerada uma única vez. Mesmo sem alterações no código, a configuração de produção pode mudar com atualizações de modelos externos ou com a sincronização de dados de recuperação. Diferencie a configuração definida das informações efetivamente verificadas e designe responsáveis pela conferência quando houver mudanças e em intervalos regulares. Não interprete campos em branco como indicação de segurança: acompanhe as informações desconhecidas como não verificadas.
A IA utilizada pode mudar mesmo com o mesmo código
Mesmo que a lista de componentes esteja correta no lançamento, ela se afastará da realidade se os modelos, os dados consultados ou as ferramentas conectadas mudarem depois. CycloneDX ML-BOM pode representar modelos, conjuntos de dados, dependências e outros elementos, mas a existência de um formato de descrição não significa que toda a configuração em execução seja descoberta automaticamente.
A tabela deste artigo oferece uma estrutura para que as equipes mantenham a AI BOM e os registros operacionais relacionados. Ela não afirma que os itens apresentados sejam campos obrigatórios do CycloneDX. Defina o que acompanhar e como observar, e registre também o que não puder ser verificado.
Separe a especificação do modelo da versão efetivamente utilizada
Primeiro, registre o ID do modelo configurado, o provedor, a API utilizada, o ambiente e o responsável pela aprovação. Depois, registre a versão real do modelo na medida em que ela puder ser verificada pelo console de gerenciamento ou pela API do provedor, por metadados de execução permitidos ou por fontes semelhantes, junto com a data e a hora da verificação. O ID exibido não necessariamente identifica os pesos internos do modelo ou seu histórico de treinamento. Se não for possível verificar, marque como não verificado e consulte o provedor do modelo.
No Microsoft Foundry Models, a versão do próprio modelo e a versão da API são distintas. Algumas implantações são atualizadas automaticamente para a versão padrão de acordo com a política de atualização, de modo que apenas as diferenças na configuração da aplicação podem não revelar as mudanças. Verifique a política real de cada modelo, plano e região utilizados e confira as notificações de atualização com os registros operacionais.
É importante não tratar como equivalentes os aliases dos nomes de modelos, as versões fixadas, os destinos de fallback e as informações não divulgadas pelo provedor. Mesmo ao registrar declarações públicas sobre os dados de treinamento ou o modelo base de um modelo externo, mantenha-as separadas das evidências que verificam de forma independente o uso real.
Acompanhe também os dados de RAG e as conexões dos agentes
Em RAG, gerencie não apenas o modelo de geração de respostas, mas também as fontes de dados de recuperação, as permissões, o momento da ingestão, o modelo de embeddings, as versões do índice e os trabalhos de atualização. Uma atualização no documento original não significa necessariamente que o índice de recuperação já a reflita. Por exemplo, no Amazon Bedrock Knowledge Bases, após adicionar, alterar ou excluir arquivos de uma fonte de dados, é feita uma sincronização para refletir as mudanças no índice. Verifique separadamente o status da sincronização e o momento em que os dados se tornaram pesquisáveis.
Também é importante não confundir os documentos de recuperação do RAG com os dados de treinamento. CycloneDX v1.7 modelCard.datasets representa os dados usados para treinar e avaliar esse modelo. Para evitar dar a impressão equivocada de que os documentos consultados durante a recuperação foram usados no treinamento, associe-os por meio de uma estrutura que diferencie sua finalidade ou por meio de registros operacionais separados.
Quando um agente chamar ferramentas externas, adicione ao inventário os destinos de conexão, as operações que podem ser executadas, as permissões utilizadas e seus responsáveis, além da versão da configuração. Essas informações são distintas dos dados de treinamento do modelo. Confira a configuração visível no repositório com as conexões efetivamente ativas em produção, usando fontes de informação às quais você tenha acesso autorizado.
Exemplo: Tratar diferenças entre a configuração e a realidade como pendentes de verificação
O exemplo operacional a seguir é fictício, não se trata de medições reais de um provedor ou de uma ferramenta. Suponha que a configuração da implantação especifique um alias de modelo cujo destino pode mudar e que o RAG esteja conectado a documentos internos e a uma ferramenta de busca externa.
Ao gerar um novo inventário, você constata que, embora a especificação do modelo permaneça igual, a última verificação da versão real é antiga e a conclusão da ingestão não foi confirmada, apesar da atualização dos documentos. Mesmo que o comando de geração seja bem-sucedido, não aprove esse estado como “sem alterações” ou “seguro”; solicite a cada responsável que confira as evidências.
| Objeto | Informações a manter no inventário | O que verificar a seguir |
|---|---|---|
| Modelo | ID configurado, versão verificada e data e hora da verificação. Se a versão não estiver visível, marcar como não verificada | Verificar pelo console de gerenciamento ou pelos metadados de resposta disponíveis e testar quando houver mudanças |
| Dados de RAG | ID da fonte de dados, versão do documento ou data e hora da atualização e status do trabalho de ingestão | Confirmar a conclusão da sincronização e a versão pesquisável. Distinguir os documentos originais do índice |
| Ferramentas externas | Identificador da ferramenta, destino de conexão, operações permitidas e responsável | Conferir as configurações e permissões efetivamente em vigor. Reavaliar o acesso quando houver mudanças |
Os itens e critérios são um exemplo operacional ilustrativo. Adapte-os aos formatos e serviços que você utiliza.
Defina os gatilhos de atualização e os responsáveis pelas informações não verificadas
Atualize o inventário nos lançamentos e nas mudanças de configuração e também estabeleça notificações separadas ou verificações periódicas para atualizações do provedor, sincronização de dados e mudanças de permissões. Ao registrar as diferenças em relação ao registro anterior, preserve não apenas os itens alterados, mas também a fonte, o horário de obtenção, quem verificou e o prazo da próxima verificação. Se não for possível obter uma informação, não trate isso como sucesso: encaminhe-a ao responsável como não verificada.
Os dados de treinamento descritos em materiais públicos não são os mesmos que os dados de recuperação verificáveis a partir dos logs reais de processamento. Registre sem misturar as declarações do cartão do modelo, os valores de configuração, as observações e as evidências verificadas de forma independente. As revisões de código e de configuração podem identificar mudanças nos destinos das referências, mas não podem comprovar os aspectos internos não divulgados dos modelos nem todos os caminhos de execução de uma API externa.
- Para cada alvo de lançamento e ambiente, defina os responsáveis e as fontes de informação dos modelos, dados e ferramentas.
- Registre os identificadores e horários que puder obter e revise as diferenças em relação ao registro anterior e os itens não verificados.
- De acordo com a mudança, confira as avaliações, as permissões e se ela foi refletida nos resultados de busca, e encaminhe os resultados e os riscos restantes ao responsável pela aprovação.
Aplique controles de acesso também ao próprio inventário
O inventário contém informações que você pode não querer divulgar externamente, como destinos de conexão e configurações internas. Não registre indiscriminadamente chaves de API, segredos, prompts de usuários ou o corpo dos documentos. Limite-se às informações necessárias para a finalidade pretendida e defina permissões de visualização, prazos de retenção e métodos de exclusão. O uso de hash também não garante o anonimato. OWASP cita controles de acesso e restrições às fontes de dados como medidas contra a exposição de informações sensíveis.
Perguntas frequentes
Se o nome do modelo for o mesmo, a AI BOM não precisa ser atualizada?
A AI BOM pode precisar de atualização mesmo que o nome do modelo continue o mesmo. Aliases ou atualizações do lado do gerenciamento podem alterar a versão real. Verifique a política de atualização do seu ambiente e a versão que pode ser confirmada.
Como registrar os dados de treinamento de um modelo externo quando eles são desconhecidos?
Diferencie as declarações públicas do provedor dos fatos verificados de forma independente e mantenha a informação como não divulgada ou não verificada. Não preencha as lacunas com suposições.
Como o Hi AUDIT Agent pode ajudar
Ao alterar os modelos ou os destinos de conexão, além de atualizar o inventário, também vale verificar a segurança do código modificado da aplicação. Com o Hi AUDIT Agent, você pode solicitar a análise do código em questão pelo chat de um ambiente de desenvolvimento compatível com MCP e consultar ali mesmo os fundamentos dos apontamentos e as sugestões de correção. Após as correções, é possível solicitar uma nova análise, facilitando a incorporação das mudanças às revisões do dia a dia. O Hi AUDIT Agent atualiza seus recursos de detecção e dados CVE no servidor, reduzindo o trabalho de atualizar localmente as regras de detecção do produto. Verifique separadamente as versões dos modelos efetivamente utilizadas e a configuração em produção, usando registros operacionais ou outras fontes.
Criar uma conta no Hi AUDIT Agent