Como escolher uma ferramenta AI BOM para DevSecOps

O objetivo é verificar as licenças dos modelos, rastrear dependências vulneráveis ou identificar mudanças nos modelos em uso? Os campos e as ferramentas necessários variam conforme o objetivo. Comece incluindo no inventário o ID e a versão do modelo, o fornecedor, as dependências de software, os locais de uso e os responsáveis, além dos conjuntos de dados e das licenças, conforme necessário.

O ML-BOM do CycloneDX é um formato capaz de representar modelos, conjuntos de dados e outros elementos. No entanto, a existência de um campo no formato não significa que a ferramenta consiga obter seu valor no ambiente da sua empresa.

cdxgen é uma opção para gerar uma BOM a partir do código-fonte e de outras fontes. Dependency-Track recebe BOMs no formato CycloneDX e pode ser usado para o registro via CI/CD e a análise de componentes. A geração feita pelo primeiro e o recebimento e a gestão feitos pelo segundo são funções diferentes; por isso, avalie também seu uso combinado.

As ferramentas de geração também diferem quanto ao que analisam. O AIBoMGen CLI gera um AI BOM no formato CycloneDX com foco no uso de modelos do Hugging Face no repositório, e também há uma GitHub Action disponível. O xgrep analisa offline o uso de SDKs de IA e modelos no código e gera a saída no formato CycloneDX 1.6. No entanto, a saída do xgrep voltada à IA não inclui dependências de software em geral, sendo necessário gerar um SBOM separadamente.

Mesmo que você já use um gerador de SBOM, ele não necessariamente consegue coletar informações específicas dos modelos. Busque outras opções no CycloneDX Tool Center e verifique não apenas os formatos compatíveis, mas também os campos de informações dos modelos incluídos na saída, a CLI e a API, a autenticação e o fluxo existente de gestão de tickets.

O exemplo a seguir é oficial do cdxgen v13.6.0. Gere a BOM para um alvo que não contenha informações confidenciais e confira o ID, a versão e a licença do modelo com a configuração original. Trata-se de um exemplo de comando, não do resultado de uma execução neste ambiente.

Os conjuntos de dados e os modelos-base indicados no model card são informações declaradas pelo fornecedor. Não os trate como prova de uso efetivo no treinamento: verifique separadamente o conteúdo do card, as dependências observadas e as evidências dos jobs de treinamento.

cdxgen -r --include-formulation -o aibom.json --bom-audit --bom-audit-categories ai-bom .

Modelos selecionados em tempo de execução por variáveis de ambiente ou APIs externas podem passar despercebidos em uma análise apenas estática do repositório. Se estivéssemos na posição de revisar o código, compararíamos o inventário gerado com as configurações e os registros de uso da aplicação e investigaríamos as referências ausentes. A análise de código, por si só, nem sempre permite conhecer a totalidade do uso de modelos externos.

Após integrar à CI, altere a versão do modelo e verifique se a diferença aparece no próximo artefato e se os campos necessários são preservados no destino que o recebe. O sucesso do comando de geração, por si só, não garante que a CI falhará quando um problema for detectado. É necessário configurar separadamente as condições de falha e o tratamento dos códigos de saída, além de adotar um processo que não considere como aprovado aquilo que ainda aguarda verificação manual.