AI BOM을 만든 뒤 어떻게 계속 갱신할까? 모델·RAG·에이전트의 변경 추적
Yuta Matsuyama
TECHFUND 주식회사 보안 연구원
업데이트:
대상 독자: 외부 모델 API, RAG, 에이전트를 운영하는 개발·보안 담당자
핵심 답변
AI BOM은 한 번 생성했다고 끝나는 것이 아닙니다. 코드가 바뀌지 않아도 외부 모델 업데이트나 검색용 데이터 동기화로 운영 환경의 구성이 바뀔 수 있습니다. 설정한 구성과 실제로 확인된 정보를 구분하고, 변경 시점과 정기 대조 작업의 책임자를 정하세요. 알 수 없는 정보는 빈칸을 안전하다는 뜻으로 해석하지 말고, 미확인 상태로 추적해야 합니다.
코드가 같아도 사용하는 AI는 바뀐다
릴리스 시점의 구성 명세서가 정확하더라도 이후 모델, 검색 대상 데이터, 연결된 도구가 바뀌면 목록은 실제 상태와 점점 어긋납니다. CycloneDX ML-BOM은 모델, 데이터 세트, 의존 관계 등을 표현할 수 있지만, 기술 형식이 있다고 해서 실행 중인 모든 구성이 자동으로 발견되는 것은 아닙니다.
이 글의 표는 팀이 AI BOM과 관련 운영 기록을 유지하기 위한 정리 틀입니다. 표의 항목이 CycloneDX의 필수 필드라고 주장하는 것은 아닙니다. 대상과 관측 방법을 정하고, 확인할 수 없는 사항도 기록하세요.
지정한 모델과 실제 사용된 버전을 구분한다
먼저 설정한 모델 ID, 제공자, 사용하는 API, 환경, 승인자를 기록합니다. 다음으로 제공자의 관리 화면이나 API, 허용된 런타임 메타데이터 등으로 확인할 수 있는 범위에서 실제 모델 버전과 확인 일시를 남깁니다. 표시된 ID가 반드시 내부 모델의 가중치나 학습 이력까지 식별하는 것은 아닙니다. 확인할 수 없다면 미확인으로 표시하고 모델 제공자에게 문의하세요.
Microsoft Foundry Models에서는 모델 자체의 버전과 API 버전이 별개입니다. 일부 배포는 업데이트 정책에 따라 기본 버전으로 자동 업데이트되므로, 애플리케이션의 설정 차이만으로는 변화를 파악하지 못할 수 있습니다. 사용하는 모델·플랜·리전별로 실제 정책을 확인하고, 업데이트 알림과 운영 기록을 대조하세요.
모델 이름의 별칭, 고정된 버전, 폴백 대상, 제공자가 공개하지 않은 정보를 동일하게 취급하지 않는 것이 중요합니다. 외부 모델의 학습 데이터나 베이스 모델에 관한 공개 성명을 기록할 때도, 실제 사용 여부를 독립적으로 확인한 증거와는 구분해야 합니다.
RAG 데이터와 에이전트의 연결 대상도 추적한다
RAG에서는 답변 생성 모델뿐 아니라 검색 대상 데이터 소스, 권한, 수집 시점, 임베딩 모델, 인덱스 버전과 업데이트 작업도 관리 대상으로 삼습니다. 원본 문서가 업데이트되어도 검색 인덱스에 이미 반영되었다고 볼 수는 없습니다. 예를 들어 Amazon Bedrock Knowledge Bases에서는 데이터 소스의 파일을 추가·변경·삭제한 뒤 동기화하여 인덱스에 반영합니다. 동기화 상태와 검색이 가능해진 시점은 별도로 확인하세요.
RAG 검색 문서를 학습 데이터와 혼동하지 않는 것도 중요합니다. CycloneDX v1.7 modelCard.datasets는 해당 모델의 학습 및 평가에 사용된 데이터를 나타냅니다. 검색 시 참조하는 문서가 학습에 사용된 것으로 오인되지 않도록, 용도를 구분한 구성이나 별도의 운영 기록을 통해 해당 문서를 연계해 주세요.
에이전트가 외부 도구를 호출한다면 연결 대상, 실행 가능한 작업, 사용하는 권한과 담당자, 설정 버전을 목록에 추가합니다. 이는 모델의 학습 데이터와는 다른 정보입니다. 저장소에서 파악할 수 있는 설정과 운영 환경에서 실제로 활성화된 연결 대상은 접근 권한이 있는 정보원을 통해 대조합니다.
예시: 설정과 실제 상태의 차이를 확인 대기로 처리한다
다음은 가상의 운영 예시이며, 제공자나 도구의 실측값이 아닙니다. 배포 설정에서는 가리키는 대상이 바뀔 수 있는 모델 별칭을 지정하고, RAG에는 사내 문서와 외부 검색 도구를 연결했다고 가정합니다.
새 목록을 생성해 보니 지정한 모델은 같지만 실제 버전을 확인한 일시가 오래되었고, 문서는 업데이트되었는데 수집 완료 여부를 확인하지 못한 상태입니다. 생성 명령이 성공했더라도 이 상태를 ‘변경 없음’이나 ‘안전’으로 승인하지 말고, 각 담당자에게 근거 확인을 요청합니다.
| 대상 | 목록에 남길 정보 | 다음으로 확인할 사항 |
|---|---|---|
| 모델 | 설정한 ID, 확인된 버전, 확인 일시. 버전이 보이지 않으면 미확인으로 표시 | 관리 화면이나 사용 가능한 응답 메타데이터로 확인하고, 변경 시 테스트 |
| RAG 데이터 | 데이터 소스 ID, 문서 버전 또는 업데이트 일시, 수집 작업 상태 | 동기화 완료 여부와 검색 가능한 버전을 확인. 원본 문서와 인덱스를 구분 |
| 외부 도구 | 도구 식별자, 연결 대상, 허용하는 작업, 담당자 | 실제로 적용된 설정과 권한을 대조. 변경 시 접근 권한을 재평가 |
항목과 판단은 설명을 위한 운영 예시입니다. 사용 중인 형식과 서비스에 맞게 조정하세요.
갱신 계기와 미확인 정보의 담당자를 정한다
릴리스나 설정 변경 시 목록을 갱신하고, 제공자 업데이트, 데이터 동기화, 권한 변경에 대해서는 별도 알림이나 정기 점검도 마련합니다. 이전 기록과의 차이에는 변경된 항목뿐 아니라 출처, 취득 시각, 확인자, 다음 확인 기한을 남깁니다. 정보를 취득하지 못했다면 성공과 동일하게 처리하지 말고, 미확인 상태로 담당자에게 전달합니다.
공개 자료에 기재된 학습 데이터와 실제 처리 로그에서 확인할 수 있는 검색용 데이터는 같지 않습니다. 모델 카드의 기재 내용, 설정값, 관측 결과, 독립적으로 확인된 증거를 섞지 말고 기록하세요. 코드나 설정 리뷰로 참조 대상의 변경을 찾을 수는 있지만, 외부 API에서 공개하지 않은 모델 내부나 모든 실행 경로를 증명할 수는 없습니다.
- 릴리스 대상과 환경별로 모델·데이터·도구의 책임자와 정보원을 정한다.
- 취득할 수 있는 식별자와 시각을 기록하고, 이전 기록과의 차이 및 미확인 항목을 검토한다.
- 변경에 따라 평가·권한·검색 결과 반영 여부를 확인하고, 결과와 남은 위험을 승인자에게 전달한다.
목록 자체에도 접근 제어를 적용한다
인벤토리에는 연결 대상이나 내부 구성 등 외부에 공개하고 싶지 않은 정보가 포함됩니다. API 키, 비밀 정보, 이용자의 프롬프트나 문서 본문을 무조건 기록하지 말고, 목적에 필요한 정보로 범위를 좁힌 뒤 열람 권한, 보관 기간, 삭제 방법을 정하세요. 해시 처리한다고 반드시 익명화되는 것도 아닙니다. OWASP는 민감 정보 노출에 대한 대응책으로 접근 제어와 데이터 소스 제한을 제시합니다.
자주 묻는 질문
모델 이름이 같다면 AI BOM을 갱신하지 않아도 되나요?
아니요. 별칭이나 관리 측 업데이트로 실제 버전이 달라질 수 있습니다. 사용 환경의 업데이트 정책과 확인 가능한 버전을 조사하세요.
외부 모델의 학습 데이터를 알 수 없을 때는 어떻게 기록하나요?
제공자의 공개 성명과 독립적으로 확인된 사실을 구분하고, 미공개·미확인 상태로 남깁니다. 추측으로 채우지 마세요.
Hi AUDIT Agent가 돕는 방법
모델이나 연결 대상을 변경했을 때는 목록을 업데이트하는 것과 함께 변경한 앱 코드의 보안도 확인해 보는 것이 좋습니다. Hi AUDIT Agent를 사용하면 MCP를 지원하는 개발 환경의 채팅에서 대상 코드의 분석을 요청하고, 지적된 부분의 근거와 수정안을 그 자리에서 확인할 수 있습니다. 수정 후 다시 분석을 요청할 수 있어 변경 사항을 일상적인 검토로 이어 가기 쉬워집니다. Hi AUDIT Agent의 탐지 기능과 CVE 데이터는 서버에서 업데이트되므로 이 제품의 탐지 규칙을 로컬에서 업데이트하는 수고를 줄일 수 있습니다. 실제로 사용된 모델 버전과 운영 환경의 구성은 운영 기록 등을 통해 별도로 확인해 주세요.
Hi AUDIT Agent 가입하기