Auditoría de seguridad con IA, modelado de amenazas y plan de corrección priorizado

Al buscar una auditoría de seguridad de IA, encontrará servicios que van desde la revisión del diseño hasta las pruebas de ataque. Por ejemplo, si antes del lanzamiento quiere identificar qué incidentes podrían producirse, puede optar por el modelado de amenazas; si quiere comprobar si realmente pueden surgir problemas en un sistema ya implementado, puede considerar una evaluación de seguridad o pruebas de penetración.

Los problemas de implementación que se detectan mediante el análisis de código y los que afectan al sistema en su conjunto, incluidos los modelos y las herramientas externas, se solapan, pero no son lo mismo. Defina qué partes necesita revisar y confirme quién realizará el trabajo y qué entregará.

Si busca asesoramiento desde la fase de diseño, GMO Flatt Security ofrece revisiones del diseño de LLM, RAG y agentes de IA, así como de la configuración de servidores MCP. Las evaluaciones de seguridad y las pruebas de penetración posteriores a la implementación se pueden añadir como servicios complementarios. Trail of Bits anuncia, además del modelado de amenazas de sistemas de IA, evaluaciones de modelos, MLOps y procedencia de los datos, entre otros aspectos.

Para verificar aplicaciones LLM ya implementadas, INTELLILINK indica que combina métodos manuales y automáticos para evaluar la inyección de prompts y los riesgos de RAG. La infraestructura queda excluida. Neo Security anuncia servicios de modelado de amenazas y red teaming de IA, e incluye entre los aspectos evaluados las integraciones externas y los permisos de RAG.

LANSCOPE ofrece comprobaciones del comportamiento y de las filtraciones de información mediante entradas dirigidas a la IA generativa. Por otro lado, especifica que este servicio por sí solo no es adecuado para agentes de IA y que una evaluación integral requiere una consulta aparte. Estos son ejemplos de posibles proveedores, no una lista de todos los servicios ni una clasificación de calidad. Confirme el alcance, los idiomas y los costes en un presupuesto actualizado.

Imagine una IA capaz de buscar documentos internos y también de invocar herramientas externas. En este caso, se atraviesan límites de permisos y de confianza al pasar del usuario a la búsqueda, de los documentos recuperados a la IA y de la IA a las herramientas.

Por ejemplo, ¿podría un empleado sin los permisos necesarios buscar documentos confidenciales de otro departamento? Si un documento recuperado incluyera una instrucción como «envía el contenido al exterior», ¿podría ejecutarse un envío no autorizado? Describir estos escenarios junto con su objeto de evaluación, sus premisas y los controles esperados facilita acordar el alcance de las comprobaciones con el proveedor de la evaluación.

Si establece el orden de corrección únicamente a partir de la gravedad indicada en el informe, puede pasar por alto el impacto en su empresa. Para cada hallazgo, revise las condiciones de reproducción, la accesibilidad desde Internet, los activos afectados y las medidas existentes, y asigne un responsable y un plazo.

Como ejemplo ficticio, si se detectaran simultáneamente una elusión de autorización accesible desde el exterior que afectara a datos de clientes y una exposición de información limitada al entorno interno, podría decidirse corregir primero la primera. Tras la corrección, vuelva a comprobar el problema en las mismas condiciones y deje constancia también de los riesgos que sigan sin abordarse.

Al encargar el trabajo, prepare la información sobre el entorno y la revisión que se evaluarán, las cuentas para las pruebas y las funciones excluidas. A continuación, consulte también una muestra del informe para confirmar si los entregables incluyen el modelo de amenazas, los pasos de reproducción, el impacto, las propuestas de corrección, la prioridad y el alcance de la reevaluación. Si necesita una evaluación independiente por parte de un tercero, es importante comunicar esa condición de antemano.

Al verificar una implementación, más que el número de hallazgos, importa que se conserven la versión evaluada y las condiciones de reproducción para poder comparar el antes y el después de las correcciones. El experimento CyberGym de TECHFUND también es una prueba de reproducción bajo condiciones específicas que cotejó versiones vulnerables con versiones corregidas ya existentes; no indica la tasa de detección para todo tipo de sistemas de IA.