Exposición y modos de fallo
Rutas observadas donde la IA generativa conecta lenguaje con datos, identidad, herramientas, permisos o decisiones antes de que el gobierno tenga suficiente agarre.
Los datos de entrenamiento, ajuste fino o embeddings se manipulan deliberadamente para introducir vulnerabilidades, sesgos o puertas traseras que comprometen la seguridad, el rendimiento o el comportamiento ético del modelo resultante.
La salida generada por el modelo se pasa a sistemas posteriores sin validación ni saneamiento, permitiendo ataques como XSS, inyección de comandos o SSRF a través de contenido generado por el modelo.
El modelo genera información falsa o engañosa presentada con apariencia de autoridad, que los usuarios pueden aceptar sin verificar, con consecuencias legales, reputacionales o de seguridad.
El prompt de sistema — instrucciones internas, reglas de negocio o configuración no destinadas al usuario final — se filtra a través de las respuestas del modelo, revelando lógica interna o facilitando ataques posteriores.
La aplicación permite un uso descontrolado de recursos o consultas al modelo — sin límites de tasa, coste o volumen — habilitando denegación de servicio, agotamiento económico o abuso del servicio.
Los sistemas que generan, almacenan o consultan vectores y embeddings en arquitecturas RAG presentan riesgos de seguridad propios: inyección a través de datos indexados, fuga de información entre inquilinos o manipulación de la recuperación.
Un agente puede convertir repositorios, issues, archivos, dependencias, herramientas y pipelines en una cadena de ejecución no confiable.
Un sistema de IA puede ejecutar acciones que exceden su fiabilidad, autorización o modelo de supervisión.
Sistemas de IA llaman a herramientas o APIs sin validación, autorización, límites de uso o salvaguardas operativas suficientes.
Instrucciones no confiables entran en un flujo de IA y compiten con la autoridad prevista del sistema.
Datos empresariales, personales, regulados o secretos pueden moverse por prompts, salidas, registros, recuperación o herramientas conectadas.
El uso de IA no aprobado o desconocido elimina visibilidad sobre tratamiento de datos, identidad, compras y respuesta a incidentes.
