¿Qué es la exfiltración de datos de IA?

La exfiltración de datos de IA es la transferencia o exposición no autorizada de información sensible a través de sistemas, herramientas, indicaciones, salidas, complementos, conectores o agentes de IA. Esto involucra todas las formas de IA utilizadas dentro de la empresa, incluyendo herramientas públicas de GenAI, IA integrada en herramientas SaaS, copilotos internos, agentes de IA autónomos y flujos de trabajo conectados a modelos.

Si bien la exfiltración de datos es una amenaza de larga data, la IA introduce nuevos riesgos y caminos de exfiltración a través de indicaciones, capas de recuperación, memoria, salidas e integraciones de terceros. Los datos sensibles pueden ser exfiltrados intencionalmente o accidentalmente debido a errores del usuario o a un diseño de sistema inseguro.

Aspectos Clave

• La exfiltración de datos de IA es la exposición o transferencia no autorizada de información sensible a través de sistemas de IA o flujos de trabajo habilitados por IA.
• Puede ocurrir a través de indicaciones, salidas, conectores, memoria, tuberías de entrenamiento o acciones de agentes.
• Tanto el comportamiento accidental del usuario como los ataques deliberados pueden llevar a la pérdida de datos relacionados con la IA.
• La IA en la sombra aumenta el riesgo porque las organizaciones pueden carecer de visibilidad, registro y aplicación de políticas.
• La prevención efectiva depende de la clasificación de datos, controles de acceso, monitoreo y filtrado de salidas.
• La exfiltración de datos de IA está relacionada con la fuga de datos, pero a menudo involucra caminos y comportamientos específicos de IA.

¿Qué significa la exfiltración de datos de IA?

La exfiltración de datos de IA es cuando datos sensibles salen del entorno corporativo a través de indicaciones, respuestas, incrustaciones y otros medios de IA. Esto incluye tanto la exfiltración intencional como las filtraciones accidentales debido a un uso indebido, mala configuración o controles de seguridad débiles.

La exfiltración de datos de IA se diferencia principalmente de la exfiltración de datos general en los medios de exfiltración, por ejemplo, herramientas de IA. La IA puede hacer que la exfiltración sea menos obvia al enviar datos en pequeños fragmentos, a través de solicitudes conversacionales o mediante acciones mediadas por herramientas. Además, la IA puede «accidentalmente» exfiltrar datos si cae presa de inyecciones de indicaciones, alucinaciones o problemas similares.

¿Qué tipos de datos están más en riesgo?

La IA puede filtrar cualquier tipo de dato sensible que procese, incluyendo:

• PII
• Datos financieros
• Datos de salud
• Código fuente
• Documentos internos
• Credencial
• Registro del cliente
• Contenido legal
• Secretos comerciales

La inteligencia artificial puede filtrar tanto datos estructurados como no estructurados, ya que las herramientas de IA procesan comúnmente texto libre, documentos, capturas de pantalla y contenido pegado. Como resultado, los datos sensibles que los usuarios tratan de manera casual en indicaciones o cargas pueden ser filtrados y pueden seguir siendo sensibles incluso si no son datos regulados.

Tipos de extracción de datos de IA

La inteligencia artificial introduce nuevas amenazas de exfiltración de datos, ya que los datos pueden moverse dentro y fuera de los sistemas de manera conversacional, incrustada o automatizada. Si bien el hacking es una posibilidad, muchas filtraciones comienzan con flujos de trabajo ordinarios y una mala gobernanza. 

Algunos tipos comunes de exfiltración de datos de IA incluyen:

• Exposición de indicaciones y entradas: Los usuarios pueden ingresar o pegar datos sensibles (registros confidenciales, código, información del cliente, etc.) en herramientas de IA públicas o no aprobadas, que utilizan estos datos para entrenamiento. Los datos también pueden ser recopilados por chatbots basados en navegadores, funciones de IA incrustadas en aplicaciones SaaS y copilotos de desarrolladores. Las indicaciones deben ser monitoreadas y registradas para detectar datos sensibles.
• Divulgación basada en la salida: Las herramientas de IA con acceso a datos sensibles pueden exponer esta información en sus respuestas a las indicaciones. Controles débiles pueden permitir esto a través de recuperaciones excesivas, autorización débil, exposición de memoria o generación de respuestas inseguras. Esta divulgación puede incluso ocurrir de manera no intencionada si la IA proporciona datos que el usuario no tenía la intención de compartir externamente.
• Conectores, Plugins y Acciones de Agentes: Los agentes de IA y las herramientas conectadas amplían la superficie de riesgo debido a la capacidad de la IA para llamar herramientas, consultar almacenes de datos o realizar acciones. Los conectores, plugins, integraciones de API, acceso a archivos y acceso a bases de conocimiento pueden aumentar el riesgo de filtraciones si no se implementan controles de privilegio mínimo y verificaciones de autorización.
• Riesgos de Memoria, Recuperación y Persistencia de Datos: Datos sensibles pueden ser almacenados en las capas de memoria de los flujos de trabajo de IA, sistemas de recuperación, almacenes de vectores, registros u otras capas de persistencia. Los datos que ingresan al sistema de esta manera podrían ser filtrados como parte de las salidas del modelo. Las organizaciones deben implementar controles de acceso sólidos para datos sensibles y políticas de retención, registro y gobernanza.

El Riesgo de la IA Sombra

La IA sombra es el uso no aprobado o no gestionado de IA para negocios, lo que puede crear puntos ciegos para los equipos de seguridad. Los empleados pueden utilizar herramientas de IA gratuitas o aplicaciones SaaS con IA integrada y copiar datos sensibles en ellas si no se previene mediante controles de acceso, clasificación y políticas aprobadas. Este uso no aprobado de la IA aumenta el riesgo de exfiltración de datos y es difícil de investigar debido a la falta de visibilidad y registros de auditoría.

Escenarios Comunes de Exfiltración de Datos de IA

La exfiltración de datos de IA puede ocurrir de diversas maneras, incluyendo:

• Herramientas GenAI Públicas: Contratos, datos de clientes, código fuente y otros datos sensibles pueden ser copiados en herramientas GenAI públicas para análisis o para apoyar otros flujos de trabajo. Si estas herramientas no están aprobadas y monitoreadas, los equipos de seguridad pueden no ver esta interacción, lo que lleva a la exfiltración de datos. La clasificación de datos y las políticas son esenciales para gestionar esta amenaza.
• Chatbots y Copilotos: Los asistentes de IA pueden tener acceso a documentos internos, tickets, repositorios y bases de conocimiento. Una autorización débil o una recuperación demasiado amplia pueden llevar a que contenido sensible se exponga accidentalmente al usuario equivocado. Se deben utilizar controles de salida y verificaciones de acceso para prevenir esto.
• Inyección de Prompts: Los ataques de inyección de prompts utilizan prompts elaborados para manipular a la IA y revelar información sensible o realizar acciones no deseadas. Esto se puede realizar directamente o incrustando instrucciones maliciosas en contenido externo o recursos vinculados. La inyección de prompts puede llevar a la exposición de datos internos, secretos o contenido de sistemas conectados, especialmente con agentes de IA autónomos y flujos de trabajo de recuperación.
• Herramientas y Acciones Externas: Los agentes de IA con acceso a herramientas pueden enviar, cargar, resumir o transferir datos sensibles a través de herramientas externas. El permiso y el alcance de la acción son críticos para prevenir la exfiltración a través de sistemas posteriores.

¿Cómo pueden las organizaciones detectar y reducir el riesgo de exfiltración de datos de IA?

La exfiltración de datos de IA es un riesgo significativo para el negocio, especialmente a medida que la IA se integra y se vuelve más autónoma. 

Las mejores prácticas para gestionar estos riesgos incluyen:

• Clasificación de Datos y Controles DLP: Las organizaciones necesitan identificar datos sensibles antes de que puedan ser protegidos adecuadamente. Los datos deben ser clasificados antes de ser expuestos a sistemas de IA para gestionar el acceso a los datos y sanitizar adecuadamente los prompts y las salidas del modelo. Con la IA, DLP es esencial para prevenir filtraciones de datos a través de datos no estructurados.
• Control de Acceso y Menor Privilegio: El acceso a herramientas de IA, conectores, almacenes de memoria y fuentes de datos empresariales debe ser limitado por rol y necesidad para reducir el riesgo de exfiltración de datos. La clasificación de datos, los controles de acceso basados en roles (RBAC) y las políticas de seguridad deben estar en su lugar y ser aplicadas antes de que los datos sean recuperados o utilizados para reducir el riesgo de exposición de datos sensibles.
• Monitoreo, Registro y Detección de Anomalías: Las organizaciones deben monitorear los mensajes, respuestas, uso de herramientas y flujos de datos en busca de eventos sospechosos o anómalos, como patrones de acceso inusuales, cargas de mensajes grandes, comportamientos de salida extraños o uso no aprobado de aplicaciones. Cuando sea posible, la telemetría de IA debe alimentar operaciones de seguridad más amplias para apoyar una estrategia centrada en la detección.
• Filtrado de Salida y Aplicación de Políticas: Tanto las entradas como las salidas pueden ser utilizadas en la exfiltración de datos de IA. La aplicación de políticas debe cubrir mensajes, cargas, descargas, comportamientos similares al portapapeles y respuestas generadas donde sea aplicable para prevenir que datos sensibles sean expuestos en las salidas del modelo o asistente.

Exfiltración de Datos de IA vs. Filtración de Datos vs. Violación de Datos

La exfiltración de datos de IA, la filtración de datos y la violación de datos son términos relacionados. Los elementos clave incluyen:

• Exfiltración de Datos: Generalmente intencional, transferencia, extracción o eliminación de datos no autorizada.
• Filtración de Datos: Generalmente exposición accidental o incontrolada.
• Violación de Datos: Un incidente de seguridad más amplio que incluye acceso no autorizado a datos, divulgación o exposición.

En entornos de IA, estos términos pueden superponerse. Por ejemplo, un mensaje puede generar respuestas involuntariamente con datos no autorizados, o un ataque de inyección de mensajes puede lograr el mismo objetivo intencionalmente. Ambos podrían llevar a una violación de datos y tener impactos similares en el negocio.

La Exfiltración de Datos de IA es una preocupación a nivel de Junta.

La exfiltración de datos de IA es un problema de seguridad de datos y gobernanza, no solo un problema de modelo. El riesgo aumenta cuando el uso de la IA se expande más rápido que la visibilidad, el control de acceso y la aplicación de políticas.

A medida que las herramientas de IA tocan cada vez más procesos empresariales sensibles, conocimiento interno y datos regulados, un control débil del uso de la IA puede afectar la privacidad, el cumplimiento, la protección de la propiedad intelectual y la confianza. Las organizaciones necesitan políticas para gestionar los riesgos de la IA en la sombra y la exfiltración de datos a través de indicaciones, salidas y herramientas conectadas.

PREGUNTAS FRECUENTES

¿Qué es la exfiltración de datos de IA?

La exfiltración de datos de IA es la exposición o transferencia no autorizada de datos sensibles a través de indicaciones, salidas, modelos, agentes o sistemas conectados de IA. Esto incluye tanto el robo intencionado de datos como las filtraciones accidentales por parte de usuarios o sistemas de IA.

¿Es la exfiltración de datos de IA lo mismo que la filtración de datos?

La exfiltración de datos de IA está relacionada con la filtración de datos, pero la filtración a menudo es no intencionada. En contraste, la exfiltración de datos suele ser intencionada; sin embargo, los sistemas de IA pueden difuminar las líneas debido a su capacidad para actuar de forma independiente.

¿Cómo pueden las herramientas de IA exponer información sensible?

Los sistemas de IA pueden exponer información sensible de diversas maneras, incluyendo a través de indicaciones, salidas, conectores, memoria, sistemas de recuperación y acciones de agentes. El riesgo de exfiltración de datos puede originarse por mal uso, mala configuración o ataques como la inyección de indicaciones.

¿Por qué aumenta la IA en la sombra el riesgo de exfiltración?

La IA en la sombra aumenta el riesgo de exfiltración ya que las herramientas no aprobadas no son monitoreadas ni están sujetas a políticas corporativas y herramientas de exfiltración de datos. Como resultado, la exfiltración es difícil de identificar e investigar.

¿Cómo pueden las organizaciones reducir el riesgo de exfiltración de datos de IA?

Los riesgos de exfiltración de datos de IA pueden reducirse mediante prácticas comunes de seguridad de datos, como la clasificación de datos, DLP, controles de acceso, monitoreo, registro, filtrado de salidas y gobernanza. La IA en la sombra y la creciente huella de la IA en la empresa significan que ningún control único es suficiente, y la defensa en profundidad es esencial para minimizar el riesgo de pérdida de datos.