¿Qué es la gobernanza de la IA?

La gobernanza de la IA es un conjunto de políticas, procedimientos y controles diseñados para gestionar el uso de la IA en una organización y su exposición a los riesgos asociados. Si bien la IA es una tecnología útil, conlleva varios riesgos para el negocio, como la posibilidad de violaciones de datos o alucinaciones de la IA que perjudican los procesos empresariales.

A medida que las empresas se vuelven más dependientes de la IA, la gobernanza de la IA es crítica para gestionar la exposición al riesgo de seguridad y garantizar el cumplimiento normativo. Además de políticas y procedimientos, un programa efectivo de gobernanza de la IA requiere controles técnicos para hacer cumplir las políticas y procedimientos administrativos.

¿Por qué es importante la gobernanza de la IA para las empresas modernas?

La mayoría de las empresas modernas están explorando el potencial de la IA para mejorar los procesos empresariales. Con el auge de la IA agente, esto incluye confiar en agentes de IA para operar de manera autónoma, con poca o ninguna supervisión humana. Esto introduce un riesgo significativo para el negocio si los agentes de IA cometen errores o violan las políticas corporativas.

Además, la creciente integración de la IA en soluciones SaaS significa que los empleados pueden utilizar soluciones de IA no autorizadas para fines comerciales. Esta IA en la sombra crea el potencial de filtraciones de datos y otras amenazas relacionadas con la IA si una organización carece de visibilidad y control sobre este uso de la IA.

La gobernanza de la IA es esencial para garantizar que el uso de la IA esté alineado con las necesidades del negocio, los objetivos de seguridad corporativa y los requisitos de cumplimiento. Las empresas deben definir políticas específicas de IA para Secure Access Service Edge (SASE), Secure Web Gateway (SWG), Data Loss Prevention (DLP), Cloud Access Security Broker (CASB) y Zero Trust Network Access (ZTNA) para hacer cumplir estos requisitos.

¿Qué riesgos ayuda a mitigar la gobernanza de la IA?

Las herramientas de IA pueden introducir varios riesgos para el negocio en relación con las operaciones, la seguridad y otros factores. Algunas de las amenazas más significativas que un programa maduro de gobernanza de la IA puede mitigar incluyen:

• Resultados Inexactos: Las herramientas de IA pueden producir resultados incorrectos o «alucinar» debido a datos de entrenamiento incompletos o incorrectos. La gobernanza de la IA puede ayudar a identificar alucinaciones y gestionar sus efectos.
• Filtración de Datos: Las herramientas de IA con acceso a datos sensibles pueden revelarlos a terceros no autorizados de diversas maneras. Los controles de seguridad de datos son vitales para gestionar los datos accesibles a la IA y lo que esta hace con esta información.
• IA en la sombra El uso no autorizado de herramientas de IA puede mover información sensible fuera del control de la empresa. Los programas de gobernanza de IA pueden ayudar a detectar y prevenir el uso de herramientas de IA no autorizadas.
• Mal uso de la IA: Los atacantes o insiders maliciosos con acceso a herramientas de IA pueden utilizarlas para recopilar información sensible o dañarla para causar perjuicio a la empresa. Monitorear y controlar las entradas a los sistemas de IA puede proteger contra la inyección de comandos y el mal uso de la IA.

Funciones principales de un programa de gobernanza de IA

Un programa de gobernanza de IA está diseñado para identificar y abordar los principales riesgos asociados con el uso de IA en una organización. Esto incluye todo, desde decidir qué datos alimentar a un modelo de IA hasta gestionar el uso empresarial de herramientas habilitadas por IA y garantizar el cumplimiento de las regulaciones de protección de datos. Lograr estos objetivos es un proceso continuo y en múltiples etapas, ya que el uso de IA por parte de una organización y sus riesgos asociados evolucionan, y sus políticas y procedimientos se vuelven más maduros.

Desarrollo de políticas y controles de riesgo

Las políticas de gobernanza de IA corporativa deben definir políticas que gestionen los diversos aspectos de sus operaciones de IA. Algunas políticas clave incluyen:

• Uso aceptable de herramientas de IA
• Políticas de control de acceso para agentes de IA
• Restricciones de manejo y compartición de datos para IA

Estas políticas probablemente evolucionarán con el tiempo y deben especificar las reglas para herramientas internas frente a externas. Por ejemplo, un LLM corporativo que sea interno a la red corporativa puede tener más acceso a información sensible que ChatGPT y otras herramientas de IA de terceros.

Monitoreo y supervisión del uso

La supervisión y la visibilidad del uso de la IA son esenciales para la seguridad de los datos y el cumplimiento normativo. Si se permite que los sistemas de IA accedan a información protegida, entonces la organización necesita poder verificar que estos datos se utilizan y aseguran de manera adecuada.

Los elementos clave de un programa de monitoreo de IA incluyen:

• Herramientas de red para identificar el uso de herramientas de IA autorizadas y no autorizadas
• Herramientas de visibilidad de seguridad de datos para monitorear el flujo de datos sensibles hacia y desde las herramientas de IA
• Registro de sesiones de IA y realización de revisiones de interacciones de IA
• Informe sobre el uso general de la IA y las interacciones sospechosas

La supervisión continua es esencial para gestionar las posibles amenazas de seguridad que plantea el uso de la IA. Una vez que ha ocurrido una filtración de datos o un agente de IA comete un error en un flujo de trabajo crítico, puede ser demasiado tarde para revertir el daño.

Implementación de la Gobernanza de IA en la Práctica

La gobernanza de IA se implementa típicamente a través de un proceso iterativo, donde la organización crea nuevas políticas y controles a medida que el programa madura o el uso de la IA evoluciona. Por ejemplo, una organización podría inicialmente definir políticas que bloqueen el uso de ciertas herramientas de IA y luego actualizarlas para permitir su uso con ciertas restricciones.

Estas políticas deben implementarse a través de una colaboración entre los equipos de seguridad, legal, TI y cumplimiento. Esto asegura que las políticas satisfagan las diversas necesidades del negocio: proteger contra ciberataques, riesgos legales y no cumplimiento, mientras que también sean efectivamente aplicables. Las políticas y controles también deben revisarse y actualizarse regularmente para garantizar su efectividad y realizar mejoras continuas.

Definición de Herramientas de IA Aprobadas y Restringidas

A medida que la IA se integra cada vez más en soluciones SaaS y otro software, las empresas necesitan decidir qué herramientas están permitidas y cuáles están prohibidas. Estas decisiones deben basarse en una evaluación del riesgo asociado con la herramienta, equilibrado con los beneficios comerciales potenciales que proporciona. Por ejemplo, si una organización implementa una herramienta SaaS en su nube privada, esto representa una propuesta de riesgo muy diferente a la de una herramienta similar gestionada por un tercero. Las herramientas internas pueden ser más confiables y tener acceso a una gama más amplia de datos sensibles.

Incluso después de sancionar una herramienta en particular, una organización debe controlar su acceso. Definir procesos de incorporación, uso aceptable y políticas de manejo de datos proporciona la visibilidad y el control necesarios para el uso de la IA.

Gestión de Acceso a Datos y Reglas de Clasificación

Las filtraciones de datos y el uso indebido son un riesgo principal asociado con el uso de la IA. Los datos pueden ser expuestos accidentalmente a terceros no autorizados o utilizados de maneras que pongan en riesgo los datos, el negocio o a sus clientes.

Las políticas de clasificación y manejo de datos deben basarse en la sensibilidad asociada con los datos. Por ejemplo, una organización puede prohibir que la mayoría de la información personal identificable (PII) sea procesada por la IA, pero permitir que las herramientas internas accedan a nombres y direcciones de clientes. Sin embargo, todos los sistemas de IA externos podrían estar prohibidos de acceder a PII para gestionar los riesgos de violación de datos y de incumplimiento regulatorio.

¿Qué es un Marco de Gobernanza de IA?

Los marcos de gobernanza de IA, como el Marco de Gestión de Riesgos de IA del NIST (RMF), están diseñados para ayudar a las organizaciones a crear políticas y controles para gestionar su exposición al riesgo de IA. Estos marcos cubren componentes clave de gobernanza de IA: responsabilidad, transparencia, seguridad y supervisión, y detallan cómo las organizaciones pueden crear y madurar sus programas. Al construir programas utilizando estos marcos, las organizaciones también pueden simplificar el cumplimiento al mapear los requisitos regulatorios a los controles dentro del marco.

Elementos Clave Encontrados en Marcos Comunes

Los marcos de gobernanza de IA pueden tener diferentes objetivos y pueden incluir una variedad de elementos. Algunos de los más significativos incluyen:

• Documentación del Modelo: La documentación del modelo detalla el modelo en uso, sus datos de entrenamiento y otros factores para apoyar la auditabilidad y la responsabilidad.
• Evaluación de Sesgos: Las evaluaciones de sesgos intentan identificar sesgos que pueden existir en un modelo debido a su presencia en los datos de entrenamiento.
• Explicabilidad: La explicabilidad se refiere a la capacidad de entender cómo un modelo de IA llegó a una decisión, apoyando la detección de sesgos y errores.
• Controles de Datos: Los controles de datos restringen la información disponible para un sistema de IA para proteger la privacidad y seguridad de los datos.
• Evaluaciones de Impacto: Las evaluaciones de impacto determinan los efectos potenciales de implementar un modelo de IA en el negocio, los clientes y la sociedad para permitir gestionar cualquier daño.
• Monitoreo de Deriva del Modelo: El monitoreo de deriva del modelo trabaja para detectar cambios en el rendimiento de un modelo a lo largo del tiempo, basado en su exposición a datos adicionales y entrenamiento continuo.
• Documentación del Entrenamiento: La documentación del entrenamiento proporciona información sobre cómo se crea el modelo y apoya la auditoría y el cumplimiento.
• Procedimientos de Inferencia: Los procedimientos de inferencia explican cómo un modelo procesa la entrada para generar salidas, lo cual es útil para evaluar la fiabilidad para su uso en producción.

¿Cómo deben las organizaciones evaluar las opciones de certificación de gobernanza de IA?

Las certificaciones de gobernanza de IA validan la efectividad de las políticas de gobernanza de IA de una organización. Estas certificaciones pueden ser útiles por diversas razones, como el cumplimiento normativo o la construcción de confianza con clientes y socios.

Al evaluar las certificaciones de gobernanza de IA, los factores clave a considerar incluyen:

• Alcance y frecuencia de las auditorías
• Nivel de rigor
• Alineación con políticas internas
• Alineación con requisitos regulatorios (GDPR, PCI DSS, etc.)

¿Cómo se alinea la gobernanza de IA con los controles de políticas SASE?

Los programas de gobernanza de IA tienen una efectividad limitada si las políticas no se aplican a través de controles técnicos. Las arquitecturas SASE son ideales para la aplicación de políticas de IA debido a su profunda y completa visibilidad en el tráfico de red de una organización y su interacción con soluciones SaaS y otros programas.

Rol de SWG en la supervisión de IA

Los SWG ayudan a las organizaciones a monitorear el tráfico web de los usuarios y a hacer cumplir las políticas de seguridad corporativa. Estos controles pueden ampliarse para apoyar la gobernanza de IA al inspeccionar el contenido que fluye hacia y desde las herramientas de IA en busca de exfiltración de datos, inyección de prompts y otras amenazas. Esta visibilidad en los recursos basados en la web proporciona un control crítico sobre el creciente uso de herramientas SaaS habilitadas para IA.

Rol de DLP en la prevención de la fuga de datos

Las herramientas de prevención de pérdida de datos (DLP) están diseñadas para identificar y bloquear el intercambio de datos sensibles con destinatarios no autorizados. Con el auge de la IA, el uso de DLP se expande para incluir la restricción de datos sensibles que se compartan con herramientas de IA o que sean exfiltrados por agentes de IA. Si bien DLP no puede gestionar la inyección de prompts y riesgos similares, puede reducir sus impactos controlando el acceso a datos sensibles.

Identificación de herramientas de IA en la sombra

La IA en la sombra es una amenaza creciente con la proliferación de herramientas SaaS, aplicaciones basadas en navegadores, extensiones de navegador no autorizadas y otras herramientas de IA no gestionadas. A menudo, las organizaciones sin un programa de gobernanza de IA maduro carecen de visibilidad sobre estas soluciones, exponiéndolas a la pérdida de datos y otras amenazas. Al monitorear el uso de aplicaciones de IA no autorizadas, las organizaciones pueden bloquear o restringir su uso de acuerdo con las políticas corporativas.

Preguntas frecuentes sobre la gobernanza de IA

¿Cuál es el objetivo de la gobernanza de IA?

La gobernanza de IA está diseñada para gestionar los riesgos del uso de IA en relación con la seguridad, el cumplimiento y las operaciones. Un programa de gobernanza de IA gestiona el uso de IA y los datos que fluyen hacia y desde ella para mitigar los principales riesgos de IA para el negocio.

¿Qué es un marco de gobernanza de IA?

Un marco de gobernanza de IA es una herramienta diseñada para ayudar a las organizaciones a desarrollar sus propios programas de gobernanza de IA que cumplan con los requisitos de seguridad y cumplimiento. Un ejemplo es el Marco de Gestión de Riesgos de IA del NIST (AI RMF), que detalla las mejores prácticas de seguridad para la gestión de sistemas de IA.

¿Cómo reduce la gobernanza de IA el riesgo de IA en la sombra?

La IA en la sombra es principalmente un riesgo cuando una organización carece de visibilidad y control sobre el uso no autorizado de herramientas habilitadas por IA. La gobernanza de IA proporciona la capacidad de detectar el uso no autorizado de IA y hacer cumplir las políticas corporativas de IA para que el uso de IA cumpla con las políticas corporativas.

¿Quién es responsable de la gobernanza de IA en una empresa?

La responsabilidad de la gobernanza de IA se distribuye en toda la organización, ya que la IA puede poner en riesgo el negocio de diversas maneras. Por ejemplo, la IA puede introducir el riesgo de ciberataques, demandas legales o incumplimiento normativo. Por esta razón, la gobernanza de IA se implementa mejor a través de un consejo multifuncional, que incluya los equipos de seguridad, TI, legal y cumplimiento, que asegure que las políticas y controles de IA satisfagan las necesidades de todas las partes del negocio.

¿Se requiere la gobernanza de IA para el cumplimiento normativo?

Si bien las regulaciones pueden no requerir explícitamente la gobernanza de IA, a menudo se requiere implícitamente por leyes de protección de datos como el GDPR y regulaciones como NIS2. Esto se debe a que las herramientas de IA pueden poner en riesgo la exposición de datos sensibles, utilizar indebidamente datos protegidos o causar fallos que impacten las operaciones de los sistemas centrales. Los programas de gobernanza de IA pueden ayudar a garantizar el cumplimiento de los requisitos de estas regulaciones.

La Gobernanza de IA y su Papel en las Operaciones Empresariales Seguras

A medida que las empresas se vuelven más dependientes de la IA, permitiéndole el acceso a datos sensibles y flujos de trabajo críticos, la gobernanza de IA es esencial. Definir y hacer cumplir las políticas de gobernanza de IA desde el principio ayuda a las organizaciones a reducir el riesgo de incidentes costosos e implementar un programa que pueda escalar y madurar con el tiempo.

Al crear una gobernanza de IA crítica, es vital asegurar que las políticas y procedimientos estén respaldados y sean aplicados por controles técnicos. De lo contrario, la IA en la sombra y los atacantes pueden ser capaces de violar o eludir las políticas para lograr sus objetivos a expensas de la seguridad y el cumplimiento normativo de la organización.

Las soluciones SASE son ideales para esto, ya que los controles de SWG, DLP y visibilidad de la superficie de ataque pueden extenderse para cubrir amenazas y soluciones de IA también. Desplegar estas capacidades como parte de una plataforma de seguridad convergente con una profunda visibilidad en todo el tráfico de WAN también ayuda a eliminar brechas de visibilidad y simplificar la gestión.