Por qué está fallando la gobernanza de la IA… y qué es lo que realmente funciona

La adopción de la IA ha ido por delante de su gobernanza, y las consecuencias están afectando a las empresas.

Según un estudio de la Cloud Security Alliance (CSA), el 65% de las organizaciones afirma haber sufrido al menos un incidente relacionado con agentes de IA durante el último año. Casi la mitad ha relacionado fugas de datos confirmadas o sospechosas con el uso no autorizado de la IA generativa, según la encuesta Technology Pulse Poll de EY.

La brecha ya no radica en la falta de políticas, sino en la falta de controles que funcionen. Y la solución no pasa por más documentación, sino por una gobernanza mínima viable centrada en lo que realmente importa.

“Muchas empresas desarrollan actividades de IA, algunas cuentan con principios de IA, son menos las que disponen de controles de IA aplicables y aún menos las que tienen pruebas de que dichos controles funcionan”, reconoce Sara Jodka, abogada de Dickinson Wright que asesora a clientes sobre la gobernanza de la IA.

Lauren Kornutick, analista de Gartner, observa esto con frecuencia en sus clientes y advierte de que adaptar la gobernanza a posteriori es más difícil que integrarla desde el principio.

“El mayor problema que observo con la gobernanza tras las implementaciones es que resulta realmente difícil dar marcha atrás en decisiones anteriores”, dice, para añadir: “Si una organización era antes muy flexible en su uso de la IA y se produce un incidente, resulta mucho más complicado retirar herramientas o modelos a los que los primeros usuarios se habían acostumbrado”.

Las incógnitas conocidas

No se puede gestionar lo que no se ve. Y la mayoría de las organizaciones no tienen tanta visibilidad sobre su cartera de IA como creen.

Más de dos tercios (68%) de los encuestados por la CSA expresaron una gran confianza en su visibilidad de los agentes de IA, pero el 82% también informó de que había descubierto agentes de IA “en la sombra” durante el año anterior. Hillary Baron, vicepresidenta adjunta de investigación de la CSA, califica esto como un punto ciego disfrazado de seguridad en sí mismo.

En su opinión, “las organizaciones tienen una gran visibilidad de los agentes que conocen, y es fácil confundir eso con verlo todo. Una buena comprensión del conjunto conocido se convierte silenciosamente en la creencia de que no hay nada más ahí fuera”.

Por su parte, el 78% de los responsables tecnológicos afirma que la adopción de la IA está superando su capacidad para auditar o supervisar los sistemas, según EY. Y el 52% señala que las iniciativas de IA a nivel departamental funcionan sin aprobación ni supervisión formales.

La IA en la sombra ha evolucionado más allá de que los empleados se registren en ChatGPT. “Ahora incluye extensiones de navegador, funciones SaaS integradas, asistentes de código, herramientas de transcripción de reuniones, copilotos y flujos de trabajo autónomos”, señala Jodka.

En Deluxe, empresa dedicada a los pagos y los datos, el director de tecnología (CTDO), Yogaraj Jayaprakasam, adoptó un enfoque diferente: inundar el terreno con herramientas autorizadas antes de que la IA en la sombra pudiera arraigarse.

“La IA en la sombra no es un fallo tecnológico; es un vacío de gobernanza. Por eso, la implementamos de forma generalizada a propósito, para abrir una vía autorizada antes de que las no autorizadas se consolidaran”, explica.

¿De quién es la IA, al fin y al cabo?

Incluso cuando la IA es visible, a menudo no queda claro quién es responsable de su gobernanza.

Aproximadamente una cuarta parte de los CISO se encargan por completo de la gobernanza de la IA, mientras que más de la mitad comparten el liderazgo con otra función, según Kornutick. “Los CISO cuentan con la tecnología y los conocimientos técnicos necesarios para abordar los requisitos de inspección en tiempo de ejecución y de aplicación de políticas para la gobernanza de la IA”, afirma este especialista, para añadir: “Pero con frecuencia carecen de la experiencia necesaria para aplicar medidas de protección en función del contexto o para tomar decisiones sobre qué IA debe utilizarse y con qué finalidad”.

La fragmentación de la responsabilidad es un problema, según Jodka, de Dickinson Wright. La responsabilidad exclusiva del departamento jurídico puede establecer normas, pero no puede aplicar controles en el código. La responsabilidad exclusiva del departamento de TI fracasa porque la gobernanza de la IA abarca la privacidad, la discriminación, la propiedad intelectual, la ciberseguridad y el riesgo normativo. La responsabilidad exclusiva de un comité “a menudo se vuelve lenta y meramente simbólica”, afirma Jodka. Ésta recomienda un modelo de tres vertientes: los desarrolladores son responsables de los sistemas que implementan; los departamentos jurídico, de seguridad y de cumplimiento normativo establecen las normas y revisan los usos de alto riesgo; y la auditoría interna comprueba si el programa funciona realmente.

El reto de la coordinación es real, coincide Aslam Rawoof, socio de Benesch Law. “La IA abarca todas las facetas de la organización. No puede ser responsabilidad exclusiva del departamento técnico o del jurídico. Se necesita, literalmente, un comité que se reúna periódicamente —integrado por los departamentos jurídico, técnico y financiero— y que informe al director general, si no al consejo de administración”, explica.

El punto ciego del ‘back-end’

La gobernanza tiende a centrarse en la parte visible: aprobar herramientas y redactar políticas de uso aceptable. Pero la parte oculta —saber cuándo desactivar algo— recibe mucha menos atención. De hecho, según la CSA, solo el 21% de las organizaciones cuenta con procesos formales de desactivación de agentes de IA, y los riesgos asociados se agravan con el tiempo.

“Un agente que no ha sido dado de baja no está inactivo”, advierte Baron, de la CSA, quien admite que “sigue conservando credenciales válidas y acceso permanente, pero ahora ya nadie lo supervisa. Eso es lo que lo hace más peligroso que un fallo en el momento del lanzamiento”.

La CSA denomina a esto “deuda de retirada”, y se acumula de forma invisible. Cada agente que se ha puesto en marcha y nunca se ha desactivado amplía silenciosamente la superficie de ataque.

Los agentes lo cambian todo

La IA basada en agentes eleva aún más las apuestas. Cuando la IA era una ventana de chat, la cuestión de gobernanza era qué herramienta comprar. Cuando la IA se convierte en un agente que realiza acciones dentro de los sistemas, la cuestión pasa a ser quién es responsable de lo que hace.

“Eso afecta a TI, a la unidad de negocio, al departamento jurídico y al de riesgos, todo a la vez. La mayoría de los organigramas no se diseñaron pensando en eso”, afirma Jayaprakasam.

La mayoría de los modelos de gobernanza se diseñaron para un ritmo más lento. “Incluso cuando existe gobernanza, la encuesta muestra que se basa en revisiones periódicas y en la aprobación humana en los puntos de decisión, en lugar de en una aplicación continua y en tiempo real. Se trata de un modelo diseñado para un trabajo al ritmo humano, aplicado a sistemas que actúan de forma autónoma y a la velocidad de una máquina”, explica a su vez Baron.

Lo que realmente funciona

La perfección no es el objetivo, sino establecer prioridades. “Los directores de sistemas de información (CIO) no tienen que destacar en todos los aspectos de la gobernanza, sino solo en gestionar los aspectos innegociables, como los casos de uso de alto riesgo, los casos de uso transformadores o la seguridad y la privacidad”, reconoce Kornutick, de Gartner.

Baron, de la CSA, está de acuerdo. En su opinión, “los agentes que combinan un amplio acceso con una gran autonomía son aquellos a los que debes dedicar tus controles más estrictos y tu mayor atención”.

Más allá de la priorización, hay algunos aspectos que distinguen a una gobernanza de la IA que da resultados:

• Cambia las decisiones. “¿Este proceso nos lleva alguna vez a no financiar algo o a detenerlo?”, pregunta Jayaprakasam. “Si todas las iniciativas que entran en el proceso salen aprobadas, no tienes gobernanza, tienes un servicio de certificación notarial”.
• Es un sistema operativo, no un memorándum jurídico. “Las organizaciones que aplican correctamente la gobernanza mantienen un inventario de IA actualizado, clasifican los casos de uso según el riesgo, integran controles en los flujos de trabajo existentes y recurren a la aplicación técnica —no sólo a políticas escritas—”, afirma Jodka.
• Mide lo que importa. En Deluxe, Jayaprakasam se basa en lo que él denomina “evaluaciones”: un conjunto estándar de tareas y rúbricas de puntuación para cada capacidad de IA. “Las evaluaciones marcan la diferencia entre “creemos que esto funciona” y “podemos demostrar que esto funciona”, afirma. Y añade: “También son lo que te permite tomar la decisión de retirar una tecnología sin que se convierta en una lucha política, porque es la cifra —y no la parte interesada que más se hace oír— la que determina la decisión”. Y ese trabajo nunca termina: “Sin medición, la gobernanza no es más que una opinión con una invitación en el calendario”, afirma Jayaprakasam.
• Se basa en lo que ya tienes. Kornutick desaconseja crear la gobernanza desde cero. “La IA no es más que otro tipo de tecnología y, para muchas organizaciones, lo que deberían hacer es simplemente mejorar los procesos existentes en función de las novedades que aporta la IA y de los riesgos que esta amplifica”, afirma.

El objetivo, añade Kornutick, es la alineación —”que todos remen en la misma dirección”—, donde la gobernanza se considera un facilitador del negocio, no un obstáculo. Gartner lo denomina “retorno de la integridad”: realizar inversiones en gobernanza que impulsen el negocio en lugar de frenarlo.