La verdadera pregunta que debemos hacer sobre la gobernanza de la IA

[2] Los líderes de literalmente todas las empresas Fortune 500 [3] le dirán que están gobernando su IA, todos y cada uno de ellos. Ahora pregunte a esos mismos líderes quién es responsable de apagar un modelo de IA que está causando daño. La mayoría de las personas no pueden responder esa pregunta.

[4] Ese silencio es la historia más importante en la tecnología empresarial en este momento, y rara vez, si es que alguna vez, se aborda.

[5] Durante los últimos años, una industria de gobernanza ha crecido silenciosamente en torno a la inteligencia artificial. Las empresas han creado registros para catalogar sus modelos de IA. Han implementado sistemas de clasificación para etiquetar sus datos. Han establecido paneles para monitorear el comportamiento de los modelos y consejos de riesgo para revisar nuevas implementaciones. Han redactado políticas, contratado oficiales de cumplimiento y presentado diapositivas a sus juntas directivas. La infraestructura de gobernanza se ha proliferado.

[6] Lo que falta es el gobernador.

[7] Quién puede apagar un modelo de IA

[8] Dirijo la gobernanza de datos e IA en Adobe. Mi trabajo es construir exactamente el tipo de programa que toda empresa ahora afirma tener. Y lo que he aprendido desde adentro, mientras me ensuciaba las manos, es que la parte difícil nunca es la tecnología. La parte difícil es una pregunta que suena casi insultantemente simple: Cuando un modelo de IA hace algo que no debería, ¿quién tiene la autoridad para detenerlo?

[9] La pregunta no es quién recibe la notificación. No es quién redacta el informe de incidentes. Es quién tiene la autoridad, la posición organizacional y, francamente, la seguridad laboral, para entrar a una reunión y decir: "Estamos apagando esto".

[10] En la mayoría de las empresas, esa persona o no existe o es un tigre de papel separado de los equipos de desarrollo organizativamente. Roles como los directores de ética de IA y grupos como los consejos de gobernanza de datos y [11] equipos de IA responsable [12] son completamente necesarios pero meramente consultivos. Pueden señalar. Pueden recomendar. Pueden escalar. Lo que generalmente no pueden hacer es presionar el botón de parada. La autoridad real de decisión está en otro lugar. Dentro de la mayoría de las empresas Fortune 500, generalmente está en manos de alguien cuyo trabajo principal es lanzar productos y cumplir objetivos de ingresos, y que tiene todos los incentivos para tratar la señal de gobernanza como una ocurrencia tardía en lugar de un mandato.

[13] Esto no es una crítica a los individuos; es una descripción de un problema estructural que la industria de la gobernanza ha optado en gran medida por ignorar porque la industria de la gobernanza vende herramientas, no responsabilidad.

[14] Estas herramientas son genuinamente útiles y vitales para el cumplimiento normativo y la gobernanza efectiva. Un registro de modelos le dice qué sistemas de IA existen y qué están haciendo. Un marco de clasificación de riesgos le dice cuáles merecen más escrutinio. Un sistema de linaje de datos le dice de dónde vinieron las entradas y si estaban limpias. Todo esto es infraestructura real e importante. Pero es infraestructura para la visibilidad, no infraestructura para la acción.

[15] Puede tener una visibilidad perfecta de un problema y ningún mecanismo para resolverlo. Tiene que ver algo para hacer algo, pero también tiene que tomar la manguera para apagar un incendio.

[16] Piénselo de esta manera: Una alarma de incendios no es un departamento de bomberos. Puede cablear cada habitación de su casa, cambiar diligentemente la batería de cada detector de humo anualmente y enrutar cada alerta a un hermoso panel, pero aún así su casa podría quemarse porque nadie tomó la manguera. Sí, es crítico saber que la casa se está quemando; de lo contrario, no sabría que necesita una manguera. Pero necesita que alguien le diga al departamento de bomberos que tome medidas.

[18] En Adobe, abordamos esto creando un modelo de gobernanza federado con propietarios designados para cada sistema de IA y un comité directivo centralizado, con autoridad de escalamiento, que reporta a la organización de confianza y seguridad, no al equipo de producto. Esa fue la decisión de diseño clave que tomamos: dar a la gobernanza una línea de reporte independiente de los equipos que lanzan productos de IA. Esto es esencial para que la persona que puede decir "no" a una decisión de IA no reporte a la persona que se beneficia de decir "sí" al lanzamiento de productos.

[19] Por qué se requiere urgencia

[20] Lo que está en juego aquí está aumentando rápidamente. La Ley de IA de la Unión Europea ya está en vigor, y no pide a las empresas que demuestren que tienen paneles. Les pide que demuestren que tienen una gobernanza significativa. Requiere una toma de decisiones documentada, líneas claras de responsabilidad y la capacidad de mostrar, después del hecho, quién tomó una decisión consecuente sobre un sistema de IA y por qué. Cuando los reguladores vengan haciendo esas preguntas, un documento de política y un registro de riesgos no serán respuestas suficientes. Los reguladores quieren un nombre.

[21] La necesidad urgente de gobernanza se ve agravada por la velocidad de implementación de la IA. La mayoría de las grandes empresas ahora ejecutan cientos de sistemas de IA en sus organizaciones, en lugares que los líderes quizás ni siquiera conocen. Encontrará herramientas de IA utilizadas en servicio al cliente, contratación, moderación de contenido, precios, detección de fraude y en cualquier lugar donde empleados bien intencionados solo intentan hacer sus vidas más fáciles. Muchos de estos sistemas se implementaron rápidamente, bajo presión, con la gobernanza tratada como algo que se resolvería en el futuro. El momento del futuro ha llegado.

[22] La respuesta no es frenar la adopción de la IA. Es tomar la cuestión del diseño organizacional tan en serio como la técnica. Cada programa de gobernanza de IA debería poder responder tres preguntas: ¿Quién tiene la autoridad para detener un modelo? ¿Saben que es su trabajo? ¿Y tienen la posición para ejercer esa autoridad cuando entra en conflicto con la hoja de ruta de otra persona?

[24] Si su empresa no puede responder esas preguntas, no tiene un programa de gobernanza. Tiene papeleo.

[25] Las empresas que navegarán los próximos cinco años de regulación de la IA y escrutinio público no son necesariamente las que tienen las herramientas más sofisticadas. Son las empresas que hicieron el trabajo más difícil y menos glamoroso de construir una estructura de responsabilidad humana para colocarla debajo de la tecnología.

[26] Estas organizaciones son las que nombraron un gobernador de IA, le dieron autoridad real y dejaron claro que el trabajo no era hacer más fácil la implementación de la IA, sino hacerla defendible. Estas organizaciones tienen un equipo federado autorizado para identificar, remediar y escalar, y saben que el escalamiento requiere un destino. Eso significa una función de gobernanza con una línea directa a la alta dirección, independiente de los equipos de producto que lanzan IA, con autoridad explícita para detener una implementación de IA.

[27] Toda empresa dice que gobierna su IA. La verdadera pregunta que separa la gobernanza del teatro es más simple que cualquier marco. Pregúntese: ¿Quién en mi organización puede decir "no" y tener la autoridad para que signifique algo?