Redefinir la gestión para una mano de obra sobrehumana

Por cuarto año consecutivo, MIT Sloan Management Review y Boston Consulting Group (BCG) han reunido a un grupo internacional de expertos en inteligencia artificial formado por académicos y profesionales para que nos ayuden a comprender cómo se está aplicando la inteligencia artificial responsable en las organizaciones de todo el mundo. En la primavera de 2025, también realizamos una encuesta a ejecutivos de todo el mundo con 1.221 respuestas para conocer el grado en que las organizaciones están abordando la IA responsable. En nuestra artículo más recienteEn el artículo anterior, exploramos la relación entre la explicabilidad y la supervisión humana a la hora de responsabilizar a los sistemas de IA. En esta ocasión, profundizamos en la responsabilidad de la IA agéntica. Aunque no existe una definición consensuada, IA agéntica se refiere en general a los sistemas de IA capaces de perseguir objetivos de forma autónoma tomando decisiones, emprendiendo acciones y adaptándose a entornos dinámicos sin supervisión humana constante. Según Índice de agentes de IA del MITLa implantación de estos sistemas está aumentando en campos como la ingeniería de software y el servicio al cliente, a pesar de la escasa transparencia sobre sus componentes técnicos, usos previstos y seguridad.

Dada la aparente falta de gobernanza, pedimos a nuestro panel que reaccionara a la siguiente provocación: Responsabilizar a la IA de sus decisiones y acciones requiere nuevos enfoques de gestión.. Una clara mayoría (69%) está de acuerdo o muy de acuerdo con la afirmación, argumentando que la IA agéntica presenta un cambio de paradigma debido a su capacidad para realizar tareas complejas de forma autónoma a escala y su potencial para crear una mano de obra sobrehumana. Muchos expertos sostienen que los marcos de gestión deben replantearse para adaptarse a la nueva dinámica en la que los seres humanos colaboran cada vez más con agentes de IA en el lugar de trabajo. Sin embargo, una sólida minoría (25%) se opone a este punto de vista, advirtiendo de que refleja una especie de "excepcionalismo de la IA" que podría desviar la atención de la responsabilidad de las personas y las organizaciones. Creen, en cambio, que los marcos de gestión existentes pueden adaptarse para mantener una clara responsabilidad humana sobre el diseño, el comportamiento y los resultados de los sistemas de IA agéntica.

A continuación, compartimos los puntos de vista de nuestros panelistas y nos basamos en nuestra propia experiencia en RAI para recomendar cómo las organizaciones pueden introducir nuevos enfoques de gestión o reimaginar los existentes para mejorar la rendición de cuentas y la supervisión de los sistemas de IA agéntica y una fuerza de trabajo cada vez más híbrida entre humanos e IA.

Los sistemas de IA agenética desafían los modelos de gestión tradicionales. La mayoría de nuestros expertos cree que la IA agéntica requiere nuevos enfoques de gestión debido a su mayor autonomía y complejidad en comparación con tecnologías anteriores. Como observa Shamina Singh, presidenta del Centro Mastercard para el Crecimiento Inclusivo, "estos sistemas aportan niveles de autonomía, complejidad y riesgo sin precedentes, lo que obliga a las organizaciones a replantearse las estrategias de gestión tradicionales." Jai Ganesh, jefe de producto de Harman International, señala que "los sistemas de gestión tradicionales están diseñados para sistemas deterministas", mientras que "los sistemas de IA agéntica funcionan de forma independiente, están orientados a objetivos y tienen capacidad de memoria y razonamiento, lo que hace que sus decisiones sean complejas, autónomas y opacas". Esto, argumenta, "hace necesaria la definición de las funciones de los agentes, incluidas las decisiones permitidas, los límites de uso de los datos, los límites éticos y la escalada de los umbrales de confianza". Aunque existen con los trabajadores humanos, son implícitas y dependen del juicio tanto del director como del trabajador. Sin embargo, los sistemas de IA agenética requieren normas y umbrales definidos explícitamente. Conseguir que sean correctos puede ser todo un reto y queda fuera de los modelos de gestión tradicionales. Yan Chow, de Automation Anywhere, añade: "Probar la causalidad y el fallo se vuelve increíblemente difícil, especialmente con sistemas de IA complejos, autónomos y opacos."

Nuestros expertos también señalan que la velocidad y la escala sobrehumanas de la IA agéntica son especialmente perturbadoras. Como explica Shelley McKinley, directora jurídica de GitHub, "los flujos de trabajo actuales no se construyeron teniendo en cuenta la velocidad y la escala de la IA, por lo que para subsanar las deficiencias serán necesarios nuevos modelos de gobernanza, vías de decisión más claras y procesos rediseñados que permitan rastrear, auditar e intervenir en las decisiones impulsadas por la IA."

Tshilidzi Marwala, de la Universidad de las Naciones Unidas, coincide en que "debido a su toma de decisiones autónoma, su aprendizaje adaptativo y sus operaciones de alta velocidad, la IA agéntica es difícil de manejar para los modelos de gestión tradicionales, creados para la agencia humana". David Hardoon, responsable de habilitación de IA en Standard Chartered Bank, advierte: "Los viejos modelos de gestión, creados para sistemas de ritmo humano, se quedan cortos a la hora de seguir el comportamiento dinámico de la IA, con el riesgo de que se produzcan errores o daños no abordados". Esto "puede acarrear consecuencias importantes si no se controla", añade, "lo que requiere una supervisión automatizada con guardarraíles éticos".

Ante estos retos, varios panelistas abogan por una supervisión continua e iterativa. Como explica Franziska Weindauer, Directora General de TÜV AI.Lab, "estos sistemas toman decisiones por sí solos, y esas decisiones pueden afectar directamente a las personas, los flujos de trabajo y las decisiones críticas". La gobernanza de la IA, dice, significa que los humanos permanecen implicados a lo largo de todo el ciclo de vida. Sin embargo, añade Weindauer, "no basta con ejecutar una lista de comprobación una vez y darlo por hecho", sino que "para rendir cuentas, las organizaciones necesitan herramientas y procesos que sigan los sistemas de IA durante todo su uso". Douglas Hamilton, responsable de investigación e ingeniería de IA en Nasdaq, sugiere convertir "las revisiones periódicas y rápidas de los procesos en un proceso técnico de aprendizaje y diseño impulsado por la rentabilidad". Los directivos necesitarán nuevas habilidades para proporcionar una supervisión eficaz, y los diseñadores de sistemas de IA agéntica deben crear sistemas que permitan este tipo de supervisión.

La IA agenética nos obliga a replantearnos la relación entre humanos y máquinas. Más allá de la supervisión técnica, la gestión de la IA agéntica también requiere claridad sobre la relación entre los seres humanos y los agentes de IA. Katia Walsh, responsable de IA de Apollo Global Management, aboga por un modelo colaborativo: "Si procedemos de forma responsable, los humanos colaborarán con los "trabajadores de IA", los supervisarán y se asegurarán de que alcanzan los objetivos previstos con integridad". Pero otros cuestionan si la supervisión humana debe prevalecer siempre. "El verdadero reto llega cuando los humanos anulan la IA y se equivocan", postula Alyssa Lefaivre Škopac, directora de confianza y seguridad de la IA en el Alberta Machine Intelligence Institute. Se pregunta: "¿Debe darse siempre prioridad a la toma de decisiones humana, o tenemos que diferir a la IA en ciertos casos?". Del mismo modo, Hamilton advierte que "los sistemas de IA agéntica exigen que los gestores piensen detenidamente en los costes de equivocarse, qué intervenciones son aceptables sin supervisión humana y cuáles la requerirían".

Nuestros expertos también hacen hincapié en que todo el mundo debe replantearse la responsabilidad, ya que los agentes de la IA no son personas, lo que significa que todavía no podemos exigirles responsabilidades de la misma manera. "Como la IA carece de personalidad jurídica", señala Chow, "no puede ser demandada directamente, encarcelada o considerada responsable del mismo modo que los seres humanos o las empresas". Marwala añade: "También son esenciales nuevos marcos legales y éticos porque los sistemas legales existentes no reconocen a la IA como persona jurídica, lo que requiere una gestión proactiva y abierta del ciclo de vida de la IA que vaya más allá de las métricas de rendimiento convencionales." McKinley, de GitHub, sostiene que "dado que la IA no es una persona o entidad jurídica, la rendición de cuentas por las decisiones y acciones exige una responsabilidad amplia y compartida desde el principio". Y añade: "Los creadores de IA agenética deben incorporar elementos como la transparencia y la supervisión humana durante el desarrollo, mientras que los usuarios deben desplegarlas de forma responsable y supervisar y documentar sus repercusiones".

En última instancia, se trata de responsabilizar a las personas, no a la IA. No todo el mundo está de acuerdo en que la IA agéntica exija nuevos modelos de gestión. Ben Dias, científico jefe de IA en IAG, rechaza la idea de que "la IA requiera cambios revolucionarios en las prácticas organizativas probadas", argumentando que "los directivos delegan habitualmente en miembros del equipo cuyos procesos de toma de decisiones no pueden predecir o controlar totalmente, pero mantienen la responsabilidad mediante límites claros, una supervisión centrada en los resultados y un seguimiento adecuado". Para Dias, "la IA agéntica simplemente representa un nuevo tipo de miembro de equipo dentro de este marco establecido". El presidente del RAI Institute, Manoj Saxena, argumenta de forma similar que "si su IA actúa como un empleado (o peor, como un equipo de autónomos), es hora de empezar a gestionarla como tal".

Otros también consideran que los llamamientos a nuevos modelos de gestión están fuera de lugar. Para Richard Benjamins, codirector ejecutivo de RAIght.ai, "afirmar que se necesitan nuevos enfoques de gestión para transferir la responsabilidad de las personas a los sistemas de inteligencia artificial es, en la situación actual, ir demasiado lejos". En su lugar, estos expertos subrayan que la responsabilidad debe seguir recayendo firmemente en las personas y organizaciones que están detrás de la tecnología. Como dice Steven Vosloo, de UNICEF, "es importante reconocer de entrada que la IA agéntica (es decir, el software) no puede ser responsable de sus decisiones y acciones", y que "las personas que hacen y despliegan el software son responsables de su comportamiento". La directora ejecutiva de Partnership on AI, Rebecca Finlay, comparte la opinión de que "responsabilizar a la IA agéntica es responsabilizarnos a nosotros mismos y a los demás de las decisiones que tomamos sobre cómo y cuándo utilizar esta nueva tecnología". Como resume Mark Surman, presidente de Mozilla, "quienes implantan los sistemas de IA y los proporcionan a los usuarios finales son los que tienen que rendir cuentas, no la propia IA".

Recomendaciones

En resumen, ofrecemos las siguientes recomendaciones para las organizaciones que buscan mejorar la responsabilidad sobre los sistemas de IA agéntica:

1. Adoptar enfoques de gestión basados en el ciclo de vida. La IA agéntica es rápida, compleja y dinámica. Implemente un proceso de gestión continuo e iterativo que realice un seguimiento de los sistemas de IA agéntica desde el diseño inicial hasta la implantación y el uso continuado. En lugar de revisiones puntuales, introduzca evaluaciones recurrentes, auditorías técnicas y supervisión del rendimiento para detectar y abordar los problemas en tiempo real. Los enfoques de gestión deben hacer de la supervisión una parte integrada de las operaciones diarias, no una tarea de cumplimiento periódica o aislada.

2. Integrar la responsabilidad humana en las estructuras de gobernanza de la IA. Diseñar marcos de gestión para asignar explícitamente funciones y responsabilidades específicas tanto al gestor humano como al sistema de IA agéntica en cada etapa del ciclo de vida de la IA. El establecimiento de protocolos de toma de decisiones, vías de escalado y puntos de control de evaluación debe formar parte de todo despliegue de sistemas de IA agéntica para garantizar que las personas sigan siendo responsables de los resultados. Estas estructuras deben reforzar que la IA agéntica es una herramienta dentro de procesos dirigidos por humanos.

3. Permitir decisiones basadas en IA en circunstancias definidas. Aunque la supervisión humana es esencial, las propiedades de la IA agéntica amplían sus límites. Los nuevos enfoques de gestión deben identificar las áreas en las que la IA puede y debe prevalecer por su mayor velocidad, precisión o coherencia. En tales casos, la gobernanza puede centrarse en definir los límites, supervisar el rendimiento y garantizar que la intervención humana se reserva para las situaciones de mayor riesgo. Estas responsabilidades deben acordarse entre los altos cargos de la empresa y comunicarse claramente a los directivos para que comprendan perfectamente su responsabilidad en estas situaciones.

4. Prepararse para una IA agéntica que cree otros sistemas de IA. Si no se tienen en cuenta los sistemas de IA desarrollados o modificados de forma autónoma por otros sistemas de IA, puede producirse una importante brecha de visibilidad en una organización. Reconocer e integrar estos sistemas emergentes será fundamental para definir el alcance de la IA en la empresa. Las estructuras de gobierno y los enfoques de gestión que no tengan en cuenta a los vástagos de la IA fomentarán, no mitigarán, los riesgos relacionados con la IA.

5. Cuando se trata de IA agéntica, hay que hacer explícito lo implícito. Dado que los sistemas de IA agéntica requieren reglas y umbrales definidos explícitamente, las organizaciones deben aclarar el papel y el alcance de la IA agéntica en sus estructuras de gestión. Del mismo modo que el trabajo humano escala a través de sistemas de gestión jerárquicos o estructurados diseñados para garantizar la rendición de cuentas, la integración de la IA agéntica en la mano de obra requiere una clara comprensión y articulación de su alcance y una articulación deliberada de su papel dentro de estos marcos organizativos, incluida su relación con los componentes humanos de una mano de obra cada vez más sobrehumana.