Redéfinir la gestion pour une main-d'œuvre surhumaine

Pour la quatrième année consécutive, MIT Sloan Management Review et le Boston Consulting Group (BCG) ont réuni un panel international d'experts en IA, composé d'universitaires et de praticiens, pour nous aider à comprendre comment l'intelligence artificielle responsable (RAI) est mise en œuvre dans les organisations du monde entier. Au printemps 2025, nous avons également mené une enquête mondiale auprès des cadres, qui a donné lieu à 1 221 réponses, afin de savoir dans quelle mesure les organisations s'intéressent à l'IA responsable. Dans notre article le plus récentNous avons exploré la relation entre l'explicabilité et la surveillance humaine dans la responsabilisation des systèmes d'IA. Cette fois-ci, nous approfondissons la question de la responsabilité de l'IA agentique. Bien qu'il n'existe pas de définition commune, IA agentique désigne généralement les systèmes d'IA capables de poursuivre des objectifs de manière autonome en prenant des décisions, en agissant et en s'adaptant à des environnements dynamiques sans surveillance humaine constante. D'après le Index des agents d'IA du MITLe déploiement de ces systèmes augmente dans des domaines tels que l'ingénierie logicielle et le service à la clientèle, en dépit d'une transparence limitée quant à leurs composants techniques, leurs utilisations prévues et leur sécurité.

Face à cet apparent déficit de gouvernance, nous avons demandé à notre panel de réagir à la provocation suivante : Tenir l'IA agentique responsable de ses décisions et de ses actions nécessite de nouvelles approches de gestion.. Une nette majorité (69%) est d'accord ou tout à fait d'accord avec l'affirmation, arguant que l'IA agentique représente un changement de paradigme en raison de sa capacité à effectuer des tâches complexes de manière autonome à grande échelle et de son potentiel à créer une main-d'œuvre surhumaine. De nombreux experts affirment que les cadres de gestion doivent être repensés pour s'adapter à la nouvelle dynamique des humains qui collaborent de plus en plus avec des agents d'IA sur le lieu de travail. Cependant, une solide minorité (25%) rejette ce point de vue, avertissant qu'il reflète une sorte d'"exceptionnalisme de l'IA" qui pourrait empêcher de responsabiliser les personnes et les organisations. Ils estiment au contraire que les cadres de gestion existants peuvent être adaptés pour maintenir une responsabilité humaine claire en ce qui concerne la conception, le comportement et les résultats des systèmes d'IA agentiques.

Ci-dessous, nous partageons les idées de nos panélistes et nous nous appuyons sur notre propre expérience RAI pour recommander la manière dont les organisations peuvent introduire de nouvelles approches de gestion ou réimaginer leurs approches existantes afin d'améliorer la responsabilité et la surveillance des systèmes d'IA agentiques et d'une main-d'œuvre de plus en plus hybride entre l'homme et l'IA.

Les systèmes d'IA agentique remettent en question les modèles de gestion traditionnels. La majorité de nos experts estiment que l'IA agentique nécessite de nouvelles approches de gestion en raison de son autonomie et de sa complexité accrues par rapport aux technologies antérieures. Comme l'observe Shamina Singh, présidente du Mastercard Center for Inclusive Growth, "ces systèmes apportent des niveaux d'autonomie, de complexité et de risque sans précédent, ce qui oblige les organisations à repenser les stratégies de gestion traditionnelles". Jai Ganesh, chef de produit chez Harman International, note que "les systèmes de gestion traditionnels sont conçus pour des systèmes déterministes", alors que "les systèmes d'IA agentiques fonctionnent de manière indépendante, sont orientés vers des objectifs et ont des capacités de mémoire et de raisonnement, ce qui rend leurs décisions complexes, autonomes et opaques". Selon lui, cela "nécessite la définition des rôles des agents, y compris les décisions autorisées, les garde-fous en matière d'utilisation des données, les limites éthiques et les seuils d'escalade de la confiance". Bien que ces éléments existent avec les travailleurs humains, ils sont implicites et reposent sur le jugement du responsable et du travailleur. Les systèmes d'IA agentique, en revanche, nécessitent des règles et des valeurs seuils explicitement définies. Il peut s'avérer très difficile d'obtenir des résultats corrects et cela sort des modèles de gestion traditionnels. Yan Chow, d'Automation Anywhere, ajoute : "Prouver la causalité et la faute devient incroyablement difficile, en particulier avec des systèmes d'IA complexes, autonomes et opaques."

Nos experts soulignent également que la vitesse et l'échelle surhumaines de l'IA agentique sont particulièrement perturbatrices. Comme l'explique Shelley McKinley, directrice juridique chez GitHub, "les flux de travail actuels n'ont pas été conçus en tenant compte de la vitesse et de l'échelle de l'IA, de sorte que pour combler les lacunes, il faudra de nouveaux modèles de gouvernance, des voies de décision plus claires et des processus repensés qui permettent de tracer, d'auditer et d'intervenir dans les décisions pilotées par l'IA."

Tshilidzi Marwala, de l'Université des Nations unies, reconnaît qu'"en raison de son autonomie décisionnelle, de son apprentissage adaptatif et de ses opérations à grande vitesse, l'IA agentique est difficile à gérer pour les modèles de gestion traditionnels - qui ont été créés pour l'agence humaine". David Hardoon, responsable de l'activation de l'IA à la Standard Chartered Bank, met en garde : "Les anciens modèles de gestion, conçus pour des systèmes à rythme humain, ne parviennent pas à suivre le comportement dynamique de l'IA, ce qui risque d'entraîner des erreurs ou des préjudices non corrigés." Cette situation "peut avoir des conséquences importantes si elle n'est pas contrôlée", ajoute-t-il, "nécessitant une surveillance automatisée avec des garde-fous éthiques".

Compte tenu de ces défis, plusieurs panélistes préconisent une surveillance continue et itérative. Comme l'explique Franziska Weindauer, PDG de TÜV AI.Lab, "ces systèmes prennent des décisions de leur propre chef, et ces décisions peuvent avoir un impact direct sur les personnes, les flux de travail et les décisions critiques". La gouvernance de l'IA, dit-elle, signifie que les humains restent impliqués tout au long du cycle de vie. Cependant, ajoute Mme Weindauer, "il ne suffit pas d'exécuter une liste de contrôle une fois et de considérer que c'est fait", mais "pour rester responsables, les organisations ont besoin d'outils et de processus qui suivent les systèmes d'IA tout au long de leur utilisation". Douglas Hamilton, qui dirige la recherche et l'ingénierie en matière d'IA au Nasdaq, suggère de transformer "les révisions périodiques et rapides des processus en un processus d'apprentissage et de conception technique, axé sur le retour sur investissement". Les gestionnaires auront besoin de nouvelles compétences pour assurer une surveillance efficace, et les concepteurs de systèmes d'IA agentique doivent créer des systèmes qui permettent ce type de surveillance.

L'IA agentique nous oblige à repenser la relation entre les humains et les machines. Au-delà de la supervision technique, la gestion de l'IA agentique nécessite également de clarifier la relation entre les humains et les agents de l'IA. Katia Walsh, responsable de l'IA chez Apollo Global Management, plaide en faveur d'un modèle de collaboration : "Si nous agissons de manière responsable, les humains collaboreront avec les travailleurs de l'IA, les superviseront et veilleront à ce qu'ils atteignent les objectifs fixés avec intégrité." Mais d'autres se demandent si la supervision humaine doit toujours prévaloir. "Le véritable défi se pose lorsque les humains prennent le pas sur l'IA et se trompent", affirme Alyssa Lefaivre Škopac, directrice de la confiance et de la sécurité de l'IA à l'Alberta Machine Intelligence Institute. Elle pose la question suivante : "Faut-il toujours donner la priorité à la prise de décision humaine, ou faut-il s'en remettre à l'IA dans certains cas ?" De même, M. Hamilton met en garde contre le fait que "les systèmes d'IA agentique exigent des gestionnaires qu'ils réfléchissent attentivement aux coûts d'une erreur, aux interventions qui sont acceptables sans supervision humaine et à celles qui en ont besoin".

Nos experts soulignent également que tout le monde doit repenser la responsabilité, car les agents d'IA ne sont pas des personnes - ce qui signifie que nous ne pouvons pas encore les tenir pour responsables de la même manière. "L'IA n'ayant pas le statut de personne juridique, note M. Chow, elle ne peut être directement poursuivie, emprisonnée ou tenue pour responsable comme peuvent l'être les êtres humains ou les entreprises. Marwala ajoute : "De nouveaux cadres juridiques et éthiques sont également essentiels car les systèmes juridiques existants ne reconnaissent pas l'IA comme une personne morale, ce qui nécessite une gestion proactive et ouverte du cycle de vie de l'IA qui va au-delà des mesures de performance conventionnelles." McKinley, de GitHub, soutient que "l'IA n'étant pas une personne ou une entité juridique, la responsabilité des décisions et des actions exige une responsabilité large et partagée dès le départ". Elle ajoute : "Les créateurs d'IA agentique doivent intégrer des éléments tels que la transparence et la surveillance humaine pendant le développement, tandis que les utilisateurs doivent les déployer de manière responsable, et surveiller et documenter les impacts."

En fin de compte, il s'agit de responsabiliser les personnes, et non l'IA. Tout le monde n'est pas d'accord sur le fait que l'IA agentique exige de nouveaux modèles de gestion. Ben Dias, responsable scientifique de l'IA à l'IAG, rejette l'idée que "l'IA exige des changements révolutionnaires dans les pratiques organisationnelles éprouvées", arguant que "les gestionnaires délèguent couramment à des membres de l'équipe dont ils ne peuvent pas entièrement prédire ou contrôler les processus de prise de décision, tout en maintenant la responsabilité par des limites claires, une supervision axée sur les résultats et un suivi approprié". Pour M. Dias, "l'IA agentique représente simplement un nouveau type de membre d'équipe dans ce cadre établi". Manoj Saxena, président de l'institut RAI, affirme lui aussi que "si votre IA se comporte comme un employé (ou pire, comme une équipe de travailleurs indépendants), il est temps de commencer à la gérer comme tel".

D'autres considèrent également que les appels à de nouveaux modèles de gestion sont déplacés. Pour Richard Benjamins, co-directeur général de RAIght.ai, "affirmer que de nouvelles approches de gestion sont nécessaires en raison du transfert de la responsabilité des personnes vers les systèmes d'IA agentiques est, dans l'état actuel des choses, un peu exagéré". Au contraire, ces experts soulignent que la responsabilité doit rester fermement entre les mains des personnes et des organisations qui se trouvent derrière la technologie. Comme le dit Steven Vosloo de l'UNICEF, "il est important de reconnaître d'emblée que l'IA agentique (c'est-à-dire le logiciel) ne peut pas être responsable de ses décisions et de ses actions", et que "les personnes qui fabriquent et déploient le logiciel sont responsables de son comportement". Rebecca Finlay, PDG du Partenariat sur l'IA, est d'avis que "rendre l'IA agentique responsable, c'est nous rendre responsables, nous et les autres, des choix que nous faisons quant à la manière et au moment d'utiliser cette nouvelle technologie". Comme le résume Mark Surman, président de Mozilla, "ceux qui mettent en œuvre les systèmes d'IA et les fournissent aux utilisateurs finaux sont ceux qui doivent être responsables, et non l'IA elle-même".

Recommandations

En résumé, nous formulons les recommandations suivantes à l'intention des organisations qui cherchent à améliorer la responsabilité des systèmes d'IA agentique :

1. Adopter des approches de gestion basées sur le cycle de vie. L'IA agentique est rapide, complexe et dynamique. Mettez en œuvre un processus de gestion continu et itératif qui suit les systèmes d'IA agentique depuis leur conception initiale jusqu'à leur déploiement et leur utilisation continue. Au lieu de procéder à des examens ponctuels, il convient de mettre en place des évaluations récurrentes, des audits techniques et un suivi des performances afin de détecter et de traiter les problèmes en temps réel. Les approches de gestion devraient faire de la surveillance une partie intégrante des opérations quotidiennes, et non une tâche de conformité périodique ou isolée.

2. Intégrer la responsabilité humaine dans les structures de gouvernance de l'IA. Concevoir des cadres de gestion afin d'attribuer explicitement des rôles et des responsabilités spécifiques au gestionnaire humain et au système d'IA agentique à chaque étape du cycle de vie de l'IA. L'établissement de protocoles de prise de décision, de voies d'escalade et de points de contrôle de l'évaluation doit faire partie de chaque déploiement de système d'IA agentique afin de garantir que les personnes restent responsables des résultats. Ces structures devraient renforcer le fait que l'IA agentique est un outil dans le cadre de processus dirigés par l'homme.

3. Permettre des décisions basées sur l'IA dans des circonstances définies. Si la supervision humaine est essentielle, les propriétés de l'IA agentique en repoussent les limites. Les nouvelles approches de gestion devraient identifier les domaines dans lesquels l'IA peut et doit prévaloir en raison de sa vitesse, de sa précision ou de sa cohérence supérieures. Dans de tels cas, la gouvernance peut se concentrer sur la définition des limites, le suivi des performances et la garantie que l'intervention humaine est réservée aux scénarios à haut risque. Ces responsabilités doivent être convenues entre les dirigeants de l'entreprise et clairement communiquées aux cadres afin qu'ils comprennent parfaitement leur responsabilité dans ces situations.

4. Se préparer à une IA agentique qui crée d'autres systèmes d'IA. Le fait de ne pas tenir compte des systèmes d'IA développés ou modifiés de manière autonome par d'autres systèmes d'IA peut entraîner un manque de visibilité important au sein d'une organisation. La reconnaissance et l'intégration de ces systèmes émergents seront essentielles pour définir la portée de l'IA dans l'entreprise. Les structures de gouvernance et les approches de gestion qui ne tiennent pas compte de la progéniture de l'IA favoriseront les risques liés à l'IA au lieu de les atténuer.

5. En matière d'IA agentique, il faut rendre l'implicite explicite. Étant donné que les systèmes d'IA agentique nécessitent des règles et des valeurs seuils explicitement définies, les organisations devraient clarifier le rôle et la portée de l'IA agentique dans leurs structures de gestion. De même que le travail humain évolue dans des systèmes de gestion hiérarchiques ou structurés conçus pour garantir la responsabilité, l'intégration de l'IA agentique dans la main-d'œuvre nécessite une compréhension et une articulation claires de sa portée et une articulation délibérée de son rôle dans ces cadres organisationnels, y compris sa relation avec les composantes humaines d'une main-d'œuvre de plus en plus surhumaine.