Repenser la responsabilité à l'ère de l'IA

Tôt un matin en 2018, une voiture autonome d'Uber a mortellement heurté un piéton à Tempe, en Arizona. Le monde se posait des questions : qui était responsable ? Était-ce le conducteur de sécurité au volant ? Les ingénieurs qui ont conçu les algorithmes ? La direction d'Uber ? Ou les régulateurs qui avaient autorisé les tests de véhicules autonomes ? L'incapacité à désigner un seul coupable a signalé un changement profond dans la manière dont la responsabilité doit être comprise et attribuée à l'ère des technologies intelligentes.

Alors que les organisations déploient des systèmes de plus en plus autonomes tels que des drones, des robots de trading ou des décideurs algorithmiques (comme les filtres de CV automatisés ou les outils d'évaluation de crédit), l'agence devient distribuée, émergeant de l'interaction complexe des actions humaines et machines. Les décisions, autrefois linéaires et traçables, se déroulent désormais à travers des réseaux de personnes et de systèmes d'intelligence artificielle, introduisant de nouvelles formes d'influence et d'imprévisibilité.

Pour les dirigeants d'aujourd'hui, cela signifie que l'ancienne recherche d'un coupable perd de sa pertinence. Le véritable défi n'est pas d'attribuer le blâme mais plutôt de construire un récit partagé — pour découvrir non seulement ce qui a mal tourné mais comment les activités collectives, les hypothèses et les technologies ont façonné le résultat. Comme notre récente recherche, publiée dans MIS Quarterlyle montre, forger l'apprentissage organisationnel et la résilience dépend de cette revisite collaborative de la manière dont les décisions se produisent et dont les histoires de responsabilité sont construites. Nous appelons ce processus responsabilité narrative.

Pourquoi les modèles classiques de responsabilité ne fonctionnent plus

Les théories classiques de la responsabilité reposent sur trois hypothèses fondamentales : que le monde est fondamentalement linéaire, avec des événements suivant une logique claire de cause à effet ; que les décideurs agissent dans un espace et un temps partagés, rendant le lien entre actions et conséquences traçable ; et que la responsabilité peut être précisément attribuée rétroactivement à un individu dont les intentions et les choix déterminent les résultats.

Conformément à ces hypothèses, lorsque quelque chose tourne mal, les organisations mettent souvent en œuvre des modèles traditionnels de responsabilisation en tenant un haut dirigeant personnellement responsable. Par exemple, après deux accidents mortels du Boeing 737 MAX qui ont tué 346 personnes en 2018 et 2019, le PDG Dennis Muilenburg a été rapidement licencié comme réponse visible à la crise. Cependant, malgré cette action et les promesses de changement culturel de son successeur, les échecs sous-jacents en matière de qualité et de sécurité ont persisté — culminant avec l'explosion d'une porte en plein vol d'un 737 MAX en 2024 et le départ d'un autre PDG. Retirer un individu résout rarement les causes profondes et complexes des défaillances organisationnelles.

Ces approches de la responsabilisation ont toujours eu des limites, même avant l'essor des technologies numériques. Ce qui est nouveau à l'ère de l'IA et de l'automatisation, c'est la rapidité, la complexité et l'opacité croissantes des décisions, rendant les anciens modèles de responsabilisation moins tenables que jamais.

Prenez le crash du drone de livraison Prime Air d'Amazon en Oregon en 2022. Alors que les rapports officiels se sont concentrés sur des erreurs techniques ou d'opérateur, la réalité est que la responsabilité pour de tels incidents est intrinsèquement distribuée — entre codeurs, équipes d'approbation et chefs de projet ou d'exploitation. Les actions et les conséquences sont distribuées d'une manière que les anciens modèles de responsabilisation ne peuvent tout simplement pas traiter.

Ce défi exige une approche nouvelle de la responsabilité qui passe du blâme à la responsabilité narrative.

Rendre la responsabilité narrative réelle : trois actions concrètes

Traduire la responsabilité narrative de la théorie à la pratique exige que les dirigeants recadrent la manière dont la responsabilisation est construite, maintenue et vécue afin que chaque incident devienne un catalyseur d'apprentissage collectif et d'amélioration continue. Pour opérer ce changement, les organisations doivent intégrer la responsabilité narrative à tous les niveaux. Voici comment les dirigeants peuvent mettre en pratique les principes de la responsabilité narrative :

1. Cartographier l'histoire réelle — au-delà de l'évidence. Après un incident, les examens organisationnels — qu'ils soient techniques, juridiques ou managériaux — visent souvent à converger vers un récit causal cohérent qui permet la clôture et l'action. Bien qu'une telle convergence soit courante et souvent nécessaire, elle peut également réduire la portée de la responsabilité en privilégiant les explications stabilisées au détriment des explications contestées ou ambiguës. Une approche de responsabilité narrative ne rejette pas les audits conventionnels mais les complète en s'intéressant à la manière dont la responsabilité est construite, anticipée, distribuée et progressivement fixée à travers la narration organisationnelle, les justifications des décisions et les silences au fil du temps.

La réponse de Google à l'échec de génération d'images de Gemini au début de l'année 2024 offre un modèle partiel. Lorsque l'outil a généré des images historiquement inexactes, Google a publié une explication publique détaillée retraçant la cause profonde à un réglage de diversité défectueux et à un comportement de modèle erroné. Parallèlement, dans une note internele PDG Sundar Pichai s'est engagé à apporter des changements structurels, à améliorer les processus de lancement et à étendre les tests d'équipe rouge. C'était une véritable cartographie de l'histoire — nommer ce qui a cassé et pourquoi.

Mais un exercice plus complet aurait pu identifier la pression concurrentielle pour expédier rapidement, les incitations organisationnelles qui décourageaient les tests prudents, et l'écart entre les risques connus et la décision de lancer comme facteurs à considérer. Cartographier l'histoire réelle signifie aller au-delà du post-mortem technique pour faire surface des dynamiques humaines et organisationnelles qui ont permis l'échec en premier lieu. Cela signifie aller au-delà des erreurs individuelles ou du code cassé pour comprendre comment les hypothèses, les données et les routines organisationnelles interagissent — et où l'ambiguïté, un manque d'anticipations pertinentes et le désalignement prennent racine.

2. Distribuer la propriété, pas le blâme. Dans les organisations complexes d’aujourd’hui, pilotées par l’IA, les décisions et les résultats n’émergent pas d’une seule main sur le volant, mais d’interactions dynamiques dans le temps, ce qui appelle une notion collective et distribuée de la responsabilité. Une véritable responsabilité dépend d’un engagement continu et d’une création de sens à travers les équipes et les fonctions. Trop souvent, les avertissements ou objections ignorés ou jamais exprimés jouent un rôle aussi important que les erreurs actives.

Les organisations avant-gardistes créent des structures formelles, telles que des comités de pilotage, des panels d’examen des incidents, des systèmes de traçabilité et des groupes consultatifs interfonctionnels, pour institutionnaliser la responsabilité narrative. Ces forums sont conçus comme des espaces ouverts et psychologiquement sûrs où les employés à tous les niveaux peuvent réfléchir à ce qui s’est passé, exprimer des vérités difficiles et reconstruire collectivement le déroulement des incidents. Dans le secteur de la santé, cette évolution est bien avancée : UCLA Health, par exemple, a établi un réseau de champions de la culture formés et de comités d’examen des incidents qui analysent les événements indésirables pour faire émerger des schémas systémiques et stimuler l’amélioration dans toute l’organisation. Le secteur de l’aviation offre un modèle éprouvé de cette approche d’apprentissage collectif : après une défaillance liée à l’automatisation, des compagnies aériennes comme Air France et KLM, conformément aux réglementations de l’Agence européenne de la sécurité aérienne, réunissent des panels multidisciplinaires dans le cadre de leurs systèmes de gestion de la sécurité. Ces panels, alignés sur les principes de la « culture juste », ne se concentrent pas sur la recherche de coupables, mais sur l’extraction de leçons et l’adaptation systémique. Cette approche a manifestement renforcé la sécurité aérienne et la confiance des clients.

3. Intégrer la réflexion dans la pratique quotidienne. Pour que la responsabilité narrative prospère, elle ne doit pas être pratiquée seulement après une crise ; elle doit devenir une routine organisationnelle. Un apprentissage durable émerge lorsque les équipes examinent habituellement comment les récits de responsabilité sont construits — et reconstruits — à travers les opérations quotidiennes et l’utilisation de technologies comme l’IA.

Certaines organisations ajoutent des points de révision narrative aux réunions récurrentes, en demandant : « Qu’avons-nous appris ? » « Où nos hypothèses ou processus ont-ils échoué ? » ou « Comment nos actions ont-elles contribué au résultat ? » (Voir, par exemple, le chapitre «Culture post-mortem : Apprendre de l’échec» dans le livre de Google Site Reliability Engineering.) D’autres incluent systématiquement des récits de responsabilité dans les rapports de gestion, non seulement après des incidents, mais comme une pratique continue — transformant les leçons apprises en documents vivants qui soutiennent l’apprentissage continu. ING Bank, par exemple, a intégré des révisions régulières et des « sessions d’apprentissage rétrospectives » directement dans ses routines agiles. Après chaque sprint, les équipes discutent de ce qui s’est bien passé, de ce qui pourrait être amélioré, et de la manière dont les leçons tirées des événements critiques peuvent éclairer le travail futur, afin de garantir que les informations clés relient les opérations quotidiennes aux discussions plus larges sur l’éthique et le risque.

Lorsque les trois principes sont mis en œuvre, ils ne remodèlent pas seulement les opérations quotidiennes, mais aussi la manière dont les organisations réagissent collectivement à l’échec à tous les niveaux. Revenant à l’exemple initial du tragique accident de la voiture autonome d’Uber, la réponse officielle s’est concentrée sur la faute individuelle : le conducteur de sécurité a été poursuivi, et Uber a suspendu son programme de véhicules autonomes. Cependant, à notre connaissance, les facteurs organisationnels et systémiques comme les décisions de conception, la culture de sécurité et les lacunes réglementaires ont été largement documentés dans l’ enquête officielle mais ont reçu une attention limitée dans les réponses publiques et judiciaires ultérieures. Une approche de responsabilité narrative — qui cartographie l’histoire réelle avec toutes les parties prenantes et techniques impliquées, distribue la responsabilité au-delà du blâme et intègre une réflexion continue — aurait invité tous les acteurs clés à examiner collectivement ce qui a façonné les résultats anticipés et réalisés. Bien que cela n’aurait pas inversé le préjudice passé, cela aurait pu faire émerger des leçons plus profondes, permettre une responsabilité plus significative et conduire à un changement plus systémique pour l’avenir.

Du blâme au récit partagé

Soutenir la responsabilité narrative nécessite plus que des initiatives dispersées. Elle doit faire partie de l’ADN d’une organisation.

Alors que les entreprises adoptent des agents d’IA, elles ne peuvent plus compter sur les équipes de conformité ou les audits rétroactifs pour attribuer la responsabilité. Au lieu de cela, établir une pratique partagée de la responsabilité en construisant, en questionnant et en faisant évoluer le récit organisationnel, ensemble, est un impératif stratégique et tourné vers l’avenir pour tous les dirigeants et équipes.

Adopter la responsabilité narrative est crucial pour les organisations d’aujourd’hui, mais ce n’est pas une panacée. Il existe des risques réels, en particulier si le processus est utilisé pour diluer ou obscurcir la responsabilité — surtout lorsque les dirigeants contrôlent le récit. Elle ne peut pas remplacer les obligations légales ou réglementaires : des cadres comme l’ AI Act de l’Union européenne restent des garde-fous essentiels. Et lorsque la responsabilité est distribuée entre les organisations, construire une responsabilité partagée est complexe et exige une ouverture et une collaboration intentionnelles. Pour que la responsabilité narrative soit transformatrice, elle doit compléter — jamais remplacer — des normes éthiques et juridiques robustes.

#Repenser #Responsabilité #Ère