La vraie question à poser sur la gouvernance de l’IA

Les dirigeants de pratiquement toutes les entreprises du Fortune 500 vous diront qu'ils gouvernent leur IA — chacun d'entre eux. Maintenant, demandez à ces mêmes dirigeants qui est responsable de l'arrêt d'un modèle d'IA qui cause des dommages. La plupart des gens ne peuvent pas répondre à cette question.

Ce silence est l'histoire la plus importante de la technologie d'entreprise en ce moment, et elle est rarement, voire jamais, abordée.

Au cours des dernières années, une industrie de la gouvernance a discrètement émergé autour de l'intelligence artificielle. Les entreprises ont construit des registres pour cataloguer leurs modèles d'IA. Elles ont mis en œuvre des systèmes de classification pour étiqueter leurs données. Elles ont mis en place des tableaux de bord pour surveiller le comportement des modèles, et des conseils des risques pour examiner les nouveaux déploiements. Elles ont rédigé des politiques, embauché des responsables de la conformité et présenté des diapositives à leurs conseils d'administration. L'infrastructure de la gouvernance s'est multipliée.

Ce qui manque, c'est le gouverneur.

Qui peut arrêter un modèle d'IA

Je dirige la gouvernance de l'IA et des données chez Adobe. Mon travail consiste à construire exactement le type de programme que chaque entreprise prétend désormais avoir. Et ce que j'ai appris de l'intérieur, en mettant les mains dans le cambouis, c'est que la partie difficile n'est jamais la technologie. La partie difficile est une question qui semble presque insultante de simplicité : lorsqu'un modèle d'IA fait quelque chose qu'il ne devrait pas, qui a l'autorité pour l'arrêter ?

La question n'est pas de savoir qui est notifié. Ce n'est pas qui rédige le rapport d'incident. C'est qui a l'autorité, la position organisationnelle et, franchement, la sécurité de l'emploi, pour entrer dans une réunion et dire : « Nous arrêtons cela. »

Dans la plupart des entreprises, cette personne soit n'existe pas, soit est un tigre de papier séparé des équipes de développement sur le plan organisationnel. Des rôles comme les responsables de l'éthique de l'IA et des groupes comme les conseils de gouvernance des données et les équipes d'IA responsable sont tout à fait nécessaires mais uniquement consultatifs. Ils peuvent signaler. Ils peuvent recommander. Ils peuvent escalader. Ce qu'ils ne peuvent généralement pas faire, c'est appuyer sur le bouton d'arrêt. L'autorité réelle de décision se trouve ailleurs. Dans la plupart des entreprises du Fortune 500, elle se trouve généralement chez quelqu'un dont le travail principal est de livrer des produits et d'atteindre des objectifs de revenus, et qui a tout intérêt à traiter le signalement de gouvernance comme une réflexion après coup plutôt qu'un mandat.

Ce n'est pas une critique des individus ; c'est une description d'un problème structurel que l'industrie de la gouvernance a largement choisi d'ignorer parce que l'industrie de la gouvernance vend des outils, pas la responsabilité.

Ces outils sont véritablement utiles et essentiels à la conformité réglementaire et à une gouvernance efficace. Un registre des modèles vous indique quels systèmes d'IA existent et ce qu'ils font. Un cadre de classification des risques vous indique lesquels méritent le plus d'attention. Un système de traçabilité des données vous indique d'où viennent les entrées et si elles étaient propres. Tout cela est une infrastructure réelle et importante. Mais c'est une infrastructure pour la visibilité, pas une infrastructure pour l'action.

Vous pouvez avoir une visibilité parfaite sur un problème et aucun mécanisme pour le résoudre. Vous devez voir quelque chose pour faire quelque chose, mais vous devez aussi prendre le tuyau pour éteindre un incendie.

Pensez-y de cette façon : Une alarme incendie n'est pas un service d'incendie. Vous pouvez câbler chaque pièce de votre maison, changer consciencieusement la pile de chaque détecteur de fumée chaque année, et acheminer chaque alerte vers un magnifique tableau de bord — mais votre maison peut quand même brûler parce que personne n'a pris le tuyau. Oui, il est essentiel de savoir que la maison brûle — sinon, vous ne sauriez pas que vous avez besoin d'un tuyau. Mais vous avez besoin que quelqu'un dise au service d'incendie d'agir.

Chez Adobe, nous avons abordé cela en créant un modèle de gouvernance fédéré avec des propriétaires désignés pour chaque système d'IA et un comité de pilotage centralisé, avec autorité d'escalade, relevant de l'organisation de confiance et de sécurité, et non de l'équipe produit. C'est le choix de conception clé que nous avons fait : donner à la gouvernance une ligne hiérarchique indépendante des équipes qui livrent des produits d'IA. Cela est essentiel pour que la personne qui peut dire « non » à une décision d'IA ne relève pas de la personne qui bénéficie du fait de dire « oui » à la livraison de produits.

Pourquoi l'urgence est requise

Les enjeux ici augmentent rapidement. La loi sur l'IA de l'Union européenne est maintenant en vigueur, et elle ne demande pas aux entreprises de démontrer qu'elles ont des tableaux de bord. Elle leur demande de démontrer qu'elles ont une gouvernance significative. Elle exige une prise de décision documentée, des lignes de responsabilité claires et la capacité de montrer, après coup, qui a pris une décision importante concernant un système d'IA et pourquoi. Lorsque les régulateurs viendront poser ces questions, un document de politique et un registre des risques ne seront pas des réponses suffisantes. Les régulateurs veulent un nom.

Le besoin urgent de gouvernance est aggravé par la rapidité du déploiement de l'IA. La plupart des grandes entreprises exploitent désormais des centaines de systèmes d'IA dans leurs organisations, dans des endroits dont les dirigeants ne sont peut-être même pas conscients. Vous trouverez des outils d'IA utilisés dans le service client, le recrutement, la modération de contenu, la tarification, la détection des fraudes, et partout où des employés bien intentionnés essaient simplement de se faciliter la vie. Beaucoup de ces systèmes ont été déployés rapidement, sous pression, avec une gouvernance traitée comme quelque chose à régler par un futur eux-mêmes. Le moment du futur eux-mêmes est arrivé.

La réponse n'est pas de ralentir l'adoption de l'IA. C'est de prendre la question de la conception organisationnelle aussi sérieusement que la question technique. Chaque programme de gouvernance de l'IA devrait pouvoir répondre à trois questions : Qui a l'autorité d'arrêter un modèle ? Sait-il que c'est son travail ? Et a-t-il la position pour exercer cette autorité lorsqu'elle entre en conflit avec la feuille de route de quelqu'un d'autre ?

Si votre entreprise ne peut pas répondre à ces questions, vous n'avez pas de programme de gouvernance. Vous avez de la paperasse.

Les entreprises qui navigueront les cinq prochaines années de réglementation de l’IA et de contrôle public ne sont pas nécessairement celles disposant des outils les plus sophistiqués. Ce sont les entreprises qui ont accompli le travail plus difficile et moins glamour de construire une structure de responsabilité humaine sous-jacente à la technologie.

Ces organisations sont celles qui ont nommé un responsable de la gouvernance de l’IA, lui ont donné une réelle autorité, et ont précisé que son rôle n’était pas de faciliter le déploiement de l’IA, mais de le rendre défendable. Ces organisations disposent d’une équipe fédérée habilitée à identifier, remédier et escalader les problèmes, et elles savent que l’escalade nécessite une destination. Cela signifie une fonction de gouvernance ayant une ligne directe avec la haute direction, indépendante des équipes produit qui déploient l’IA, avec une autorité explicite pour arrêter un déploiement d’IA.

Chaque entreprise affirme gouverner son IA. La vraie question qui distingue la gouvernance de la mise en scène est plus simple que n’importe quel cadre. Demandez-vous : Qui dans mon organisation peut dire « non » et avoir l’autorité pour le faire respecter ?