Настоящий вопрос, который стоит задать об управлении ИИ

Руководители буквально каждой компании из списка Fortune 500 скажут вам, что они управляют своим ИИ — каждый из них. Теперь спросите тех же руководителей, кто отвечает за отключение модели ИИ, которая причиняет вред. Большинство людей не могут ответить на этот вопрос.

Это молчание — самая важная история в корпоративных технологиях прямо сейчас, и о ней редко, если вообще когда-либо, говорят.

За последние несколько лет вокруг искусственного интеллекта тихо выросла индустрия управления. Компании создали реестры для каталогизации своих моделей ИИ. Они внедрили системы классификации для маркировки своих данных. Они создали панели мониторинга для отслеживания поведения моделей и советы по рискам для проверки новых развертываний. Они написали политики, наняли сотрудников по соблюдению нормативных требований и представили слайды своим советам директоров. Инфраструктура управления распространилась.

Чего не хватает, так это управляющего.

Кто может отключить модель ИИ

Я руководитель управления ИИ и данными в Adobe. Моя работа — создать именно такую программу, которую, как утверждает, имеет каждая компания. И то, что я узнал изнутри, работая руками, — это то, что сложная часть никогда не заключается в технологии. Сложная часть — это вопрос, который звучит почти оскорбительно просто: когда модель ИИ делает то, что не должна, у кого есть полномочия остановить ее?

Вопрос не в том, кого уведомляют. Не в том, кто пишет отчет об инциденте. А в том, у кого есть полномочия, организационный статус и, честно говоря, гарантия занятости, чтобы войти в комнату и сказать: «Мы это отключаем».

В большинстве компаний такой человек либо не существует, либо является бумажным тигром, организационно отделенным от команд разработки. Такие роли, как главный специалист по этике ИИ, и такие группы, как советы по управлению данными и команды ответственного ИИ совершенно необходимы, но носят лишь консультативный характер. Они могут сигнализировать. Они могут рекомендовать. Они могут эскалировать. Чего они обычно не могут сделать, так это нажать кнопку остановки. Фактические полномочия по принятию решений находятся где-то в другом месте. В большинстве компаний из списка Fortune 500 они обычно находятся у человека, чья основная работа — выпускать продукты и достигать целевых показателей дохода, и у которого есть все стимулы относиться к сигналу управления как к чему-то второстепенному, а не как к обязательству.

Это не критика отдельных лиц; это описание структурной проблемы, которую индустрия управления в значительной степени решила игнорировать, потому что индустрия управления продает инструменты, а не подотчетность.

Эти инструменты действительно полезны и жизненно важны для соблюдения нормативных требований и эффективного управления. Реестр моделей сообщает вам, какие системы ИИ существуют и что они делают. Структура классификации рисков сообщает вам, какие из них заслуживают наибольшего внимания. Система происхождения данных сообщает вам, откуда поступили входные данные и были ли они чистыми. Все это реальная и важная инфраструктура. Но это инфраструктура для видимости, а не инфраструктура для действий.

Вы можете иметь идеальную видимость проблемы и не иметь механизма для ее решения. Вы должны что-то увидеть, чтобы что-то сделать, но вы также должны взять шланг, чтобы потушить пожар.

Подумайте об этом так: пожарная сигнализация — это не пожарная команда. Вы можете подключить каждую комнату в вашем доме, добросовестно менять батарейки в каждом детекторе дыма ежегодно и направлять каждое оповещение на красивую панель мониторинга — но все равно ваш дом сгорит, потому что никто не взял шланг. Да, критически важно знать, что дом горит — иначе вы бы не знали, что вам нужен шланг. Но вам нужен кто-то, кто скажет пожарной команде принять меры.

В Adobe мы решили эту проблему, создав федеративную модель управления с назначенными владельцами для каждой системы ИИ и централизованным руководящим комитетом с полномочиями эскалации, подчиняющимся отделу доверия и безопасности, а не команде продукта. Это ключевое проектное решение, которое мы приняли: дать управлению линию подчинения, независимую от команд, выпускающих продукты ИИ. Это необходимо, чтобы человек, который может сказать «нет» решению ИИ, не подчинялся человеку, который выигрывает от того, что говорит «да» выпуску продуктов.

Почему требуется срочность

Ставки здесь быстро растут. Закон ЕС об ИИ уже вступил в силу, и он не просит компании демонстрировать, что у них есть панели мониторинга. Он просит их продемонстрировать, что у них есть значимое управление. Он требует документированного принятия решений, четких линий подотчетности и способности показать после факта, кто принял важное решение о системе ИИ и почему. Когда регуляторы придут с этими вопросами, политический документ и реестр рисков не будут достаточными ответами. Регуляторы хотят имя.

Срочная необходимость в управлении усугубляется скоростью развертывания ИИ. Большинство крупных предприятий сейчас используют сотни систем ИИ в своих организациях, в местах, о которых руководители могут даже не подозревать. Вы найдете инструменты ИИ, используемые в обслуживании клиентов, найме, модерации контента, ценообразовании, обнаружении мошенничества и в любых местах, где благонамеренные сотрудники просто пытаются облегчить себе жизнь. Многие из этих систем были развернуты быстро, под давлением, с управлением, рассматриваемым как то, что нужно решить будущим-им. Время будущих-их настало.

Ответ не в том, чтобы замедлить внедрение ИИ. Он в том, чтобы отнестись к вопросу организационного проектирования так же серьезно, как и к техническому. Каждая программа управления ИИ должна уметь отвечать на три вопроса: у кого есть полномочия остановить модель? Знают ли они, что это их работа? И есть ли у них статус, чтобы осуществлять эти полномочия, когда они конфликтуют с чьим-то планом?

Если ваша компания не может ответить на эти вопросы, у вас нет программы управления. У вас есть бумажная работа.

Компании, которые успешно пройдут через следующие пять лет регулирования ИИ и общественного контроля, — это не обязательно те, у кого самые сложные инструменты. Это предприятия, которые проделали более сложную и менее заметную работу по созданию структуры человеческой ответственности, лежащей в основе технологии.

Эти организации назначили ответственного за управление ИИ, наделили его реальными полномочиями и четко дали понять, что его задача — не упростить внедрение ИИ, а сделать его обоснованным. В этих организациях есть объединенная команда, уполномоченная выявлять, устранять и эскалировать проблемы, и они знают, что эскалация требует конечной точки. Это означает функцию управления с прямым доступом к высшему руководству, независимую от продуктовых команд, внедряющих ИИ, и с явными полномочиями остановить развертывание ИИ.

Каждая компания заявляет, что управляет своим ИИ. Настоящий вопрос, отделяющий управление от театра, проще любой структуры. Спросите себя: кто в моей организации может сказать «нет» и иметь полномочия, чтобы это было весомо?