Трехминутный протокол для снижения риска манипуляции ИИ

Из потенциальных слабых мест любой системы безопасности человеческий фактор всегда представлял ключевой риск. Появление инструментов ИИ сделало человеческое познание еще большей уязвимостью.

Компании сталкиваются с тремя пересекающимися угрозами безопасности из-за влияния ИИ на человеческое познание. Во-первых, вооруженное убеждение позволяет злоумышленникам манипулировать суждениями сотрудников с помощью персонализированного, адаптивного обмана. Во-вторых, правдоподобные галлюцинации выдают ложную информацию, которая выдерживает поверхностную проверку. И в-третьих, поскольку сотрудники перекладывают когнитивную работу на системы ИИ, они меньше занимаются самостоятельным рассуждением. Вместе эти динамики делают людей как основной уязвимостью, так и ключевой защитой.

Простой новый протокол под названием «Сначала думай, всегда проверяй» (TFVA) решает эти угрозы, призывая сотрудников выполнять два шага. «Сначала думай» требует от сотрудников формировать собственное суждение перед обращением к ИИ. «Всегда проверяй» требует перепроверять критически важную информацию, сгенерированную ИИ, по независимым источникам перед действием. Протокол направлен на укрепление независимого суждения и проверки, а также на снижение риска, даже когда манипуляция остается незамеченной.

Эта простая, структурированная привычка критического мышления может эффективно снизить риск ИИ. В рандомизированном контролируемом исследовании с участием 151 человека трехминутный микроурок по TFVA улучшил качество решений на 7,87 процентных пункта, с относительным улучшением этических суждений на 44% и проверки информации на 25%. После микроурока участники прошли тестирование на 18 сценарных задачах (например, выявление фишинга, созданного ИИ, и подозрительных запросов от руководства) и набрали 65,3% по сравнению с 57,4% в контрольной группе.

В RSM France, аудиторской, бухгалтерской и консалтинговой фирме, где я работаю, мы внедрили протокол в программы адаптации и обучения для наших 1600 сотрудников. Ранние отзывы показывают, что это снижает риск и укрепляет доверие в организации.

Руководители могут внедрить TFVA в адаптацию, обучение по безопасности и политики доступа к генеративному ИИ, а также закреплять привычку в каждом случае с помощью простого трехминутного учебного занятия. Результат — рабочая сила, которая относится к ИИ как к мощному инструменту, требующему суждения, а не как к доверенному авторитету, требующему подчинения.