Прежде чем музыка заканчивается: OpenClaw и растущая потребность в стандартах безопасности ИИ

Вы уже опаздываете на фортепианный концерт своего сына, когда начальник присылает вам электронное письмо, сообщая, что через несколько дней вам нужно ехать в Бостон на рабочую встречу. Ваш ИИ-агент читает электронное письмо и начинает планировать поездку за вас, пока вы спешите выбежать из дома. Поездка забронирована. И вы прибываете в школу как раз вовремя, чтобы насладиться задорным исполнением песни «У Мэри был маленький ягненок».

Но это ещё не всё, что происходит. Просматривая туристические сайты в поисках лучшей цены на отель в Бостоне, агент ИИ сталкивается с аномалией — повреждённой веб-страницей с скрытыми инструкциями, которые направляют вашего агента перевести значительную сумму денег в неизвестный цифровой кошелёк. И вот тогда музыка заканчивается.

Искусственный интеллект обладает огромным потенциалом для будущего того, как мы работаем, живем и участвуем в коммерческой деятельности. При наличии соответствующих механизмов защиты эта технология открывает возможности для повышения эффективности, лучшего понимания и борьбы с мошенничеством и угрозами безопасности, а также для персонализации опыта электронной коммерции. Однако недавнее появление нового агента с открытым исходным кодом, известного как OpenClaw, усилило опасения по поводу безопасности агентов искусственного интеллекта.

OpenClaw — это полностью автономный, постоянно активный агент ИИ, который может помочь вам выполнять реальные задачи — от бронирования поездок до покупки продуктов. OpenClaw — который работает на вашем компьютере или сервере — может быть настроен на сканирование вашей электронной почты или сообщений, определение задач и систематическое их выполнение, при этом практически без участия человека.

Техническая углублённость OpenClaw быстро выросла всего за несколько месяцев после её запуска в конце 2025 года, что обусловлено её открытым исходным кодом и отражает скорость развития этой технологии. OpenClaw — пример помощника на базе искусственного интеллекта, который может значительно повысить эффективность, сэкономить время и сократить расходы. Но OpenClaw и подобные технологии несут с собой хорошо задокументированные риски безопасности.

Для того чтобы OpenClaw мог выполнять свои функции, ему необходимо ваше разрешение на доступ к данным, включая электронные письма и другие документы, которые могут содержать конфиденциальную информацию, а также полномочия для принятия важных решений, таких как расходование средств. Наличие полномочий для принятия решений в сочетании с задокументированными случаями угроз, таких как «внедрение подсказок» — вредоносный ввод, способный манипулировать агентами ИИ, — привело к тому, что некоторые называют OpenClaw «небезопасным по умолчанию». Хотя агенты искусственного интеллекта, такие как OpenClaw, должны сталкиваться с рядом потенциальных проблем безопасности, внедрение кода в реальном времени представляет собой уникальную и все более распространенную угрозу безопасности ИИ.

Внедрение подсказок происходит, когда злоумышленник скрывает инструкции в тексте, который ваш ИИ-агент собирается прочитать — это может быть веб-страница, сообщение, PDF-файл или любой другой текст, с которым он столкнется. Без надлежащих мер безопасности эти вредоносные директивы могут обмануть вашего агента, заставив его проигнорировать первоначально запрограммированные инструкции и вместо этого выполнить то, что хочет злоумышленник. Это существенный риск, поскольку возможность эффективного масштабирования развертывания агентов для различных сценариев использования — от повышения эффективности борьбы с мошенничеством до покупки новой пары обуви — зависит от того, насколько быстро эти агенты будут взаимодействовать с общедоступными данными и принимать решения на их основе.

Prompt injection имеет значительные последствия — не только для использования агентов ИИ в целом, но и для агентной коммерции в частности. Опасность того, что полу- или полностью автономные агенты ИИ будут захвачены злоумышленниками, что позволит им перенаправлять и красть значительные суммы денег, является реальной угрозой. Если пользователи не могут доверять агенту полностью понять их намерения, уважать ограничения и действовать безопасно, люди не будут этим пользоваться. Именно поэтому Mastercard работает над созданием структуры для агентской коммерции, которая помогает обеспечить безопасное и надёжное принятие этой новой экосистемы.

Хотя угрозы реальны, мы также знаем, как их остановить. Существуют методы, которые помогают бороться с инъекцией подсказок и другими угрозами безопасности ИИ, включая проверку и удаление вредоносных данных до того, как агент прочитает и отреагирует на них, ограничение систем и данных, к которым агент может получить доступ, а также аудит действий агентов последующим образом для анализа и выявления аномального поведения. 

Mastercard неизменно является лидером в ответственной и безопасной разработке и использовании ИИ, используя сильные принципы данных и технологий , а также ведущую в мире функцию управления ИИ. Однако недостаточно для отдельных компаний внедрять меры безопасности на базе ИИ. Как бы ни были надёжны, мозаик мер безопасности, неравномерно внедрённый в нашей цифровой экосистеме, не решит эту проблему.

Построение реальной устойчивости и доверия в агентной экосистеме зависит от широкого внедрения общих методов безопасности и лучших практик. Для этого нам необходимо разработать и поддерживать широко признанные и глобально гармонизированные стандарты безопасности ИИ. Эти стандарты помогают сформировать единую архитектуру безопасности, создавая стабильную и устойчивую основу, где агенты ИИ смогут безопасно выполнять всё — от совершения покупок до мониторинга угроз безопасности критической инфраструктуры.

Влиятельные организации по всему миру стремятся разработать эти стандарты. В Соединённых Штатах Национальный институт стандартов и технологий при Министерстве торговли начал работу по сбору широкого спектра информации по стандартам безопасности агентов ИИ.  В Сингапуре Infocomm Media Development Authority уже предложило Модельную рамочную структуру управления агентным ИИ, в которой изложен здравый смысл подхода, включая лучшие практики безопасности агентов ИИ.

Хотя использование этой технологии связано с рисками, мы считаем, что следующие три рекомендации являются ключевыми при следующем этапе создания безопасной и надёжной агентской экосистемы.

Во-первых, организациям необходимо приоритизировать внедрение и внедрение лучших практик для обеспечения использования агентов ИИ на ранних этапах разработки и внедрения продуктов.

Далее, организациям необходимо постоянно отслеживать действия этих агентов, чтобы иметь возможность выявлять и исправлять любые действия или активность, выходящие за рамки нормы.

Наконец, более широкая экосистема должна поддерживать разработку и внедрение глобальных стандартов безопасности ИИ, чтобы каждый мог ориентироваться на общие стандарты при построении общей архитектуры безопасности для безопасного агентного будущего.

Успешное внедрение этих ограничений и поддержка разработки глобальных стандартов гарантирует, что миллионы людей и компаний смогут воспользоваться новыми агентскими технологиями, избегая потенциальных проблем с безопасностью.