К 2030 году мировой рынок кибербезопасности с использованием искусственного интеллекта (ИИ) может вырасти до 86 млрд долл. США. В числе драйверов - автономные ИИ-агенты. Средний глобальный ущерб одной утечки по итогам 2025 году уже оценивается на уровне 4,44 млн долл. Об этом было заявлено на форуме в Кибердоме «ИИ: режим доверия».
Взрывной рост
По мнению руководителя группы «Доверенные и безопасные интеллектуальные системы» AIRI Олега Рогова, глобальный рынок безопасности продуктов и решений на базе нейросетей «растет экспоненциально». В частности, по итогам 2025 года объем мирового рынка кибербезопасности с использованием искусственного интеллекта (ИИ) составил почти 31 миллиард долл. США. К 2030 году он может вырасти до 86 млрд долл. при среднегодовых темпах роста (CAGR 2025-2030) в 22,8%. В этой сфере уже действуют более 2 тыс компаний по всему миру.
В числе основных драйверов роста в 2025-2026 годах он назвал ИИ-агенты, которые действуют самостоятельно, при этом их атакуют также в автономном режиме. Каждый шестой взлом происходит за счет использования атакующими всех возможностей ИИ. Каждый пятый инцидент также происходит через ИИ-инструменты. При этом голос и лицо руководителей предприятия, принимающих решения, можно подделать за 10 мин.
Как пояснил Олег Рогов, в прошлом одни предрекали повсеместную автоматизацию и невиданный рост продуктивности благодаря агентам ИИ, тогда как другие страшились апокалиптических сценариев, связанных с дипфейками и взломами. На самом деле обе крайности «в какой-то мере устарели». Сейчас мир находится на новом этапе, когда искусственный интеллект перестает быть просто дополнительной функцией, а становится фундаментальной основой разрабатываемых нами систем.
«Показательный пример. Представьте, что в 2025 году разработчик загружает пакет, в котором отсутствует привычная вредоносная нагрузка. Вместо этого вредоносное ПО получает доступ к языковой модели и вежливо запрашивает ключи доступа, а затем перенаправляет сообщения по указанному адресу. Это демонстрирует, как одна и та же архитектура может быть использована как во благо, так и во вред», - пояснил эксперт.
По мнению Олега Рогова, это и есть операционная реальность, в которой существует мир. Модели вроде ChatGPT, Claude, Grok, DeepSeek - это не просто инструменты, которыми бизнес и простые пользователи пользуются ежедневно; они становятся частью рабочей нагрузки, причем этой возможностью пользуются и хакеры.
Финансовые потери
Также эксперт озвучил финансовые потери от ИИ-инцидентов. Средний глобальный ущерб одной утечки в 2025 году составил 4,44 млн долл. При этом в финансовом секторе этот показатель зафиксирован на уровне выше среднего - 5,6 млн долл. Дополнительный ущерб от Shadow AI (нейросеть, используемая сотрудником на рабочем месте, в обход системы кибербезопасности) - более 670 тыс долл. В этой связи уже 97% ИИ-агентов в проде используются без изоляции и контроля ввода, а еще 63% ИИ-агентов в продакшене работают без регламента. Это заставляет задуматься о глубине оценки рисков, связанных с ИИ, особенно генеративными моделями.
Олег Рогов выделил четыре вектора киберугроз. Во-первых, это атаки на голосовую биометрию - подмена голоса и видео. Злоумышленники могут отправлять четкие инструкции, замаскированные под сообщения от руководства, с требованием перевести деньги. Во-вторых, промт-инъекции и взлом RAG (Retrieval-Augmented Generation, использование уязвимостей в системах, где большая языковая модель интегрирована с механизмом поиска информации во внешних источниках). Промт-инъекции используются для извлечения конфиденциальной информации и документов из защищенных баз данных.
В-третьих, уязвимости автономных агентов: Часто используются уязвимости открытых фреймворков. Наконец, перехват контроля над автономными агентами - это новая поверхность атаки, о которой, вероятно, скоро станет больше.
Сценарии атак
С технической точки зрения, угрозы носят комплексный характер. Злоумышленники больше не ограничиваются простыми словесными махинациями, как это было ранее. Они переходят на более глубокий уровень, атакуя даже защищенные языковые модели. Специальные средства защиты, например, фильтрующие входные и выходные данные, могут быть обойдены. Современные атаки направлены не просто на поиск вредоносных префиксов или суффиксов. Они нацелены на подрыв смысла, семантики и самого языка.
Эффективными оказываются даже атаки с использованием редких диалектов. Цель злоумышленника - незаметно исказить исходный запрос пользователя, сохранив при этом его вредоносный смысл. Подобные подходы доказали свою высокую эффективность.
«Исследования прошлого года продемонстрировали, насколько действенными могут быть диалектные атаки на редких языках против стандартных защитных механизмов. Системы, способные к самообучению и адаптации, в настоящее время рассматриваются в контексте противостояния между атакующей и защищающейся нейронными сетями. Один из методов включает подбор входных данных, вызывающих неопределенность в ответах нейросети, что выявляет ее болевые точки. Затем, используя эту информацию, злоумышленники внедряют дополнительные манипуляции, побуждая модель отклоняться от стандартного режима работы. Эти процедуры критически важны для повышения уровня безопасности перед внедрением моделей в продакшн», - пояснил эксперт.
Отдельного внимания, по мнению Олега Рогова, заслуживает растущее использование ИИ в разработке вредоносного ПО. Например, в некоторых вредоносных программах применяются классификационные модули, основанные на машинном обучении, для маскировки под легитимные инструменты и обхода систем безопасности. Создаются клоны серверов, перенаправляющие сообщения на заданные адреса, что вызывает серьезную обеспокоенность.
«Весь спектр угроз, с которым мы сталкиваемся, активно применяется в различных сферах. Злоумышленники используют модели ИИ не только для написания кода, подобно обычным разработчикам или кодовым ассистентам, но и для управления, планирования и масштабирования своих действий. Они также применяются для выявления уязвимостей и сбора информации. Даже простые процедуры, такие как атаки на определение принадлежности к обучающей выборке, в сочетании с другими инструментами, могут формировать мощные наступательные комбинации, активно внедряемые во вредоносное программное обеспечение», - сказал он.
Проблема «спящих» нейронок требует не меньшего внимания. Существуют модели, содержащие скрытые, вредоносные полезные нагрузки, которые активируются при получении определенных триггерных сообщений. Эти уязвимости, обнаруженные, в частности, в некоторых популярных форматах моделей, могут представлять серьезную угрозу, особенно когда такие модели интегрированы в закрытые корпоративные инфраструктуры.
«Эти вызовы требуют немедленных и адекватных ответных мер. Сегодня мы являемся поколением специалистов, которое должно научиться распознавать и противостоять таким изощренным автономным угрозам, понимая, какие эффективные стратегии защиты мы можем предложить», - заключил Олег Рогов.
AIRI (Институт искусственного интеллекта) - научная некоммерческая организация, специализирующаяся на исследованиях в области искусственного интеллекта.
Олег Рогов - кандидат физико-математических наук, руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, руководитель лаборатории безопасного ИИ AIRI-МТУСИ.
Фото: TelecomDaily.