Группа Threat Intelligence компании Google заявила, что выявила, по ее мнению, первый случай использования хакерами искусственного интеллекта для разработки эксплойта нулевого дня.
Группа сообщила во вторник в блоге, что она “заметила известных киберпреступников, объединивших усилия для планирования массовой операции по эксплуатации уязвимостей”, используя уязвимость нулевого дня, позволяющую им обходить двухфакторную аутентификацию безымянного “популярного инструмента системного администрирования на основе веб-интерфейса”.
Эксплойт требовал действительных учетных данных пользователя, но обходил второй фактор аутентификации, который часто также используется для защиты криптоаккаунтов и кошельков.
ИИ все чаще используется как в кибербезопасности, так и криптохакерами, стремящимися реализовать эксплойты или мошеннические схемы. Компания Anthropic заявила в прошлом месяце, что ее недавняя модель ИИ, Claude Mythos, обнаружила тысячи уязвимостей программного обеспечения в основных системах.
Google заявила, что “имеет высокую уверенность в том, что злоумышленник, вероятно, использовал модель ИИ для поддержки обнаружения и векторизации этой уязвимости”, поскольку скрипт эксплойта содержал галлюцинацию и формат, “сильно характеризующийся” данными обучения модели ИИ.
В отчете не указан злоумышленник, но Google заявила, что Китай и Северная Корея “проявили значительный интерес к использованию ИИ для обнаружения уязвимостей”.
LLM преуспевают в выявлении уязвимостей высокого уровня
Google заявила, что уязвимость не была вызвана “обычными ошибками реализации”, такими как повреждение памяти, а “семантической логической ошибкой высокого уровня”, когда разработчик жестко закодировал предположение о доверии.
Это подразумевает, что злоумышленники использовали передовую большую языковую модель (LLM), поскольку эти модели преуспевают в выявлении уязвимостей высокого уровня и “жестко закодированных статических аномалий”, добавила Google.
Связанные материалы: Агенты ИИ, такие как OpenClaw, могут опустошить криптокошельки с помощью “вредоносных навыков”: CertiK
Несколько вредоносных семейств, таких как PROMPTFLUX, HONESTCUE и CANFAIL, также используют LLM для обхода защиты, генерируя обманчивый или заполнительный код для маскировки вредоносной логики, заявила Google.
Возможности обнаружения уязвимостей LLM по сравнению с другими механизмами обнаружения. Источник: Google
Индустриализация злоупотреблений LLM растет
Злоупотребление доступом к LLM становится индустриальным, поскольку злоумышленники создали автоматизированные конвейеры для циклического использования премиум-аккаунтов ИИ, объединения ключей API и обхода механизмов безопасности в масштабе, эффективно субсидируя враждебные операции за счет злоупотребления пробными учетными записями.
“Используя антидетект-браузеры и сервисы объединения учетных записей, злоумышленники пытаются поддерживать высокообъемный анонимизированный доступ к премиум-уровням LLM, эффективно индустриализируя свои враждебные рабочие процессы.”
Google заключила, что по мере того, как организации продолжают интегрировать LLM в производственные среды, экосистема программного обеспечения ИИ стала основной целью для эксплуатации.
Компания отметила, что противники все чаще нацеливаются на интегрированные компоненты, которые предоставляют ИИ-системам их функциональность, такие как автономные навыки и “коннекторы сторонних данных”, но злоумышленникам еще предстоит добиться прорывных возможностей для обхода основной логики безопасности передовых моделей.
