Команда Kaspersky Digital Footprint Intelligence представила отчёт «Инновации в тени: как злоумышленники экспериментируют с ИИ». Специалисты проанализировали сообщения в даркнете на тему использования злоумышленниками ChatGPT и других аналогичных решений на основе больших языковых моделей. Всего в 2023 году на теневых форумах и в специализированных Telegram-каналах было обнаружено 2890 таких постов. Пик пришёлся на апрель — в этом месяце эксперты зафиксировали 509 сообщений. Многочисленные обсуждения можно разделить на несколько направлений.
Джейлбрейки. Чтобы языковая модель могла давать ответы, связанные с неправомерной деятельностью, злоумышленники используют наборы особых команд. Они могут открывать дополнительный функционал у ChatGPT и похожих сервисов. Такие наборы называются джейлбрейками. За 2023 год эксперты «Лаборатории Касперского» обнаружили 249 предложений по распространению и продаже подобных команд. При этом стоит отметить, что джейлбрейки могут использоваться в том числе для легитимного улучшения работы сервисов на основе языковых моделей.
Вредоносное ПО. Участники теневых форумов активно обменивались вариантами использования языковых моделей для усовершенствования зловредов и повышения эффективности кибератак в целом. Например, эксперты обнаружили сообщение, где рассказывалось о ПО для операторов вредоносных программ, которое использовало нейросети для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия. В рамках другого обсуждения авторы постов предлагали ChatGPT для генерации полиморфного вредоносного кода, обнаруживать и анализировать который крайне сложно.
Open Source и программы для пентеста. Решения на базе больших языковых моделей создаются разработчиками ПО с открытым исходным кодом, в том числе речь может идти о программах для специалистов по информационной безопасности. Однако злоумышленники тоже обращают внимание на такие проекты. Например, в интернете в свободном доступе есть определённая утилита с открытым исходным кодом на базе генеративной модели, которая предназначена для обфускации кода. Обфускация позволяет избегать обнаружения системами мониторинга и защитными решениями. Такие утилиты могут использовать как пентестеры, так и злоумышленники. В даркнете специалисты «Лаборатории Касперского» обнаружили пост, в котором авторы делятся этой утилитой и рассказывают, как её можно использовать для вредоносных целей.
«Злые» аналоги ChatGPT. На фоне популярности умных чат-ботов большой интерес вызвали и другие проекты: WormGPT, XXXGPT, FraudGPT. Это языковые модели, позиционирующиеся как альтернатива ChatGPT с дополнительным функционалом и снятыми ограничениями. Несмотря на то, что большая часть решений может быть использована правомерно, злоумышленники также могут обращаться к ним, например для написания вредоносного ПО. Однако повышенное внимание к подобным предложениям не всегда играет на руку их создателям. Так, WormGPT был закрыт в августе 2023 года из-за массовых опасений, что он может представлять угрозу. К тому же многие обнаруженные специалистами «Лаборатории Касперского» сайты и объявления, где предлагалось купить доступ к WormGPT, по сути представляли собой скам. Интересно, что большое количество подобных предложений вынудили авторов проекта ещё до закрытия начать предупреждать о возможности обмана.
«Несмотря на распространённое мнение, что развитие больших языковых моделей способствует упрощению деятельности злоумышленников, на данный момент эксперты нашей компании не видят реальные инциденты, в которых могли применяться такие решения. Тем не менее технологии развиваются, поэтому подобные риски не стоит игнорировать, а данную сферу важно продолжать изучать», — комментирует Валерий Зубанов, управляющий директор «Лаборатории Касперского» в Казахстане, Центральной Азии и Монголии.
Источик: Лаборатория Касперского