Вызов демона: новые риски искусственного интеллекта

«Мы должны быть очень осторожны с искусственным интеллектом… С помощью искусственного интеллекта мы вызываем демона», - Илон Маск на симпозиуме AeroAstro, посвященном столетию MIT.

По мере развития технологий возрастают новые риски и возможности мошенничества. Мы видели видео, подготовленные методами «глубокой фальсификации», на которых изображением знаменитостей или политиков манипулируют, чтобы сказать или сделать то, чего они никогда не делали. Глубокая фальсификация - это метод синтеза человеческого образа, основанный на искусственном интеллекте (ИИ).

Первоначально считавшееся приложением для видео, теперь глубокая фальсификация использовалась для имитации голоса. Этот год ознаменовался первым зарегистрированным инцидентом с использованием искусственного интеллекта, созданного с помощью глубокой фальсификации, для совершения крупного мошенничества.

Согласно сообщению, опубликованному в августе 2019 года в The Wall Street Journal, генерального директора британской фирмы заставили обманным путем осуществить перевод более 243 000 долларов киберворам с использованием голосовой фальсификации. Генеральный директор компании полагал, что он разговаривал по телефону со своим боссом, исполнительным директором их немецкой материнской компании. Поговорив с «голосом», он последовал приказу немедленно перечислить 220 000 евро (около 243 000 долларов) на поддельный банковский счет венгерского поставщика.

Голос принадлежал преступнику, который использовал голосовую технологию ИИ для имитации голоса руководителя немецкой фирмы. Эта новая форма кибермошенничества была застрахована Euler Hermes Group SA, дочерней компанией мюнхенской компании финансовых услуг Allianz SE. По словам Рюдигера Кирша из Euler Hermes, жертва даже узнала немецкий акцент своего босса, и в нем даже звучал его особый выговор.

Кибервор звонил три раза. Первый раз злоумышленник затребовал перевод денег. Второй раз он полдтвердил получение платежа. Третий звонок был совершен для требования еще одного платежа. Но, в этот момент ничего не подозревающая жертва заметила, что звонок поступил с австрийского номера телефона.
Второй платеж был остановлен, но первый уже был переведен со счета в Венгрии на один в счет в Мексике, а затем во многие международные отделения на другие счета.

Как это было возможно?

Как вообще возможно убедительное воспроизведение голоса с помощью технологий глубокой фальсификации? Мало того, одна компания утверждает, что она изобрела итакую технологию и похвалялась об этом.

Этим летом исследователи из Dessa, базирующейся в Торонто ИИ-фирмы, объявили, что создали идеальный симулятор голоса популярного подкастера и комика Джо Рогана.

По словам Dessa, они создали самый реалистичный симулятор голоса ИИ из всех, когда-либо созданных ранее. Их исходным материалом был Джо Роган, один из самых популярных хостер подкастов в Соединенных Штатах. С более чем 1356 эпизодами его показы предоставили часы образцов голоса для технологии, чтобы его подделать.

Имитация голоса Рогана была создана с помощью программы преобразования текста в речь под названием RealTalk, которая генерирует реальную речь, используя только текстовый ввод . Таким образом, пользователю нужно только ввести слова, не говоря ни слова. Конечный результат включал в себя тонкие нюансы, такие как дыхание, «ух» и «ах». Если доступно достаточно данных, программа сможет имитировать чей-либо голос.

К счастью, благодаря техническому опыту, необходимому для RealTalk, широкая публика не может использовать эту технологию, но это пока. Как насчет ближайшего будущего? Приложения уже существуют для простых видео подделок, созданных на наших мобильных телефонах.

Будет ли технология голосового искусственного интеллекта развиваться там, где потребуется всего несколько секунд голоса цели, чтобы создать идеальный подделанный голос?

Технология, похожая на RealTalk, использовалась киберворами для имитации голоса руководителя немецкой компании. Этот инцидент был первым известным случаем голосовой фальсификации, использованной для мошенничества. Об этом сообщили в марте 2019 года, за два месяца до публичного обнародования компанией Dessa своей разработки RealTalk.

Кража расследуется Европейским центром киберпреступности Европола. Подозреваемых не выявлено, и ничего не известно о программном обеспечении, которое они использовали, или о том, как они собирали вокальные сэмплы для имитации голоса руководителя. Подобно обильным голосовым примерам Джо Рогана, мог ли руководитель иметь несколько выступлений в Интернете?

К сожалению, в нашем бизнесе мы больше не можем доверять голосу кого-то, кто представляет себя или дает команды. С приходом одновременно видео и голосовых глубоких фальсификаций , уверенность в голосовых вызовах и видео может начать снижение.

Какова задержка?

Согласно отчету Pindrop Voice Intelligence за 2018 год, количество случаев мошенничества с голосом возросло на 350% в период с 2013 года по 2017 год. Неизбежное сочетание искусственного интеллекта и создания искусственного голоса увеличит риски мошенничества.

С достижениями в области ИИ все большее число фирм переходят на чат-боты, чтобы автоматизировать многие аспекты телефонных разговоров представителей сервисных служб. Сможет ли чат-бот узнать, разговаривает ли он с другим синтетическим голосом?

По иронии судьбы, технология искусственного интеллекта также рекламируется, чтобы помочь страховщикам и финансовым отраслям выявлять мошенничество с помощью прогнозной аналитики и обнаружения аномалий.

Но недавняя кража с использованием голосовой фальсификации - прямой пример неправильного использования технологии в преступных целях. Вскоре злоумышленники могут использовать голосовой искусственный интеллект для автоматизации фишинговых атак или обхода средств проверки подлинности голоса.

Плюсы и минусы голосового ИИ

Когда Dessa обнародовала свое приложение голосового ИИ, это было не для предступных целей. Есть полезный потенциал для синтеза речи, преимущества которого, включают:

• Улучшенное общение для людей с нарушениями речи или тех, кто говорит с помощью текстовых устройств, таких как люди с болезнью Паркинсона, церебральным параличом или инсультом.
• Клиенты могут говорить с голосовым «помощником», который звучит так же естественно, как разговаривать с другом.
• Индивидуальные приложения, такие как устройства, использующие голос, удобный для пользователя; приложения, одобренные знаменитостями и т. д.

Однако при любых положительных аспектах должны быть и темные (часть демона). Риски с голосовым ИИ включают:

• Синтезированный голос используется для получения доступа к защищенным системам или местоположениям путем подражания ответственным сотрудникам.
• Враг использует голосовой ИИ, чтобы войти в военные или правительственные объекты.
• Аудио (или видео) подделка политического деятеля или мирового лидера используется для манипулирования результатами выборов или для подстрекательства к беспорядкам.
• Использование голосового ИИ, чтобы выдать себя за кого-то с целью преследования или угроз.

Предупреждения о мошенничестве

Мы увидим рост киберпреступлений с использованием искусственного интеллекта в ближайшем будущем. Мы уже видели, как «подделки» подражают знаменитостям и общественным деятелям в видеоформате, и теперь «подделка голоса» используется для мошеннической кражи значительных средств.

Будут ли формы искусственного интеллекта или фальшивки следующей границей страхового мошенничества? По мере развития технологий возможности для фальсификации фишинга и персонального фишинга станут проще. Представьте себе такие сценарии:

• Фальшивыйц генеральный директор сообщает о негативных финансовых результатах, мгновенно влияющих на стоимость акций компании.
• Голос руководителя, подделанный посредством технологий глубокой фальсификации требует у бухгалтерии направлять средства на поддельные счета.
• Поддельные лица, участвующие в нечестных действиях с целью шантажа, угроз или преследований.
• Общее страховое мошенничество: фальсифицированное видео несчастных случаев, травмы людей.

Что мы можем сделать

Крайне важно обучать наших коллег и сотрудников самым последним трендам по безопасности. Это должно быть постоянное усилие, поскольку преступники постоянно изменяют свою тактику.

Для финансовых рисков, должны использоваться методы проверки, прежде чем какие-либо средства будут переведены. Двухфакторная аутентификация - это простая техника для обеспечения дополнительной безопасности. Низкотехнологичная тактика, если с сотрудником связываются по нерегулярному запросу, это проверить номер звонящего и попросить перезвонить (фактический отдел, а не просто использовать функцию «перезвонить»).

Компании должны иметь больше знаний о кибермошенничестве. Компании и частные лица должны защищать себя от внутреннего и внешнего кибермошенничества. Страховщики могут работать с вами, чтобы оценить ваши риски мошенничества, чтобы покрыть любые риски финансовых потерь.

Есть ценные приложения на основе искусственного интеллекта. Но мы должны подготовить защиту, чтобы наши коммуникации были подлинными и безопасными. Осведомленность и диалог - это первый шаг, а также убеждение чиновников и законодателей принять меры и создать жизнеспособные гарантии.

Подготовлено порталом Allinsurance.kz