Хакеры используют огромные возможности ИИ, чтобы находить пути проникновения в большее количество сетей и настраивать ИИ своих жертв против них самих.

В то время как многие бизнес-секторы все еще взвешивают плюсы и минусы использования искусственного интеллекта, хакеры-преступники с головой уходят в работу. Они выяснили, как обратить программы искусственного интеллекта, распространяющиеся на большинстве компьютеров, против пользователей с разрушительным эффектом, говорят эксперты по кибербезопасности, которые выражают растущую обеспокоенность по поводу своей способности отражать кибератаки.

Хакеры теперь могут превратить искусственный интеллект в своего рода ученика чародея, говорят аналитики по борьбе с угрозами. Такие простые и безобидные действия, как приглашение в календарь Google или электронное письмо Outlook, могут быть использованы для того, чтобы заставить подключенные к ИИ программы похитить конфиденциальные файлы без обнаружения антивирусом, другой защитной программой.

Проблема усугубляется быстрыми и порой непродуманными темпами внедрения новых продуктов искусственного интеллекта, будь то руководителями, стремящимися угодить инвесторам, или сотрудниками по собственной инициативе, даже вопреки требованиям своих ИТ-отделов.

"Отчасти несправедливо, что в каждом отдельном продукте нам навязывают искусственный интеллект, когда он создает новые риски", - сказал Алекс Деламотт, исследователь угроз в охранной компании SentinelOne.

Безопасность часто отстает от внедрения любых новых технологий, таких как облачные вычисления, которые также стали популярными благодаря своим преимуществам. Но поскольку генерирующий искусственный интеллект может сделать гораздо больше, чем даже эта прорывная технология, злоупотребление его возможностями может нанести больший ущерб.

Во многих случаях новые методы являются потрясающе эффективными. Во время недавнего задания по тестированию средств защиты Дэйв Браухлер из компании NCC Group, занимающейся кибербезопасностью, обманом заставил помощника клиента по написанию программ с искусственным интеллектом запускать программы, которые подключались к базам данных и хранилищам кода компании.

"Мы никогда не были так глупы в вопросах безопасности", - сказал Браухлер.

В то время как некоторые более широкие опросы показывают неоднозначные результаты в отношении эффективности ИИ, большинство разработчиков программного обеспечения используют инструменты, в том числе от крупных компаний, занимающихся ИИ, которые пишут фрагменты кода, хотя некоторые исследования показывают, что эти инструменты с большей вероятностью, чем люди-программисты, приводят к сбоям в системе безопасности.

Чем большей автономией и доступом к производственным средам обладают такие инструменты, тем больший ущерб они могут нанести.

Августовская атака, возможно, впервые объединила известные методы взлома и манипуляции с помощью искусственного интеллекта. Неизвестные хакеры начали с привычной формы атаки на цепочку поставок. Они нашли способ опубликовать официальные программы, модифицирующие Nx, широко используемую платформу для управления хранилищами кода. Сотни тысяч пользователей Nx неосознанно загрузили зараженные программы.

Как и в случае с предыдущими атаками на цепочки поставок программного обеспечения, хакеры направили вредоносный код на поиск паролей учетных записей, криптовалютных кошельков и других конфиденциальных данных у тех, кто скачал измененные программы. Но, как ни странно, они предположили, что у многих из этих людей были установлены инструменты для программирования от Google, Anthropic или других, и эти инструменты могли иметь широкий доступ. Поэтому хакер поручил этим программам удалить данные. Более 1000 пользовательских компьютеров отправили информацию обратно.

"Что делает эту атаку особенной, так это то, что, насколько мне известно, это первый случай, когда злоумышленник пытался взломать ИИ, работающий в среде жертвы", - сказал Хенрик Плейт, исследователь из компании Endor Labs, занимающейся обеспечением безопасности программного обеспечения. "Большой риск для предприятий, в частности, заключается в том, что код, запущенный на компьютере разработчика, может быть более опасным, чем на других компьютерах. У него может быть доступ к другим корпоративным системам. Злоумышленник мог использовать атаку для других целей, например, для изменения исходного кода".

На прошедшей в прошлом месяце конференции Black Hat по безопасности в Лас-Вегасе были продемонстрированы другие привлекающие внимание способы использования искусственного интеллекта.

В ходе одной из демонстраций предполагаемый злоумышленник отправил по электронной почте документы со скрытыми инструкциями, адресованными ChatGPT или конкурентам. Если пользователь запрашивал сводку или она составлялась автоматически, программа выполняла инструкции, даже находила цифровые пароли и отправляла их за пределы сети.

Для аналогичной атаки на Gemini от Google даже не требовалось вложение, достаточно было отправить электронное письмо со скрытыми инструкциями. В сводке ИИ было ложно указано, что учетная запись взломана и что они должны позвонить по номеру злоумышленника, имитируя успешные фишинговые атаки.

Угрозы становятся все более актуальными с появлением искусственного интеллекта, который позволяет браузерам и другим инструментам проводить транзакции и принимать другие решения без участия человека.

Охранная компания Guardio уже обманом заставила браузер Agentic Comet от Perplexity купить часы в поддельном интернет-магазине и следовать инструкциям из поддельного банковского электронного письма.

Искусственный интеллект также используется злоумышленниками напрямую. В прошлом месяце компания Anthropic сообщила, что обнаружила целую кампанию по вымогательству, проводимую кем-то, кто использует ИИ для выполнения любых задач - поиска уязвимых систем в компании, их атаки, оценки украденных данных и даже предложения разумного выкупа. Благодаря достижениям в области интерпретации естественного языка преступнику даже не нужно было быть очень хорошим программистом.

Продвинутые программы искусственного интеллекта также начинают использоваться для поиска ранее не обнаруженных уязвимостей в системе безопасности, так называемых "нулевых дней", которые хакеры высоко ценят и используют для получения доступа к программному обеспечению, правильно настроенному и полностью обновленному с помощью исправлений безопасности.

Семь команд хакеров, разработавших автономные "системы кибернетического мышления" для конкурса, проведенного в прошлом месяце Агентством перспективных оборонных исследовательских проектов Пентагона, смогли найти в общей сложности 18 нулевых дней в 54 миллионах строк открытого исходного кода. Они работали над устранением этих уязвимостей, но официальные лица заявили, что хакеры по всему миру предпринимают аналогичные усилия по их обнаружению и использованию.

Некоторые давние защитники безопасности предсказывают, что во всем мире раз в жизни произойдет безумный рывок в использовании этой технологии, чтобы найти новые недостатки и использовать их, оставляя лазейки, к которым они смогут вернуться на досуге.

Настоящий кошмарный сценарий - это когда эти миры сталкиваются, и ИИ злоумышленника находит способ проникнуть внутрь, а затем начинает взаимодействовать с ИИ жертвы, работая в партнерстве - "когда ИИ плохого парня сотрудничает с ИИ хорошего парня", как выразился Деламотт из SentinelOne.

"В следующем году, - сказал Адам Мейерс, старший вице-президент CrowdStrike, - искусственный интеллект станет новой угрозой для инсайдеров".

Подготовлено ProFinance.Ru по материалам Washington Post.