ИИ Copilot от Microsoft стал инструментом для кибератак

Исследователь безопасности Майкл Баргури, соучредитель и технический директор компании Zenity, продемонстрировал на конференции Black Hat в Лас-Вегасе, как ИИ Copilot от Microsoft может быть использован для раскрытия конфиденциальных данных организаций и проведения мощных фишинговых атак.

Copilot AI, особенно Copilot Studio, позволяет бизнес-организациям адаптировать чат-ботов под свои потребности, предоставляя доступ к данным компании.

Однако, как показал Баргури, многие из этих чат-ботов обнаруживаются в сети по умолчанию, что делает их лёгкой добычей для хакеров. По словам исследователя, в интернете обнаружены десятки тысяч таких ботов.

Баргури продемонстрировал, как злоумышленник может заставить Copilot раскрыть конфиденциальные данные, включая электронные письма и банковские транзакции, даже не имея доступа к учётной записи организации. В одном из видео он показал, как чат-бот может изменить получателя банковского перевода, просто отправив вредоносное электронное письмо, которое целевому сотруднику даже не пришлось открывать.

Источник: DALL-E

Если у хакера есть доступ к взломанной учётной записи сотрудника, то он может нанести ещё больший ущерб. Баргури показал, как получить электронное письмо коллеги, узнать о последнем разговоре с ним и заставить чат-бота выдать электронные письма людей, чьи копии были указаны в этом разговоре. Затем он поручает боту составить электронное письмо в стиле взломанного сотрудника, чтобы отправить его коллеге, и просит бота вытащить точную тему их последнего электронного письма. Всего за несколько минут он создал убедительное электронное письмо, которое могло доставить вредоносное вложение любому человеку в сети.

Особенно хитрый способ, которым злоумышленник может обойти защитные барьеры Copilot, — это непрямое внедрение подсказок. В этом случае хакер может заставить чат-бота делать запрещённые вещи, отравив его вредоносными данными из внешнего источника, например, попросив его посетить веб-сайт, содержащий подсказку.

«Здесь есть фундаментальная проблема. Когда вы предоставляете ИИ доступ к данным, эти данные становятся мишенью для атаки. Это довольно забавно в некотором смысле — если у вас есть бот, который полезен, то он уязвим. Если он не уязвим, то он бесполезен», — сказал Баргури.

Данные уязвимости добавляются к другим отчётам об угрозах, которые несут чат-боты на основе искусственного интеллекта, включая ChatGPT, которые подключаются к наборам данных, содержащим конфиденциальную информацию, которая может быть раскрыта.

Microsoft пока не прокомментировала результаты исследования Баргури. Однако, учитывая серьёзность обнаруженных уязвимостей, компания, вероятно, примет меры для их устранения в ближайшее время.