Совместное исследование компаний в области кибербезопасности, SentinelOne и Censys, выявило тревожные масштабы злонамеренного использования открытых больших языковых моделей (LLM).
Мониторинг, проводившийся на протяжении 293 дней, показал, что тысячи публично доступных ИИ-моделей используются в потенциально незаконных целях.
В список угроз входят создание фишинговых атак и спама, генерация контента для разжигания ненависти и преследования, взлом систем, кража личных данных и финансовое мошенничество.
Исследователи предупреждают, что злоумышленники получают доступ к компьютерам с развернутыми открытыми LLM, чтобы массово создавать вредоносный контент и обходить стандартные протоколы безопасности.
Значительная часть моделей в открытом доступе представляет собой вариации известных разработок, таких как Meta Llama или Google DeepMind Gemma.
Хотя многие из них изначально содержат встроенные механизмы безопасности, эксперты обнаружили сотни случаев, где эти защитные функции были намеренно отключены пользователями.
«В индустриальных дискуссиях об ИИ-безопасности игнорируется этот избыточный потенциал, который явно используется для самых разных целей, некоторые из которых законны, а некоторые явно преступны», — отметил Хуан Андрес Герреро-Сааде, исполнительный директор по исследованиям в SentinelOne.
В ходе анализа общедоступных платформ, основанных на фреймворке Ollama, эксперты смогли изучить системные подсказки примерно в четверти развернутых моделей. Оказалось, что около 7,5% этих инструкций можно использовать для организации вредоносной деятельности. Географически около 30% исследуемых хостов расположены в Китае, и 20% — в США.
Эксперты поднимают вопрос о распределении ответственности в экосистеме. После выпуска модели с открытым кодом контроль над её использованием значительно усложняется.
Рэйчел Адамс, генеральный директор Global Center on AI Governance, считает, что лаборатории-разработчики несут ответственность за прогнозирование потенциального вреда и предоставление инструментов для его смягчения.
В ответ на запрос представитель Meta отказался комментировать политику ответственности, сославшись на существующие инструменты защиты и руководство по ответственному использованию Llama.
В Microsoft признали, что открытые модели, как и любые transformative-технологии, могут быть использованы не по назначению при отсутствии должных мер защиты.
Исследование указывает на критический разрыв между стремительным развитием открытых ИИ-технологий и способностью сообщества контролировать их применение.
Растущая доступность мощных языковых моделей требует новых решений в области регулирования и безопасности на уровне как разработчиков, так и инфраструктуры.
Автор: Елена Гутыро
