ИИ научился чинить собственные баги: Meta представила открытый фреймворк LlamaFirewall для защиты моделей от взломов и вредоносного кода

Meta* анонсировала LlamaFirewall — открытый фреймворк, призванный защитить приложения на базе больших языковых моделей (LLM) от современных киберрисков. Решение, опубликованное в репозитории GitHub, сочетает три уровня безопасности: PromptGuard 2, Agent Alignment Checks и CodeShield, позволяя разработчикам создавать многоуровневую защиту для чат-ботов и автономных агентов.

Ядро фреймворка, PromptGuard 2, анализирует пользовательские запросы в реальном времени, выявляя прямые атаки через инъекции промптов и попытки «джейлбрейка» — обхода ограничений модели. Второй компонент, Agent Alignment Checks, отслеживает логику работы автономных агентов, предотвращая перехват целей и косвенные инъекции. Третий элемент, CodeShield, представляет собой статический анализатор кода, блокирующий генерацию небезопасных или вредоносных скриптов.

Иллюстрация: Leonardo

«Архитектура LlamaFirewall модульная, что даёт возможность комбинировать слои защиты от этапа обработки входных данных до финальных …