Мало было серьёзных уязвимостей в процессорах, теперь такую обнаружили в GPU. LeftoverLocals опасна в случае обучения больших языковых моделей

Несколько лет назад одной из самых активных тем в IT были многочисленные уязвимости в процессорах. Теперь такую же обнаружили в современных GPU.  

Называется уязвимость LeftoverLocals (её каталожный номер — CVE-2023-4969). Она позволяет восстанавливать данные из локальной памяти графического процессора.

Подвержены ей многочисленные GPU Apple, AMD, Intel, Qualcomm и Imagination, но при этом среди GPU Nvidia, похоже, уязвимых нет, как и среди графических ядер Arm. 

Потребителей эта проблема напрямую не касается, однако она затрагивает процессы, связанные с искусственным интеллектом. В частности, это актуально для процесса машинного обучения и обучения больших языковых моделей. 

К примеру, посредством LeftoverLocals можно украсть около 5,5 МБ за каждый вызов графического процессора (пример приведёт для Radeon RX 7900 XT), что при запуске модели на llama.cpp с 7 млрд параметров добавляет примерно до 181 МБ для каждого запроса LLM. Этой информации достаточно, чтобы с высокой точностью …