И снова китайцы из DeepSeek показали всем, как надо работать с ИИ. Их алгоритм повышает производительность ускорителей Nvidia для ИИ в восемь раз

Китай не имеет нормального доступа к современным и самым мощным ускорителям для ИИ от Nvidia, но, похоже, теперь они им не очень уж и нужны.  Компания DeepSeek, создавшая нашумевшую нейросеть, теперь сообщает, что им удалось выжать 580 TFLOPS производительности в режиме BF16 на ускорителе Nvidia H800.

Чтобы было понятнее, это примерно в восемь раз превышает стандартный показатель модели.  

фото WCCF Tech

Более того, благодаря эффективному использованию памяти декодирующее ядро FlashMLA — изюминка новой разработки — обеспечивает пропускную способность памяти до 3000 ГБ/с, что почти в два раза превышает теоретический пик H800. Речь тут именно о программных оптимизациях, что говорит о том, что вовсе не обязательно гнаться за самыми мощными вычислительными устройствами — иногда можно получить даже больший прирост просто благодаря ПО. 

Напомним, относительно информации о невероятной дешевизне обучения DeepSeek есть альтернативное мнение. А вот если другие компании смогут добиться такого …