На рынке чипов для ИИ появился новый игрок. Судя по всему, с большим потенциалом. Компания Groq представила свой процессор, который, похоже, ощутимо превосходит конкурентов.
Начать стоит с того, что Groq (процессор называется так же) — это не CPU и не GPU. Это так называемый языковой процессор (LPU).
Вторая важная особенность заключается в том, что данный LPU предназначен не для обучения нейросетей, а для вывода. И вот тут он показывает себя великолепно.
Groq LPU — это одноядерный чип, основанный на архитектуре тензорных потоковых процессоров (TSP), который обеспечивает производительность 750 TOPS при INT8 и 188 TFLOPS при FP16 с матричным умножением объединенных скалярных произведений 320x320 в дополнение к 5120 векторным ALU. Судя по данным в Сети, Groq очень сильно обходит других игроков рынка, системы которых опираются на GPU.
При работе с моделью Mixtral 8x7B Groq LPU обеспечивает скорость 480 токенов в секунду, а это один из лучших показателей вывода в отрасли. В модели …
Свежие комментарии