В 20 раз быстрее Nvidia H100 и на порядок дешевле. Представлен Sohu — «самый быстрый ИИ-чип всех времён»

Молодая компания Etched представила то, что она называет самым быстрым ИИ-чипом всех времён.  

Решение называется Sohu. По заявлению создателей, один сервер с восемью ускорителями на основе Sohu сопоставим по производительности со 160 ускорителями Nvidia H100! То есть речь идёт о 20-кратной разнице. 

Можно подумать, что это какие-то фантазии стартапа для привлечения денег, но суть в том, что на самом деле Sohu нельзя так просто сравнивать с H100 или другими подобными ускорителями, существующими на рынке.

Разница в том, что и H100, и ускорители AMD Instinct, во-первых, опираются фактически на GPU, а во-вторых, являются весьма универсальными продуктами. Sohu же, в свою очередь, представляет собой ASIC и является максимально узкоспециализированным чипом. Sohu умеет работать только нейросетями, которые называют трансформерами. Это лишь одна из архитектур, существующих на рынке нейросетей на сегодня, но на сегодня она является основной для создания генеративных ИИ.  

Создатели Sohu исходят именно из этого. Так как такие задачи являются превалирующими, можно просто создать чип, который будет уметь работать только в одном режиме, но зато именно в этом режиме будет на порядок быстрее любых универсальных конкурентов. 

Известно, что Sohu производится по 4-нанометровому техпроцессу TSMC, то есть он должен быть весьма энергоэффективным. Создатели ASIC утверждают, что их детище превосходит не только Nvidia H100, но и будет на порядок дешевле и быстрее, чем Nvidia Blackwell. Правда, пока неясно, когда будет налажен массовый выпуск Sohu.