В 10 раз быстрее топовых решений Nvidia и в 20 раз дешевле: канадский стартап Taalas создал оригинальный ускоритель для ИИ, в котором нейросеть «впаяна» в кремний

Канадский чип-стартап Taalas представил радикально новый подход к вычислениям искусственного интеллекта: вместо GPU компания предлагает «впаивать» конкретные ИИ-модели непосредственно в архитектуру кремниевого чипа. Первое коммерческое решение, получившее название HC1, интегрирует в себя популярную модель Llama 3.

1 8B, демонстрируя при этом фантастические результаты.

Изображение: Taalas

Суть идеи Taalas заключается в полной специализации оборудования под конкретный алгоритм. Инженеры буквально переносят нейронную сеть модели на структуру транзисторов чипа. Это позволяет существенно снизить затраты, так как чип не требует дорогой памяти HBM, сложной упаковки или экстремального жидкостного охлаждения. При этом Taalas удалось достичь производительности в 10 раз выше, чем у топовых ускорителей современности, а стоимость производства — в 20 раз ниже.

Сам чип HC1 производится на мощностях TSMC по 6-нанометровому техпроцессу и имеет внушительную площадь 815 мм2, что сопоставимо с Nvidia …