Гонка токенов: Meta* и Cerebras Systems запускают Llama API с рекордной скоростью обработки

Meta* объявила о стратегическом партнёрстве с Cerebras Systems для запуска Llama API — сервиса, который обеспечивает вывод данных ИИ со скоростью до 18 раз выше, чем у традиционных GPU-решений. Анонс сделан на первой конференции для разработчиков LlamaCon и знаменует выход Meta в рынок коммерческого инференса, где доминируют OpenAI, Google и Anthropic.

Для компании это первый опыт сотрудничества с гиперскалером, подтверждающий эффективность их wafer-scale чипов.

Тесты Artificial Analysis показали, что система Cerebras обрабатывает свыше 2600 токенов в секунду для модели Llama 4 Scout — в 20 раз быстрее ChatGPT (~130 токенов/с) и на два порядка выше DeepSeek (~25 токенов/с).

Иллюстрация: VentureBeat / Midjourney

До сих пор Meta ограничивалась открытым распространением моделей Llama (более 1 млрд загрузок), не предоставляя облачной инфраструктуры. Теперь компания трансформирует их в коммерческий продукт, напрямую конкурируя за рынок токенов. «Разработчики покупают их миллиардами, как …