OpenAI и Broadcom объявили о создании Jalapeño — нового чипа, спроектированного специально для инференса больших языковых моделей в дата-центрах. ASIC был разработан с нуля за девять месяцев на основе идей исследователей OpenAI и с учётом продуктовой дорожной карты компании.
Broadcom утверждает, что Jalapeño более специализирован для текущих потребностей LLM, чем существующее оборудование для инференса. OpenAI заявляет, что ранние тесты показывают существенно лучшую производительность на ватт по сравнению с текущими решениями, хотя подробные технические результаты будут опубликованы в ближайшие месяцы.