
#OpenAIInferenceCostTest
About OpenAIInferenceCostTest
OpenAI shared early tests of Jalapeño, its first in-house inference chip. It says it delivers 1.5x-1.9x more throughput per watt on open models and cuts end-to-end latency by 1.7x-3.6x. Deployment is planned by year-end, with two successors in development. It also says GPT-5.6 Sol used 54% fewer output tokens than a leading rival on coding tasks. After $6.7B in Q2 revenue and a $12.3B operating loss, can these company-tested gains lower inference costs, narrow losses and support its IPO valuatio
Популярное
Последние
OpenAIInferenceCostTest Популярные публикации
#OpenAIQ2LossWidens
Быстрорастущие компании не всегда становятся великими бизнесами.
OpenAI продолжает расти, но убытки тоже увеличиваются. Anthropic идет другим путем, показывая первые признаки прибыльности. Доходы привлекают внимание.
Устойчивые экономические показатели обычно решают, кто выиграет марафон. Что для вас важнее сегодня — рост или прибыльность?

Только что: шансы на IPO Anthropic выше, чем у SpaceX с ростом оценки $SPCX до $1,77 трлн.

OpenAI заявляет, что его новый AI-чип Jalapeño может значительно снизить стоимость работы искусственного интеллекта, но Джим Крамер (@jimcramer) остается скептиком в отношении того, что он представляет серьезную угрозу для Nvidia ($NVDA).
Jalapeño — первый собственный чип для инференса от OpenAI, разработанный совместно с Broadcom ($AVGO). Компания планирует начать его внутреннее внедрение к концу 2026 года, а производство ожидается нарастить в 2027 году.
Генеральный директор OpenAI Сэм Альтман (@sama) описал чип просто: «Мы сделали чип, и он быстрый». Компания уже работает над вторым и третьим поколениями.
OpenAI утверждает, что Jalapeño обеспечивает как более высокую пропускную способность, так и более низкую задержку — сочетание, которое трудно достичь. Внутренние тесты показали лучшую производительность на ватт по сравнению с системами Nvidia GB200 и GB300 на нескольких крупных AI-моделях.
В зависимости от нагрузки OpenAI заявляет, что Jalapeño обеспечивает примерно в 1,5–1,9 раза большую производительность на ватт и значительно меньшую задержку. Чип специально разработан для инференса, а не для обучения AI.
Ричард Хо, руководитель аппаратного подразделения OpenAI, сказал, что эти улучшения в эффективности могут в конечном итоге привести к снижению стоимости токенов для клиентов по мере масштабирования производства чипа.
Тем не менее, OpenAI не планирует полностью заменить Nvidia. Компания заявила, что продолжит использовать ускорители Nvidia и оборудование других партнеров как для обучения, так и для инференса.
Крамер отверг идею, что каждый новый AI-чип представляет собой значимого конкурента Nvidia. Он сказал, что регулярно слышит заявления о превосходных чипах, но по-прежнему не видит «реальных конкурентов» Nvidia в масштабах.


Jalapeno от OpenAI — это сигнал того, что индустрия ИИ входит в эпоху «владения стеком».
Раньше стратегия была проста: занимайся своим делом и сосредотачивайся.
Компании, создающие модели, обучали модели. Производители чипов делали чипы. Компании, работающие с данными, собирали данные.
Эта эпоха закончилась.
OpenAI начинала как чисто лаборатория моделей. Теперь они проектируют собственные микросхемы и оптимизируют полные системы вокруг своих реальных рабочих нагрузок.
На этой неделе мы также увидели, как @Figure_robot выходит на уровень данных и запускает Index — собственные усилия по сбору данных, охватывающие 108 стран.
Все движутся вверх и вниз по стеку.
Часть этого, вероятно, направлена на углубление узких рвов, часть — на сокращение затрат, часть — на обоснование оценок.

OpenAI создала собственный чип для инференса (Jalapeño) и прошла путь от первого RTL до выпуска в производство за 9 месяцев.
Когда я проектировал и выпускал сложные SoC, 18–24 месяца от RTL до выпуска в производство были нормой. Верификация и физическое проектирование занимали большую часть этого времени.
Ожидаемо, что AI пишет Verilog/VHDL с появлением всех этих кодирующих агентов. Впечатляющей частью было то, что команда @OpenAI использовала внутреннюю модель с быстрым обратным связью по качеству реализации (QoR) и надежной верификацией для оптимизации RTL.
AI действительно сокращает цикл проектирования... это хорошо для всех. Мы увидим больше кремния и больше инноваций. Теперь дифференциация смещается в сторону обеспечения мощности TSMC и выделения HBM..
Можно спроектировать больше чипов... но меньшее количество можно произвести в масштабах.



OpenAI всерьез взялась за создание полного стека AI
Jalapeño наконец переходит от тестирования к инфраструктуре OpenAI
> больше работы AI на каждый ватт
> выше пропускная способность при меньшей задержке
> быстрее ответы ChatGPT и Codex
это только первое поколение, второе уже в разработке, а третье формируется.
У OpenAI уже есть модели, пользователи и спрос.
теперь они строят и вычислительную основу под ними.
настоящий вопрос — насколько далеко это зайдет, когда Jalapeño начнет масштабироваться по всей их инфраструктуре.
как вы думаете, каким будет второе поколение?


С момента анонса Jalapeño, нашего первого кастомного чипа для инференса, мы тестируем его и систему вокруг него.
Результаты показывают значительный прогресс: больше интеллекта на каждый ватт и более быстрые отклики, обеспечивая одновременно более высокую пропускную способность и меньшую задержку в одной архитектуре без ущерба для эффективности.
Ранние тесты OpenAI Jalapeño указывают на потенциально значительный сдвиг в экономике инференса: на 1,5-1,9 раза больше пропускной способности на ватт и на 1,7-3,6 раза ниже сквозная задержка на открытых моделях. Сообщается, что GPT-5.6 Sol также использовал на 54% меньше выходных токенов, чем ведущий конкурент в задачах программирования.
Сделан вывод, что повышение эффективности может улучшить экономику единицы, но тесты компании пока не доказывают снижение совокупных затрат. При доходе во 2-м квартале в $6,7 млрд и операционных убытках в $12,3 млрд масштабное развертывание и рост рабочих нагрузок будут важнее, чем показатели на уровне заголовков. Это не совет, а просто анализ.
#OpenAIInferenceCostTest

Первый специализированный чип для инференса от OpenAI обеспечивает большую пропускную способность, меньшую задержку и лучшую эффективность в одной архитектуре.
Когда крупнейшая лаборатория ИИ начинает разрабатывать собственный кремний, экономика инференса в масштабах сталкивается с проблемой.
Слой вычислений перестраивается с нуля.
С момента анонса Jalapeño, нашего первого кастомного чипа для инференса, мы тестируем его и систему вокруг него.
Результаты показывают значительный прогресс: больше интеллекта на каждый ватт и более быстрые отклики, обеспечивая одновременно более высокую пропускную способность и меньшую задержку в одной архитектуре без ущерба для эффективности.

Anthropic перевернула гонку AI с ног на голову.
OpenAI: доход во 2-м квартале $6,7 млрд, +18%
Anthropic: $11,6 млрд, более чем в 2 раза больше по сравнению с прошлым годом
И самое удивительное, что Anthropic уже прибыльна с поправкой на корректировки.
Корпоративный сектор становится настоящим полем битвы AI.
Если эта тенденция сохранится, дебаты о стоимости компаний станут ОЧЕНЬ интересными.
OpenAI может по-прежнему иметь более известное имя.
Но если Anthropic продолжит так быстро расти по доходам, инвесторы могут начать задавать очень неудобный вопрос
Почему рынок должен оценивать компанию с более медленным ростом выше?


🔥$OPENAI только что опубликовала отчет о результатах, который вызвал нервозность на рынке.
Выручка за второй квартал составила 6,7 млрд $, что на 18% больше, чем 5,7 млрд $ в первом квартале. Звучит неплохо, правда? Но проблема в том, что темп роста по сравнению с предыдущим кварталом сократился вдвое — с 35,7% в первом квартале. Еще более болезненно, что операционные убытки выросли с 9,3 млрд $ до 12,3 млрд $. Медленнее рост прибыли, быстрее убытки.#BTCRallyOrSqueeze #AnthropicIPONears #PopMartEarningsWatch
