#OpenAIInferenceCostTest

#OpenAIQ2LossWidens Empresas em rápido crescimento nem sempre se tornam grandes negócios. A OpenAI continua a crescer, mas as perdas também estão a aumentar. A Anthropic está a seguir um caminho diferente, mostrando sinais precoces de rentabilidade. A receita é o que chama a atenção. A economia sustentável é geralmente o que decide quem vence a maratona. O que é mais importante para si hoje, crescimento ou rentabilidade?

ÚLTIMA HORA: Probabilidades de a Anthropic fazer IPO acima da valorização de $SPCX da SpaceX de $1,77 triliões.

A OpenAI usou AI (modelos Sol e Astra) para ajudar a desenhar os chips Jalapeño que irão executar AI.

A OpenAI diz que o seu novo chip de IA Jalapeño pode reduzir significativamente o custo de execução da inteligência artificial, mas Jim Cramer (@jimcramer) mantém-se céptico quanto a que represente uma ameaça séria para a Nvidia ($NVDA). O Jalapeño é o primeiro chip de inferência personalizado da OpenAI e foi desenvolvido com a Broadcom ($AVGO). A empresa planeia começar a implementá-lo internamente até ao final de 2026, com a produção a aumentar ainda mais em 2027. O CEO da OpenAI, Sam Altman (@sama), descreveu o chip simplesmente dizendo: “Fizemos um chip e ele é rápido.” A empresa já está a trabalhar em versões de segunda e terceira geração. A OpenAI afirma que o Jalapeño pode oferecer tanto maior rendimento como menor latência, uma combinação difícil de alcançar. Os seus benchmarks internos mostraram melhor desempenho por watt do que os sistemas GB200 e GB300 da Nvidia em vários modelos grandes de IA. Dependendo da carga de trabalho, a OpenAI afirma que o Jalapeño proporcionou aproximadamente 1,5x a 1,9x mais desempenho por watt e uma latência significativamente menor. O chip foi concebido especificamente para inferência e não para treino de IA. O executivo de hardware da OpenAI, Richard Ho, disse que esses ganhos de eficiência poderiam eventualmente traduzir-se em preços mais baixos por token para os clientes à medida que o chip entra em produção. Ainda assim, a OpenAI não planeia substituir totalmente a Nvidia. A empresa disse que continuará a usar aceleradores Nvidia e hardware de outros parceiros tanto para treino como para inferência. Cramer rejeitou a ideia de que cada novo chip de IA representa um concorrente significativo para a Nvidia. Ele disse que ouve regularmente afirmações sobre chips superiores, mas continua a não ver “concorrentes reais” para a Nvidia em larga escala.

O Jalapeno da OpenAI é um sinal de que a indústria de IA está a entrar na era do “dominar a stack”. O manual costumava ser manter-se na sua área e focar-se. As empresas de modelos treinavam modelos. As empresas de chips fabricavam chips. As empresas de dados recolhiam dados. Essa era acabou. A OpenAI começou como um laboratório puramente de modelos. Agora estão a desenhar silício personalizado e a otimizar os sistemas completos em torno das suas cargas de trabalho reais. Esta semana também vimos @Figure_robot a avançar para a camada de dados e a lançar o Index, os seus próprios esforços de recolha de dados que abrangem 108 países. Todos estão a mover-se para cima e para baixo na stack. Parte disso é provavelmente para aprofundar fossos estreitos, parte para reduzir custos, parte para justificar avaliações.

A OpenAI construiu um chip de inferência personalizado (Jalapeño) e passou do primeiro RTL ao tapeout em 9 meses. Quando eu desenhava e fazia tapeout de SoCs complexos, 18–24 meses do RTL ao tapeout era normal. A verificação e o design físico consumiam a maior parte desse cronograma. Escrever Verilog/VHDL com AI é meio esperado com todos os agentes de codificação. A parte impressionante foi... a equipa @OpenAI usou um modelo interno com feedback rápido de QoR e verificação robusta para otimizar o RTL A AI está realmente a comprimir o ciclo de design... bom para todos. Veremos mais silício e mais inovação. Agora a diferenciação passa a garantir capacidade da TSMC e alocação de HBM.. Podem ser desenhados mais chips... mas menos podem ser produzidos em escala.

Os primeiros testes Jalapeño da OpenAI apontam para uma mudança potencialmente significativa na economia da inferência: 1,5x-1,9x mais rendimento por watt e 1,7x-3,6x menor latência de ponta a ponta em modelos abertos. Também foi relatado que o GPT-5.6 Sol usou 54% menos tokens de saída do que um concorrente líder em tarefas de codificação. O julgamento medido é que os ganhos de eficiência podem melhorar a economia unitária, mas os benchmarks testados pela empresa ainda não são prova de custos agregados mais baixos. Com 6,7 mil milhões de dólares em receitas no 2º trimestre contra uma perda operacional de 12,3 mil milhões de dólares, a implementação em larga escala e o crescimento da carga de trabalho serão mais importantes do que o desempenho em destaque. Não é aconselhamento, apenas análise. #OpenAIInferenceCostTest