#OpenAIInferenceCostTest

#OpenAIQ2LossWidens Las empresas de rápido crecimiento no siempre se convierten en grandes negocios. OpenAI sigue creciendo, pero las pérdidas también aumentan. Anthropic está tomando un camino diferente al mostrar signos tempranos de rentabilidad. Los ingresos acaparan los titulares. La economía sostenible suele decidir quién gana la maratón. ¿Qué te importa más hoy, el crecimiento o la rentabilidad?

ÚLTIMA HORA: Probabilidades de que Anthropic salga a bolsa por encima de la valoración de $SPCX de SpaceX de $1,77 billones.

OpenAI usó AI (modelos Sol y Astra) para ayudar a diseñar los chips Jalapeño que ejecutarán AI.

OpenAI dice que su nuevo chip de IA Jalapeño podría reducir significativamente el costo de ejecutar inteligencia artificial, pero Jim Cramer (@jimcramer) sigue siendo escéptico sobre que represente una amenaza seria para Nvidia ($NVDA). Jalapeño es el primer chip de inferencia personalizado de OpenAI y fue desarrollado con Broadcom ($AVGO). La empresa planea comenzar a desplegarlo internamente a finales de 2026, con una producción que se espera aumente aún más en 2027. El CEO de OpenAI, Sam Altman (@sama), describió el chip simplemente diciendo: “Hicimos un chip y es rápido.” La empresa ya está trabajando en versiones de segunda y tercera generación. OpenAI dice que Jalapeño puede ofrecer tanto mayor rendimiento como menor latencia, una combinación difícil de lograr. Sus pruebas internas mostraron un mejor rendimiento por vatio que los sistemas GB200 y GB300 de Nvidia en varios modelos grandes de IA. Dependiendo de la carga de trabajo, OpenAI afirma que Jalapeño entregó aproximadamente entre 1.5x y 1.9x más rendimiento por vatio y una latencia significativamente menor. El chip está diseñado específicamente para inferencia y no para entrenamiento de IA. El ejecutivo de hardware de OpenAI, Richard Ho, dijo que esas ganancias de eficiencia podrían eventualmente traducirse en precios más bajos por token para los clientes a medida que el chip se produzca a gran escala. Aun así, OpenAI no planea reemplazar completamente a Nvidia. La empresa dijo que continuará usando aceleradores de Nvidia y hardware de otros socios tanto para entrenamiento como para inferencia. Cramer descartó la idea de que cada nuevo chip de IA represente un competidor significativo para Nvidia. Dijo que regularmente escucha afirmaciones sobre chips superiores, pero sigue sin ver “competidores reales” a escala para Nvidia.

Jalapeño de OpenAI es una señal de que la industria de la IA está entrando en la era de "poseer la pila". La estrategia solía ser mantenerse en tu carril y enfocarte. Las empresas de modelos entrenaban modelos. Las empresas de chips fabricaban chips. Las empresas de datos recopilaban datos. Esa era ha terminado. OpenAI comenzó como un laboratorio puro de modelos. Ahora están diseñando silicio personalizado y optimizando los sistemas completos alrededor de sus cargas de trabajo reales. Esta semana también vimos a @Figure_robot moverse hacia la capa de datos y lanzar Index, sus propios esfuerzos de recopilación de datos que abarcan 108 países. Todos están moviéndose hacia arriba y hacia abajo en la pila. Parte de esto probablemente sea para profundizar fosos estrechos, parte para reducir costos, y parte para justificar valoraciones.

OpenAI creó un chip de inferencia personalizado (Jalapeño) y pasó del primer RTL a la fabricación en 9 meses. Cuando diseñaba y fabricaba SoCs complejos, 18–24 meses desde RTL hasta la fabricación era lo normal. La verificación y el diseño físico consumían la mayor parte de ese tiempo. Que la IA escriba Verilog/VHDL es algo esperado con todos los agentes de codificación. La parte impresionante fue... que el equipo de @OpenAI usó un modelo interno con retroalimentación rápida de QoR y verificación robusta para optimizar el RTL La IA realmente está comprimiendo el ciclo de diseño... bueno para todos. Veremos más silicio y más innovación. Ahora la diferenciación se traslada a asegurar la capacidad de TSMC y la asignación de HBM.. Se pueden diseñar más chips... pero menos pueden producirse a escala.

Las primeras pruebas Jalapeño de OpenAI apuntan a un cambio potencialmente significativo en la economía de la inferencia: 1,5x-1,9x más rendimiento por vatio y 1,7x-3,6x menor latencia de extremo a extremo en modelos abiertos. También se informó que GPT-5.6 Sol utilizó un 54% menos de tokens de salida que un competidor líder en tareas de codificación. El juicio medido es que las ganancias de eficiencia podrían mejorar la economía unitaria, pero los benchmarks probados por la empresa aún no son prueba de costos agregados más bajos. Con 6,7 mil millones de dólares en ingresos en el segundo trimestre frente a una pérdida operativa de 12,3 mil millones de dólares, el despliegue a gran escala y el crecimiento de la carga de trabajo serán más importantes que el rendimiento destacado. No es un consejo, solo análisis. #OpenAIInferenceCostTest