
#OpenAIInferenceCostTest
About OpenAIInferenceCostTest
OpenAI shared early tests of Jalapeño, its first in-house inference chip. It says it delivers 1.5x-1.9x more throughput per watt on open models and cuts end-to-end latency by 1.7x-3.6x. Deployment is planned by year-end, with two successors in development. It also says GPT-5.6 Sol used 54% fewer output tokens than a leading rival on coding tasks. After $6.7B in Q2 revenue and a $12.3B operating loss, can these company-tested gains lower inference costs, narrow losses and support its IPO valuatio
Nổi bật
Mới nhất
OpenAIInferenceCostTest Bài đăng phổ biến
#OpenAIQ2LossWidens
Các công ty tăng trưởng nhanh không phải lúc nào cũng trở thành doanh nghiệp vĩ đại.
OpenAI tiếp tục phát triển, nhưng thua lỗ cũng đang tăng lên. Anthropic đang đi theo một con đường khác bằng cách cho thấy dấu hiệu lợi nhuận sớm. Doanh thu mới là tiêu điểm.
Kinh tế bền vững thường quyết định ai thắng trong cuộc đua marathon. Hôm nay, điều gì quan trọng hơn với bạn, tăng trưởng hay lợi nhuận?

VỪA MỚI: Khả năng Anthropic IPO vượt qua mức định giá tăng vọt 1,77 nghìn tỷ đô la của SpaceX $SPCX.

OpenAI cho biết chip AI Jalapeño mới của họ có thể giảm đáng kể chi phí vận hành trí tuệ nhân tạo, nhưng Jim Cramer (@jimcramer) vẫn hoài nghi rằng nó có thể là mối đe dọa nghiêm trọng đối với Nvidia ($NVDA).
Jalapeño là chip suy luận tùy chỉnh đầu tiên của OpenAI và được phát triển cùng với Broadcom ($AVGO). Công ty dự kiến sẽ bắt đầu triển khai nội bộ vào cuối năm 2026, với sản lượng dự kiến tăng mạnh hơn vào năm 2027.
CEO OpenAI Sam Altman (@sama) mô tả chip một cách đơn giản: “Chúng tôi đã làm một con chip và nó nhanh.” Công ty đã và đang phát triển các phiên bản thế hệ thứ hai và thứ ba.
OpenAI cho biết Jalapeño có thể cung cấp cả thông lượng cao hơn và độ trễ thấp hơn, một sự kết hợp khó đạt được. Các bài kiểm tra nội bộ cho thấy hiệu suất trên mỗi watt tốt hơn so với hệ thống GB200 và GB300 của Nvidia trên nhiều mô hình AI lớn.
Tùy thuộc vào khối lượng công việc, OpenAI khẳng định Jalapeño mang lại hiệu suất trên mỗi watt cao hơn khoảng 1,5 đến 1,9 lần và độ trễ thấp hơn đáng kể. Chip được thiết kế đặc biệt cho suy luận thay vì đào tạo AI.
Giám đốc phần cứng OpenAI Richard Ho cho biết những cải tiến về hiệu quả này cuối cùng có thể chuyển thành giá token thấp hơn cho khách hàng khi chip được sản xuất hàng loạt.
Tuy nhiên, OpenAI không có kế hoạch thay thế hoàn toàn Nvidia. Công ty cho biết sẽ tiếp tục sử dụng bộ tăng tốc Nvidia và phần cứng từ các đối tác khác cho cả đào tạo và suy luận.
Cramer bác bỏ ý tưởng rằng mỗi chip AI mới đều là đối thủ đáng kể của Nvidia. Ông nói ông thường nghe các tuyên bố về chip vượt trội nhưng vẫn chưa thấy “đối thủ thực sự” nào của Nvidia ở quy mô lớn.


Jalapeno của OpenAI là tín hiệu cho thấy ngành công nghiệp AI đang bước vào kỷ nguyên “sở hữu toàn bộ hệ thống”.
Chiến lược trước đây là giữ vững phạm vi của bạn và tập trung.
Các công ty mô hình chỉ đào tạo mô hình. Các công ty chip chỉ sản xuất chip. Các công ty dữ liệu chỉ thu thập dữ liệu.
Kỷ nguyên đó đã kết thúc.
OpenAI bắt đầu như một phòng thí nghiệm mô hình thuần túy. Giờ đây họ đang thiết kế chip tùy chỉnh và tối ưu hóa toàn bộ hệ thống xung quanh khối lượng công việc thực tế của họ.
Tuần này chúng ta cũng thấy @Figure_robot tiến vào tầng dữ liệu và ra mắt Index, nỗ lực thu thập dữ liệu riêng của họ trải rộng trên 108 quốc gia.
Mọi người đang di chuyển lên xuống trong hệ thống.
Một phần trong số đó có thể là để làm sâu sắc thêm các rào cản mỏng manh, một phần để cắt giảm chi phí, một phần để biện minh cho định giá.

OpenAI đã tạo ra một chip suy luận tùy chỉnh (Jalapeño) và từ RTL đầu tiên đến tapeout chỉ trong 9 tháng.
Khi tôi thiết kế và tapeout các SoC phức tạp, 18–24 tháng từ RTL đến tapeout là bình thường. Việc xác minh và thiết kế vật lý chiếm phần lớn thời gian đó.
Việc AI viết Verilog/VHDL cũng khá được mong đợi với tất cả các tác nhân lập trình. Phần ấn tượng là... đội ngũ @OpenAI đã sử dụng một mô hình nội bộ với phản hồi QoR nhanh và xác minh mạnh mẽ để tối ưu hóa RTL
AI thực sự đang rút ngắn chu kỳ thiết kế.. điều này tốt cho tất cả mọi người. Chúng ta sẽ thấy nhiều silicon hơn và nhiều đổi mới hơn. Giờ đây sự khác biệt chuyển sang việc đảm bảo năng lực sản xuất của TSMC và phân bổ HBM..
Có thể thiết kế nhiều chip hơn.. nhưng số lượng sản xuất quy mô lớn lại ít hơn.



OpenAI đang nghiêm túc trong việc sở hữu toàn bộ hệ sinh thái AI
Jalapeño cuối cùng cũng chuyển từ giai đoạn thử nghiệm sang hạ tầng của OpenAI
> nhiều công việc AI hơn trên mỗi watt
> thông lượng cao hơn với độ trễ thấp hơn
> phản hồi ChatGPT và Codex nhanh hơn
đây mới chỉ là Thế hệ 1, thế hệ 2 đã đang được phát triển, trong khi Thế hệ 3 đang hình thành.
OpenAI đã có các mô hình, người dùng và nhu cầu.
bây giờ họ cũng đang xây dựng phần tính toán bên dưới.
câu hỏi thực sự là điều này sẽ tiến xa đến đâu khi Jalapeño bắt đầu mở rộng trên toàn bộ hạ tầng của họ.
bạn nghĩ Thế hệ 2 sẽ trông như thế nào?


Kể từ khi công bố Jalapeño, chip suy luận tùy chỉnh đầu tiên của chúng tôi, chúng tôi đã tiến hành thử nghiệm nó và hệ thống xung quanh nó.
Kết quả cho thấy một bước tiến lớn: nhiều trí tuệ hơn từ mỗi watt và phản hồi nhanh hơn, mang lại cả thông lượng cao hơn và độ trễ thấp hơn trong một kiến trúc mà không làm giảm hiệu quả.
Các bài kiểm tra Jalapeño ban đầu của OpenAI cho thấy một sự thay đổi tiềm năng có ý nghĩa trong kinh tế suy luận: tăng 1,5x-1,9x thông lượng trên mỗi watt và giảm độ trễ đầu-cuối 1,7x-3,6x trên các mô hình mở. GPT-5.6 Sol cũng được cho là đã sử dụng ít hơn 54% số token đầu ra so với đối thủ hàng đầu trong các nhiệm vụ lập trình.
Đánh giá đo được là các cải tiến về hiệu quả có thể cải thiện kinh tế đơn vị, nhưng các điểm chuẩn do công ty kiểm tra vẫn chưa phải là bằng chứng cho chi phí tổng thể thấp hơn. Với doanh thu 6,7 tỷ USD trong quý 2 so với khoản lỗ hoạt động 12,3 tỷ USD, việc triển khai quy mô lớn và tăng trưởng khối lượng công việc sẽ quan trọng hơn hiệu suất nổi bật. Không phải lời khuyên, chỉ là phân tích.
#OpenAIInferenceCostTest

Chip suy luận tùy chỉnh đầu tiên của OpenAI mang lại thông lượng cao hơn, độ trễ thấp hơn và hiệu quả tốt hơn trong một kiến trúc duy nhất.
Khi phòng thí nghiệm AI lớn nhất bắt đầu thiết kế chip silicon riêng của mình, kinh tế suy luận ở quy mô lớn gặp phải một vấn đề.
Lớp tính toán đang được xây dựng lại từ đầu.
Kể từ khi công bố Jalapeño, chip suy luận tùy chỉnh đầu tiên của chúng tôi, chúng tôi đã tiến hành thử nghiệm nó và hệ thống xung quanh nó.
Kết quả cho thấy một bước tiến lớn: nhiều trí tuệ hơn từ mỗi watt và phản hồi nhanh hơn, mang lại cả thông lượng cao hơn và độ trễ thấp hơn trong một kiến trúc mà không làm giảm hiệu quả.

Anthropic đã làm đảo lộn cuộc đua AI.
OpenAI: Doanh thu Q2 là 6,7 tỷ USD, tăng 18%
Anthropic: 11,6 tỷ USD, hơn gấp đôi so với cùng kỳ năm trước
Và điều bất ngờ là Anthropic đã có lợi nhuận trên cơ sở điều chỉnh.
Doanh nghiệp đang trở thành chiến trường thực sự của AI.
Nếu xu hướng này tiếp tục, cuộc tranh luận về định giá sẽ trở nên RẤT thú vị.
OpenAI có thể vẫn là cái tên lớn hơn.
Nhưng nếu Anthropic tiếp tục tăng trưởng doanh thu nhanh như vậy, các nhà đầu tư có thể bắt đầu đặt ra một câu hỏi rất khó chịu
Tại sao thị trường lại nên định giá công ty tăng trưởng chậm hơn cao hơn?


🔥$OPENAI vừa công bố báo cáo hiệu suất khiến thị trường lo lắng.
Doanh thu quý 2 là 6,7 tỷ USD, tăng 18% so với 5,7 tỷ USD của quý 1. Nghe có vẻ ổn, đúng không? Nhưng vấn đề là—tốc độ tăng trưởng theo quý đã giảm một nửa, từ 35,7% trong quý 1. Thậm chí còn đau đớn hơn, khoản lỗ hoạt động tăng từ 9,3 tỷ USD lên 12,3 tỷ USD. Tăng trưởng lợi nhuận chậm lại, thua lỗ nhanh hơn.#BTCRallyOrSqueeze #AnthropicIPONears #PopMartEarningsWatch
