OpenAI 自研晶片 Jalapeño 首批實測出爐:能效最高達 Nvidia Blackwell 的 1.9 倍、延遲低 3.6 倍
OpenAI 與 Broadcom 共同打造的首款自研推理晶片 Jalapeño 公布首批實測數據:每瓦效能最高達 Nvidia GB200/GB300 系統的 1.9 倍,端對端延遲最低僅其 3.6 分之一。
在 OpenAI 與 Broadcom 聯手揭曉 Jalapeño——該公司首款為大型語言模型推理量身打造的「智慧處理器」——九個月後,OpenAI 於 2026 年 8 月 25 日發布了首批實測效能數據,結果震撼整個半導體產業。在推理經濟學最關鍵的兩項指標:每瓦吞吐量與端對端延遲上,Jalapeño 都擊敗了 Nvidia 旗艦的 Blackwell 世代系統。
關鍵數字
在公開基準測試平台 InferenceX 上,Jalapeño 在峰值吞吐量時的每瓦 AI 運算量比對照系統(Nvidia GB200 與 GB300 機櫃)高出 1.5 至 1.9 倍,端對端延遲則低了 1.7 至 3.6 倍。
單一模型的數據更為驚人。在執行開放權重模型 GPT-OSS 120B 時,Jalapeño 每秒可輸出約 1,459 tokens(每人),而 Nvidia GB200 僅約 535 tokens——原始解碼速度領先 2.7 倍。在延遲方面,Jalapeño 約 1.65 秒就能完成一次端對端推理任務,而 GB300 需要近 6 秒,正好吻合 3.6 倍宣稱的上限。
OpenAI 另外報告,在延遲匹配條件下執行 DeepSeek R1 解碼時,Jalapeño 的每千瓦吞吐量最高達 GB300 的 104.3 倍。這個數字看似驚人,但附帶重要但書:它是在特定匹配工作點下的比較,並非通用加速倍率。分析師也很快指出,更具代表性的跨情境數字,是 1.5 至 1.9 倍的每瓦效能區間。
Jalapeño 到底是什麼
Jalapeño 不是 GPU。它是一款客製化 ASIC——由 OpenAI 與 Broadcom 共同設計、專為大規模 transformer 推理打造的「智慧處理器」。通用 GPU 必須同時服務訓練與推理、涵蓋所有客戶的工作負載;Jalapeño 則得以完全專注於單一客戶的主導 workload:提供大型語言模型服務。
這種專注直接反映在能效曲線上。與官方結果同步發布深度分析的 SemiAnalysis(文章標題就叫「OpenAI Jalapeño: Better Than Nvidia Blackwell」)結論指出,Jalapeño 在「幾乎所有情境下」每瓦效能都勝過 Blackwell,而且「並未針對曲線上任何特定工作點調校」——意味著這些勝利並非精心挑選的基準位置,而是全面的能效優勢。該分析還指出,目前的 B0 步進版本相較早期 A0 晶片每瓦效能提升約 25%,顯示這個設計隨著製程成熟仍有成長空間。
為什麼重要
前沿 AI 的經濟學,正日益成為「推理經濟學」。訓練雖然龐大但屬於一次性事件;服務數億用戶則是永久且不斷複利的成本。若超大規模營運商能讓每千瓦多榨出哪怕 1.5 倍的有效 tokens——早期第三方估計,平台完成最佳化後,總持有成本(TCO)可能降至 GPU 方案的三分之一至五分之一——以 OpenAI 的規模,每年節省的金額將以十億美元計。
這對產業的電力難題同樣關鍵。資料中心用電已成為 AI 擴張的硬約束,主要地區的電網併聯排程動輒數年。每瓦能做更多工作的晶片,能直接放寬這項約束——這也是為什麼每瓦效能已取代原始 FLOPS,成為業界真正緊盯的指標。
三個但書
第一,這些是 OpenAI 自己挑選的 workload、在 OpenAI 選擇的基準(InferenceX)上量測的結果,而該基準的設定正好偏重 Jalapeño 設計時鎖定的負載類型。Nvidia 勢必會反駁這種框架,且其下一代平台也不會原地踏步。第二,矽晶片的領先只是方程式的一半——Nvidia 真正的護城河是 CUDA 與二十年的軟體生態系;第一代自研晶片必須從零重建整套工具鏈。第三,也是最實際的一點:Jalapeño 尚未量產。 Broadcom 表示,小型原型部署約在 2026 年底展開,量產爬坡貫穿 2027 年,全面放量還要更晚。在可預見的未來,Nvidia 仍是 OpenAI 訓練艦隊與多數服務容量的引擎。
大局
Jalapeño 的首批結果,印證了醞釀多年的結構性轉變:最大的 AI 公司不再甘於只當晶片產業的客戶。Google 打造了 TPU;Amazon 打造了 Trainium;Meta 與 Broadcom 合作開發 MTIA;如今連 Nvidia 最著名的客戶 OpenAI,都有了能在實測基準上真正較勁的晶片。對 Nvidia 而言,風險不在於失去 OpenAI 的全部訂單,而在於先例已立——每個看著這些數字的前沿實驗室與雲端巨頭,如今都有了實證:一個首次投入晶片設計的團隊,三年內就能打造出擊敗在位者的專用推理 ASIC。
對 OpenAI 來說,戰略紅利是談判籌碼。即使 Jalapeño 永遠只承載自家流量的一部分,一個可信的內部替代方案,就足以重塑每一次關於 GPU 價格與配額的談判。在一個運算資源最稀缺的產業裡,這可能與省下的電力一樣值錢。
真正的判決要到 2027 年量產才會揭曉——屆時獨立實驗室才能在實際部署的系統上跑分驗證。在那之前,OpenAI 本週公布的數字已標誌著一個時刻:AI 晶片市場正式從在位者與挑戰者的對決,變成在位者、挑戰者與「客戶變對手」的三方競賽。
Sources
- [1] https://openai.com/index/jalapeno-first-results/
- [2] https://openai.com/index/openai-broadcom-jalapeno-inference-chip/
- [3] https://newsletter.semianalysis.com/p/openai-jalapeno-better-than-nvidia
- [4] https://www.neowin.net/news/openais-upcoming-jalapeo-ai-chip-outperforms-nvidia-gb300-in-inference-tests/
- [5] http://www.aa.com.tr/en/world/openai-says-its-1st-custom-ai-chip-surpasses-nvidia-systems-in-key-tests/4037388