Hot Chips 2026 史丹佛登場：OpenAI Jalapeño 壓軸與推論晶片大戰

今年最重要的晶片盛會今天登場。第 38 屆 Hot Chips 研討會（Hot Chips 2026）於 8 月 23 日至 25 日在加州帕羅奧圖史丹佛大學 Memorial Auditorium 舉行，現場票早已銷售一空。為期三天，全球最快處理器的架構師們將輪番上台，從電晶體閘極層級剖析驅動這波 AI 熱潮的機器。今年的議程表讀起來就像 AI 產業的明星榜：NVIDIA、AMD、Intel、Google、Meta、Microsoft、Cerebras——而週二的壓軸席位，留給了 OpenAI。

週日：記憶體日

Hot Chips 破天荒以一整天談記憶體開場——在 HBM 供給成為整個 AI 建設瓶頸的今年，這個安排本身就是訊號。Micron 的 HBM 設計總監打頭陣，談記憶體架構的下一步；Samsung 接著講 HBM 基礎裸晶（base die）在導入先進邏輯製程後的演進；SK hynix 則涵蓋 HBM 先進封裝。掌握高頻寬記憶體市場的三大廠全數到齊，各自端出跨越頻寬高牆的答案。

技術上最令人期待的場次之一，是 d-Matrix 發表其 3D DRAM 研究——六月才在 ISCA 首度亮相——內容涵蓋次世代 AI 加速器 Raptor、3D DRAM 如何與張量運算引擎整合，以及支撐整個設計的記憶體庫架構，這場與 Meta 共同發表。Raja Koduri 創辦的 Oxmiq Labs 壓軸，主講 HBF 在 AI 運算中的角色——這是他們主張用來繞過 HBM 瓶頸的替代路線。

週一：NVIDIA Rubin、AMD MI400、Intel 三連發

第一天是 CPU 與 GPU 架構日，NVIDIA 率先拿下雙場次：Vera CPU 與 Rubin GPU 各自獨立開講——這是今年夏天進入全面量產的 Vera Rubin 平台兩大主角。預期將有 Vera（NVIDIA 首款全自研 Arm 相容伺服器 CPU，據報為 88 個自研核心）的深入架構細節，以及 Rubin 的完整剖析：這顆採用台積電 3 奈米製程、搭載 HBM4 記憶體的 GPU，NVIDIA 宣稱透過第三代 Transformer 引擎與硬體加速自適應壓縮，每顆封裝可提供約 50 PFLOPS 的 NVFP4 推論算力。NVIDIA 一向會在 Hot Chips 後釋出白皮書——這些場次通常會成為整個平台的權威技術參考。

AMD 也握有兩個場次，分別談 Instinct MI400 GPU 架構與其周邊系統架構——這是 AMD 對 NVIDIA NVL72 的機架級回應。正在 AI 代工東山再起路上的 Intel 則端出三道菜：資料中心 GPU Crescent Island、新一代 Xeon Diamond Rapids，以及 PC 與行動端的 Wildcat Lake。對一家剛以股票增資 200 億美元支應 AI 野心的公司來說，這是 Intel 證明工程實力跟得上資產負債表的舞台。

週二：加速器日與 OpenAI 壓軸

第二天輪到 AI 加速器兵家必爭。Norman Jouppi——十年前從第一代 TPU 就領軍至今的 Google Fellow——親自主講 Google 第八代 TPU 家族。四月 Cloud Next 發表的 TPU 8 系列一分為二：訓練優化的 8t 透過 3D 環面網路將 9,600 顆晶片串成單一超級Pod、每個 Pod 達 121 FP4 ExaFLOPS，以及推論優化的 8i。由 Jouppi 本人主講完整場次，意味著外界將首度深入 Gemini 背後那顆晶片的最底層。

接著是滿檔的兩小時：Meta 講 MTIA AI 晶片、Microsoft 講已在 Azure 部署的推論加速器 MAIA 200、NVIDIA 講 Groq 3 LPU——源自 2025 年 12 月 NVIDIA 與 Groq 的授權合作、以 SRAM 為基礎、強調確定性延遲的推論加速器，據報每百萬瓦可提供 35 倍於 GPU 的推論吞吐量——還有 Cerebras 的晶圓級方案。

然後是壓軸：OpenAI。Hot Chips 2026 的最後一場演講，屬於 Jalapeño——OpenAI 與 Broadcom 共同開發、6 月 24 日亮相的推論 ASIC。六月發表時最震撼的是兩個數字：Jalapeño 從初始設計到製造 Tape-out 只花了九個月——OpenAI 與 Broadcom 稱之為高效能先進半導體史上最快的 ASIC 開發週期——以及每 token 推論成本最高可降低 50%。當時缺少的是技術細節，官方只承諾「數個月後」發布完整報告。Hot Chips 的壓軸席位，正是細節落地之處。對於關注 OpenAI 能否在潛在 IPO 前結構性壓低推論成本的人來說，週二這場是全程焦點。

為什麼今年特別不一樣

貫穿整份議程的有三股暗流。第一，推論已正式取代訓練，成為晶片設計的重心。Google 把 TPU 產品線拆成訓練與推論兩顆晶片；Microsoft 的 MAIA「為推論而生」；OpenAI 的第一顆晶片就是推論晶片；NVIDIA 甚至向 Groq 授權了一整套推論架構。訓練競賽定義了 2023 到 2025 年；接下來的時代，由 token 經濟學定義。

第二，每一家超大規模雲端業者與 AI 實驗室都在設計自己的晶片。Meta、Microsoft、Google、OpenAI、Amazon——不是在 Hot Chips 發表，就是在量產自有加速器——但同時又都是 NVIDIA 最大的客戶。Hot Chips 成了這種矛盾被攤開量化的地方，單位是每秒多少 TB、每瓦多少 token。

第三，AI 已經開始設計晶片。Jalapeño 發表時最被引用的一句話，是九個月 Tape-out 的過程「由 OpenAI 的模型加速」。如果晶片設計週期能從數年壓縮到數個月，整個產業的迭代節奏——以及每個在位者的領先優勢能維持多久——都將隨之改寫。

在史丹佛的三天裡，所有抽象層都會被剝掉。沒有產品宣傳片，只有架構師和他們的投影片。到週二晚上，我們對 AI 未來數年賴以運轉的物理基礎，將會理解得多得多。資訊轟炸，今天下午開始。

---

Hot Chips 2026 於 8 月 23 日至 25 日在史丹佛大學 Memorial Auditorium 舉行，可透過 hotchips.org 註冊線上參與。