騰訊開源 Hy4 preview：770B 參數 MoE 前沿模型、百萬 token 上下文

2026 年 8 月 28 日，騰訊正式發布並開源混元團隊的新一代旗艦大語言模型 Hy4 preview——這是一次明確的宣示。總參數 770B、每 token 啟用 49B、上下文視窗超過 100 萬 token，Hy4 preview 直接站上開源前沿，與 DeepSeek、智譜 GLM-5.3、月之暗面 Kimi K3 及阿里 Qwen 家族正面競爭開源權重賽道的領先地位。

模型權重以完全寬鬆的 Apache 2.0 授權釋出，提供 BF16 與 FP8 兩種版本，可在 Hugging Face、ModelScope、GitCode 與 CNB 下載。不想自行架設的團隊，也可以透過騰訊的 WorkBuddy 與 CodeBuddy（發布後兩週免費）、元寶、ima 等產品直接使用，或經由騰訊雲 TokenHub 與 OpenRouter 的 API 呼叫。

架構解析

Hy4 preview 是新一代混合專家（MoE）模型，規格表幾乎是近一年開源社群最有效想法的總整理：

• 78 層結構，第一層採用標準稠密 FFN，其餘 77 層為 MoE——每層包含 256 個路由專家加 1 個共享專家，每個 token 啟用 top-8 路由專家與共享專家。
• 內建原生 MTP（多 token 預測）層（總參數 10B、啟用 0.7B），用於投機解碼，可大幅加速推理。
• 注意力機制採用 Gated DeepSeek Sparse Attention（Gated DSA），搭配 IndexCache 做跨層稀疏索引複用。騰訊明確表示此設計受 DeepSeek 與 GLM 啟發——好點子在開源生態裡的擴散速度，於此可見一斑。
• 殘差路徑採用 iHC（identity Hyper-Connections），以 4 條殘差流擴展層間資訊流通。
• 隱藏層維度 6144、注意力頭 64 個、KV 壓縮至 512 維、詞表 120,832。

對實務工作者而言，最關鍵的數字是 100 萬 token 上下文。配合稀疏注意力技術堆疊，Hy4 preview 正好瞄準當前前沿實驗室競爭最激烈的長時程工作：整個程式碼庫的理解、多文件分析、以月為單位的 agent 任務。

為生產力而生，而非只為跑分

騰訊將 Hy4 preview 定位為「為生產力打造」的模型。混元團隊並非單純追求排行榜名次，而是與內部專家——軟體工程師、遊戲開發者、金融分析師、資安專家——合作，以這些團隊實際交付的工作為本建構訓練資料。宣稱的進步集中在四個領域：

1. 軟體工程：對長時程開發任務的理解、規劃、除錯與驗證能力更強，前端產出的視覺品質也更好。
2. 辦公與分析：把散落在多個檔案的混亂脈絡轉換成可分享的產出——文件、試算表、簡報——資料分析、方程式與財務模型的精度更高。
3. 遊戲開發：一句 prompt 就能生成可玩的原型，並能與遊戲引擎流暢協作、跨多輪對話持續打磨複雜專案。
4. 科學研究：在 AI 研究、分子動力學、凝態物理與純數學領域都有紮實進展。

效能數據

跑分成績在第一梯隊具備競爭力。GPQA Diamond 拿下 92.3；SWE-bench Pro（public） 達 65.7；SWE-bench Multilingual 拿到 82.9——在後者超越 GLM 5.3（81.3）、Kimi K3（80.8）與 DeepSeek V4 Pro（77.3）。在 HLE（Humanity’s Last Exam 類）測集上為 55.40。

騰訊也做了內部盲測：163 位專家評分 203 項工程任務，Hy4 preview 平均 2.99 分（滿分 4.00），小勝 GLM-5.3（2.92；勝 46.8%／平 12.8%／負 40.4%）與 Kimi K3（2.94；勝 51.2%／平 7.9%／負 40.9%）。不過社群分析提醒事情沒那麼單純——對上 Kimi K3，Hy4 在 12 項外部基準中有 7 項落後，包括 Terminal-Bench。但「Hy4 preview 位於開源模型第一梯隊」的整體結論仍站得住腳。

必須留意：這份盲測由騰訊內部執行與評分。獨立驗證要靠社群完成——而 Apache 2.0 開源正是讓這種檢驗成為可能的關鍵，封閉 API 永遠做不到。

刻意提早發布

混元團隊對限制毫不掩飾：Hy4 preview 有時會在複雜任務上花費過長的推理時間，也有過度自我驗證的傾向。他們的哲學是「早點發布、聽取回饋」——團隊表示正是這個方法讓 Hy3 持續變強。

部署支援從第一天就相當完整。vLLM（vllm/vllm-openai:hy4-preview，提供 8 卡張量並行的 FP8 recipe 並啟用 MTP 投機解碼）與 SGLang（lmsysorg/sglang:hy4-preview，支援 x86 與 Arm 多架構）都有官方預建容器。推理模式預設為深度思考的 “high” 模式，並提供 no_think 參數直接輸出。進一步的壓縮與量化可使用騰訊的 AngelSlim 工具組。

為什麼重要

這次發布背後有三條更宏觀的脈絡。

第一，開源前沿持續向中國移動。DeepSeek 傳將以約 740 億美元估值完成約 74 億美元融資、GLM-5.3、Kimi K3、Qwen 3.8，加上現在的 Hy4 preview——前沿級開源模型最密集的產地在中國。同一時間，華府正在草擬封堵「遠端 GPU 租用」漏洞的規則，而史丹佛 AI Index 報告指出美中之間的模型能力差距已實質消失。

第二，架構在開源中快速整合。Hy4 的 Gated DSA 注意力與 MTP 投機解碼，直接源自 DeepSeek 發揚光大的技術。開放權重讓好點子以「月」而非「年」為單位擴散——每個實驗室都站在前一家的成果上。

第三，自架前沿模型已是務實選項。FP8 量化、每 token 只啟用 49B 參數的 770B MoE，配合投機解碼在 8 GPU 節點上服務——對資源充足的企業或研究單位並不遙遠：沒有 API 依賴、沒有速率限制、資料完全自控，授權毫無限制。

Hy4 preview 畢竟只是 preview，預訓練與後訓練都還有明確成長空間。但作為 2026 年 8 月底開源前沿的座標——巨大、稀疏、長上下文、專注生產力、完全寬鬆授權——它很難被忽視。