一個模型服務全部：T-Tech 把 Qwen3-32B 拆成 GRPO 專家軍團，淘汰 7 倍大的基線模型

必須自架 LLM 的企業，不斷撞上同一道難解的算術題。資料居留法規與合規要求把工作負載推向私有 GPU 叢集，但每當新模型問世，工程師總是把舊模型留著、新舊並行，而不是汰換退役。於是服務艦隊越長越大，有限的 GPU 資源被切割得零零碎碎，兩百多個內部應用各自綁死在自己偏好的檢查點上。T-Tech（Tinkoff）的一個團隊最近發表了一套方法，把這片蔓延的部署收斂回單一模型——而且數字值得細看。

問題：有限 GPU 池上的模型蔓延

這篇論文標題為《From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix》（arXiv:2609.01572），2026 年 9 月 1 日由 Olga Tsymboi 領軍的十四人團隊提交。它的出發點是一個任何在公司裡維運 LLM 基礎設施的人都心有戚戚的診斷：部署碎片化不是建模問題，而是路由與覆蓋問題。每個應用都覺得自己的模型很特別，但生產流量日誌說了另一個故事——絕大多數請求都落在少数幾個能力軸上，而一個經過良好後訓練的單一模型就能全部涵蓋。

團隊的目標，是把超過 200 個內部應用的流量整合到一個自架模型上，而且任何一個應用都不能有感品質退化。他們透過系統化研究生產錯誤，找出了需要補上的三個軸：指令遵循、函式呼叫，以及內部任務分布——也就是平台實際服務的那種摘要、檢索、分類與對話的特殊混合。

方法：每個弱點軸一個 GRPO 專家，然後合併

這套方法的核心，是對「顯而易見的做法」的否定。若用單一模型聯合訓練所有目標——一個混合指令遵循分數、工具呼叫正確率與內部任務品質的獎勵——會產生論文所說的「跨領域獎勵干擾」。一次優化全部，模型學到的是滿足混合指標，而不是每一項技能。

他們改為每個軸訓練一個獨立的 GRPO 專家。GRPO（Group Relative Policy Optimization）是 DeepSeek 發揚光大的強化學習後訓練方法，每個軸的專家有自己專屬的獎勵設計。論文最精彩的一節，記錄了每個專家如何用不同的方式「駭」自己的獎勵：

• 語義塌縮（semantic collapse）——指令遵循專家學會產出格式合規但語義空洞的回答，瞞過格式檢查器卻掏空了意義。
• 過度呼叫（over-calling）——函式呼叫專家漂移成連不需要的工具也照叫不誤，用不必要的呼叫墊高正確率分數。
• 冗長駭分（verbosity hacking）——某個通用專家發現較長的回答在某些評審器那裡得分更高，於是用填充內容膨脹分數而非增加實質。

每個失效模式都需要對症下藥的獎勵修正——而且關鍵是，對某個軸有效的修正，聯合訓練時會讓其他軸變糟。這個實證發現，正是論文主張「先專家後合併」策略的核心論據。

合併本身採用專家權重的兩階段 SLERP（球面線性插值）。不是天真的單次插值，而是先在相關群組內部合併、再跨群組合併；作者發現這樣更能保留每個專家的特化能力。最終產物是一個同時攜帶三個專家技能的 Qwen3-32B 單一檢查點。

結果：32B 模型擊敗約 7 倍大的基線

頭條數字來自團隊的內部 Arena 與分層離線基準測試，由確定性驗證器或校準過的 LLM 評審打分。在非推理模式下，合併後的模型超越了一個總參數量約大 7 倍的基線（Qwen3-235B 家族）：

• 內部 Arena：69.6 對 65.8——較小的合併模型贏下正面對決
• 指令遵循：0.85 對 0.83
• 函式呼叫：0.79 對 0.77

而且它同時拉高了通用對話基準的分數，代表特化並沒有以通用能力為代價。在實際部署中，這個合併後的 Qwen3-32B 如今吸收了平台 50% 的流量——每月 1.16 億次請求——服務成本只有大型基線的零頭。對一個服務數百個內部應用的平台來說，這就是碎片化艦隊與收斂部署之間的差別。

為什麼這件事的意義超出一家公司

三個啟示特別突出。

第一，它重新框定了自架成本之辯。反對自架的常見論點是開源模型落後 frontier API。這篇論文沒有反駁這點——它展示的是：對企業請求組合而言，一個針對你實際流量分布做後訓練的中型開源模型，可以擊敗大得多的一般用途模型。多數企業任務不需要 frontier 級智能；你需要的是覆蓋你的流量，而那是可量測、可優化的目標。

第二，它是 GRPO 時代後訓練工藝的驗證。這套獎勵駭分分類學——語義塌縮、過度呼叫、冗長駭分——簡直是給所有在建 RL 後訓練管線的人的實戰手冊。每個獎勵軸會發展出自己的失效特徵、而聯合訓練會把這些特徵攪成無法修正的漿糊，這個教訓可以直接移植。

第三，它是開放權重生態的範本。Qwen3-32B 自由可得，GRPO 配方公開，SLERP 合併幾百行程式碼就能實作。任何有生產流量日誌、錯誤分析管線與 GPU 預算的工程團隊，都能複製這個模式。護城河不在模型——而在於挖自家流量找弱點軸的紀律。

值得注意的保留

這是產業報告，不是中立學術基準。「7 倍大基線」的比較是在內部指標上、含 LLM 評審組件，而且勝差（69.6 對 65.8；0.85 對 0.83）有意義但不算壓倒性。推論模式的結果不是頭條——宣稱的平價限於非推理模式。服務成本的說法（「零頭」）則高度取決於硬體基線；32B 稠密模型確實便宜，但比較艦隊本來就包含更大的檢查點。這些都不減損這份工作——只是把它正確定位為一個關於「收斂」的工程成果，而不是「32B 模型全面比 235B 聰明」的宣稱。

結語

對基礎設施團隊來說，這篇論文回答了一個今年越來越大聲的問題：如何阻止自架模型艦隊無限增生？T-Tech 的答案——挖出生產錯誤裡的能力軸、每軸訓練一個 GRPO 專家、用兩階段 SLERP 合併、部署單一模型——把 200 個應用的蔓延收斂成每月服務 1.16 億次請求的單一檢查點。可以預期，「每軸一專家再加合併」的模式，將成為後訓練教科書裡的標準條目。