小九倍、能力保留 98.2%：PrismML 的 Ternary Bonsai 2 27B 把 27B 模型塞進 5.9 GB

過去十年，想跑一個 270 億參數的模型幾乎只有一條路：一張記憶體至少 54 GB 的資料中心 GPU，不然就是接受量化過程中模型能力被默默「摘除」的命運。這週，一家源自加州理工學院（Caltech）的新創 Prism ML 發布了一個讓這種取捨顯得過時的作品：Ternary Bonsai 2 27B 把阿里巴巴的 Qwen3.8 27B——一個支援 262K 上下文、具備多模態能力的前沿級小模型——從 FP16 的約 53.8 GB 壓縮到 5.9 GB，同時保留 98.2% 的整體基準表現。

這不是「接近無損」的行銷話術，而是實測數據：記憶體足跡縮小 9 倍，能力損失不到 2 分。整組權重以 Apache 2.0 授權釋出，附帶 GGUF 打包格式、CUDA 與 Apple MLX 的自訂低位元核心，以及一份公開的技術白皮書。

Ternary Bonsai 2 27B 到底是什麼

核心概念簡單到近乎粗暴：語言模型裡的每一個權重都被限制成三個值之一——−1、0 或 +1。你不再儲存 16 位元浮點數，而是儲存一個實質上的「三進位位元」（trit），打包後每個權重約佔 1.76 個有效位元。Prism ML 對整個語言模型端到端套用這套表示法，而不是只挑幾層處理。

三個工程決策讓模型在這種約束下沒有崩壞。第一，FP16 分組縮放：每 128 個權重共享一個 FP16 尺度因子，即使個別權重是三值，網路仍保有動態範圍。第二，在進行三值分配前先套用區塊式 Hadamard 旋轉——靈感來自 Meta 的 SpinQuant 旋轉技術——把離群值攤平到各個維度，避免任何單一權重被迫編碼極端數值。第三，網路中一小撮參數（約 2,620 萬個，佔總數 0.0976%）刻意保留高精度，用來保護循環狀態路徑與正規化層——這是 transformer 裡對低位元崩壞最敏感的部位。

結果是一個保有 2B 級模型部署條件、卻有 27B 級行為的模型：262K token 上下文視窗、文字加影像的多模態輸入，以及與全精度母模型相同的思考模式推理行為。

基準成績全景

在涵蓋推理、數學、編碼、指令遵循、視覺與 Agent 工具呼叫的整套測評中，Ternary Bonsai 2 27B 總分 83.9，對上 Qwen3.8 27B 的 85.4——而且值得注意的是，還高於上一代全精度 Qwen3.6 27B 的 83.6。換句話說，這個壓縮模型擊敗了一個世代之前的全精度模型。

Prism ML 公布的分項數據如下：

• Agent 與工具呼叫（τ²-bench、BFCLv3）：77.57，全精度為 79.74
• 編碼（HumanEval+、LiveCodeBench v6、MBPP+、BigCodeBench）：81.58 vs 82.17
• 指令遵循（IFBench、IFEval）：82.66 vs 81.25——領先全精度版本
• 知識與推理（MMLU-Redux、GPQA Diamond）：83.95 vs 86.66
• 數學（AIME 2025/2026、GSM8K、MATH-500）：96.57 vs 97.06
• 視覺（CharXiv、A-OKVQA、OCRBench v2）：78.59 vs 81.64

分布比總分更值得細看。Agentic 編碼迴圈、工具呼叫鏈與長時序任務，向來是量化模型的重災區，因為每一步的小誤差會在數十個步驟間複利放大。而 Bonsai 2 差距最小的正是編碼與數學——最容易產生連鎖效應的類別。視覺則出現最大差距（約 3 分），這與量化社群多年來的觀察一致：視覺塔對低位元的耐受度遠低於語言層。

吞吐量與能耗

壓縮的意義不止於「塞得進去」。Prism ML 表示，靠著自訂低位元核心（而非先反量化再相乘的一般路徑），模型在 RTX 5090 上可達每秒 143 token，在 M5 Max 上為每秒 46.8 token。在 RTX 4090 上，每個 token 僅耗 0.714 mWh——官方量測數據顯示，比 8B 模型以全精度運行還省電 40%。一個參數量九倍的模型，功耗卻低於 8B FP16 基準線，直接顛覆了傳統的效率計算式。

社群也已經實測過「消費級硬體就能跑」的說法。Hacker News 上有使用者回報，用 GGUF 版本（內含兩種打包格式與 llama.cpp 專用的三值混合注意力自訂核心）在 8 GB VRAM 的 RTX 3070 上順利運行。Reddit 的 r/LocalLLaMA 也有活躍討論串，測試它在單人 agentic coding 與電腦操作（computer-use）工作流上的表現——這正是 Prism ML 用「在 5090 上本地跑 Cline 編碼 agent」示範影片所瞄準的場景。

為什麼這件事的意義遠超過本地推理

兩個月前的第一代 Bonsai 27B 保留率約 95%。一個世代之內把差距從 95% 推到 98.2%，是「令人印象深刻的 demo」與「實用預設選項」之間的分水嶺——當整體退化壓在兩分以內，對大多數實際應用而言，壓縮不再是妥協，而是部署解鎖。

這筆經濟帳會沿著技術堆疊往上蔓延。如果 27B 模型能塞進原本 3B 模型的空間，筆電、手機與邊緣裝置就能獲得接近前沿的能力——沒有網路往返延遲、沒有按 token 計費的 API 帳單，資料也永不離開裝置。在資料中心，同樣的數學意味著每張 GPU 能服務更多使用者、每瓦特能處理更多請求，固定的記憶體空間裡能裝下更大的有效模型。它也讓混合架構真正可行：本地三值模型處理敏感或高頻工作，只在任務真正需要時才升級呼叫雲端前沿模型。

有一個策略層面的細節值得點出：基礎模型是阿里巴巴的 Qwen3.8 27B，但壓縮突破來自一家獲得 Khosla Ventures、Cerberus 與 Google 支持、並持續獲得 Samsung 贊助的美國新創。「智慧密度」——每 GB、每毫瓦能交付多少能力——正成為一條獨立於原始能力排行榜的競爭軸線。Prism ML 押注的未來是：任何模型被問到的問題將不再只是「它有多聰明」，而是「它的智慧有多少塞得進我的預算」。

對開發者來說，驗證這些說法的門檻很低：Apache 2.0 權重已在 Hugging Face 上，GGUF 版本今天就能用 llama.cpp 跑，MLX 版本涵蓋 Mac、iPhone 與 iPad，白皮書完整記錄了壓縮與評測方法論。「想本地跑一個像樣的模型就得先買一張 24 GB 顯卡」的時代，或許正在一個 trit、一個 trit 地悄悄終結。