神經網路其實一直是符號系統：一篇新論文如何調停 AI 最古老的論戰

六十年來，人工智慧一直分裂成兩大陣營。符號主義者——從 Boole、Turing、Chomsky 到 Newell 與 Simon——主張智慧就是對離散符號進行結構化組合的操作：邏輯公式、語法樹、程式碼。連結主義者——從 1986 年 Rumelhart 的反向傳播復興到今天的前沿實驗室——則押注連續向量：意義是高維空間中的一個點，本身沒有任何明確結構。現代 AI 是連結主義者的全面勝利：大型語言模型在機械層面上，就是對浮點向量做超大規模矩陣乘法。然而它們偏偏在符號主義者宣稱的領地——語言、算術、邏輯、程式——表現出色。

2026 年 8 月 30 日上傳至 arXiv 的新論文《The Emergent Symbolic Structure of Artificial Neural Networks》（神經網路中湧現的符號結構）對這個悖論提出了解方，本週以來持續在 Hacker News 上發燒。作者群為 R. Thomas McCoy（Yale）、Paul Soulos（Johns Hopkins）、Tal Linzen（NYU）與 Paul Smolensky（微軟研究院）——最後一個名字很關鍵：Smolensky 正是 1990 年「張量積表徵」（Tensor Product Representation, TPR）的發明人，當年提出 TPR 就是為了在理論上回答「神經網路如何能編碼符號」。三十六年後，他的舊點子恰好描述了真實網路的實際行為。

假說：暗中藏著符號的向量

研究團隊的核心主張極為直白：雖然神經網路從未被明確設計成表徵符號，但它們收斂出的向量表徵，終究還是隱含地實現了符號結構。換句話說，智慧不斷重新發現符號——不是因為我們把符號寫死在模型裡，而是因為結構本身有用，梯度下降自己找到了它。

為了驗證這一點，研究人員使用名為 DISCOVER（DISsecting COmpositionality in VEctor Representations）的分析框架：訓練一個小而完全可解釋的「DISCOVER 模型」去模仿目標神經網路的內部表徵，然後檢查這個模仿者能否不是「另一個訓練出來的網路」，而是一條實現符號結構的閉式方程式。所選的形式體系正是 Smolensky 的張量積表徵：一個符號結構被拆解為多個填充元（filler，結構中的元素，例如貓、追、狗），每個填充元綁定一個角色（role，結構位置，例如主詞、動詞、受詞）。角色—填充元配對加總成單一向量，之後任何元素都能透過線性「解綁」運算還原。

關鍵測試相當殘酷：把目標網路整個表徵生成過程換成那條 TPR 方程式，再看網路的下游行為是否存活。如果輸出依然正確，就代表網路內部表徵不只是「與符號結構相關」——它們就是符號結構，只是穿著向量的外衣。

他們發現了什麼

結果在團隊檢驗的每個尺度上都成立：

一、符號結構跨架構湧現。在合成的序列操作任務上，DISCOVER 在三種經典神經架構——多層感知器（MLP）、循環網路（GRU）與 Transformer——中全都找到湧現的符號結構。這不是 Transformer 的怪癖，而是受訓神經系統的普遍性質。在其中一個串列反轉實驗中，雙向 TPR 近似在全部十次重新訓練中都達到完美或近乎完美，最差的一次近似準確率也有 99.98%。跨架構—任務組合中，最低的平均近似準確率為 0.973，其餘設定全部超過 0.99。

二、七個開放權重 LLM，七次命中。團隊接著分析七個開放權重模型——Gemma-3-27B、GPT-2-XL、GPT-OSS-20B、Pythia-12B、Qwen3-14B、OLMo-2-13B 與 Llama-3.1-8B——中句號（「.」）token 的編碼。在全部七個模型中，句號向量都被發現壓縮了前方句子或串列的結構，而且 DISCOVER 都能用 TPR 近似這些編碼。符號結構不僅出現在玩具模型，也出現在以自然資料訓練的大規模系統中。

三、單一模型中的算術、邏輯、程式與語言。深入研究 GPT-OSS 時，作者讓它執行四個長期被視為符號主義主場的任務：算術、三段論邏輯、程式碼執行，以及語法轉換（被動化、時態再變化、疑問句形成）。在所有領域中，它的表徵都能被 TPR 良好近似——這證據顯示，當 LLM 做某件「符號性」的事時，它確實動用了隱含的符號結構。

四、因果干預，而非單純相關。由於 TPR 字面上就是各角色—填充元部分的總和，你可以用代數編輯其中一部分：減掉「第 3 位置：Z」的向量，加上「第 3 位置：U」，表徵就變成編輯後串列的表徵。當作者對真實網路表徵做這類編輯時，行為完全照預測改變。餵給網路the clever doctor helped the lawyer（聰明的醫生幫助了律師），在內部表徵中把clever從「主詞形容詞」角色搬到「受詞形容詞」角色——模型接下來的行為就變成讀過the doctor helped the clever lawyer（醫生幫助了聰明的律師）一樣。找到的結構不是副產品；模型的行為依賴它。

五、系統性泛化。這些近似能泛化到新的角色—填充元組合：如果 DISCOVER 模型訓練時看到的句子裡scientist從未當過主詞，測試時它仍能處理scientist當主詞的句子。這些網路系統性地組合填充元與角色——語言學家長期主張這正是人類語言的核心性質。

為什麼重要

這些發現打臉了一個誘人的敘事——「LLM 的成功證明符號結構從來就不必要」。恰恰相反：即使系統內建完全沒有符號鷹架，它們依然自己學會使用符號結構，因為它對智慧行為就是那麼有用。符號主義者輸掉了架構之戰，卻可能贏下了概念之戰。正如作者所言，這項工作提供了「調和長久以來符號智慧觀念與現代 AI 向量本質的一種可能途徑」。

對機制可解釋性（mechanistic interpretability）而言，含義很具體。如果模型的表徵是隱含的 TPR，可解釋性研究就有了比「找特徵」更強的數學工具：可以精確談論綁定（binding）——一個概念如何被掛到某個結構位置上——而純粹的「線性表徵」假說（句子只是概念向量之和）無法表達這件事。這個缺口就是著名的綁定問題（binding problem），而這篇論文顯示，受訓網路用角色—填充元代數解決了它。

當然也有誠實的但書。這些結果是近似而非證明——「大致不變」的行為不是完全相同，而且 DISCOVER 的角色配置是對網路如何切分位置的假說，有些配置擬合得比其他好（串列反轉實驗中雙向角色擬合最佳，單純由左至右則擬合不佳）。完整程式碼仍待雇主核准後釋出，目前 GitHub 上只有部分程式碼。此外，深入分析聚焦於開放權重模型——尤其是 GPT-OSS——因為這類白盒分析必須存取內部表徵；前沿閉源模型對此仍是黑箱。

儘管如此，這個方向令人震撼。1990 年一套「神經網路應該如何編碼符號」的理論，恰好是 2020 年代 LLM 實際做法的良好描述。下次有人宣布符號與向量之爭已經定案時，誠實的答案如今更奇異也更有趣：向量自己學會了當符號。