披著羊皮的卡特爾:Cohere 執行長 Aidan Gomez 發表對「實驗室自管 AI 安全體系」的結構性批判
在一篇重新框定 AI 放緩辯論的長文中,Cohere 共同創辦人兼執行長主張:Amodei 要求反壟斷豁免的「調節前沿」路線圖,將讓少數矽谷在位者為全世界制定約束性規則——並提出以證據為本、而非門禁把關的四柱替代方案。
過去一週,AI 安全議題的話語權幾乎完全掌握在最大模型的建造者手中:Dario Amodei 那篇 3,800 字的《我們必須調節前沿》(We Must Pace the Frontier)、Sam Altman 對放緆發展的開放態度,以及 OpenAI、Anthropic 與 Google DeepMind 已秘密籌畫產業自治標準組織數月的報導。9 月 13 日,最詳盡的反方立場終於現身——不是來自監管機構或學界,而是一位為銀行、電信與國防部門建造模型的競爭對手執行長。
多倫多新創 Cohere 的共同創辦人兼執行長 Aidan Gomez 發表了《誰有資格為 AI 制定規則?》(Who Gets to Define the Rules for AI?)一文,副標直接點明立場:AI 需要的是有證據支撐的標準,而不是卡特爾(cartel)。 這篇約 15 分鐘閱讀篇幅的長文隨即在業界發酵,獲《泰晤士報》、《環球郵報》、Bloomberg 電視台與《巴隆周刊》報導,也為放緩論的反托拉斯質疑者提供了迄今最有力的論述。
沒有人問得夠清楚的問題
Gomez 開篇先承認風險、而非爭辯風險。他的公司系統部署在銀行、電信網路與國防部門內——「這些都是最高風險的環境,因為這些領域的失敗所造成的後果,遠遠超出單一使用者」,可能大規模衝擊金融體系、關鍵基礎設施與國家安全。他不輕忽風險:「能在你的程式碼裡找漏洞的能力,同樣能在別人的系統裡找漏洞,而網路攻擊成本下降的速度,正快於防禦改善的速度。」
「AI 需要護欄。這從來不是爭議點,」他寫道。「爭議在於誰來寫這些護欄、誰有資格參與、以及這些規則究竟在保護誰的利益。」
他對核心問題的框定是:少數幾家主宰市場的矽谷 AI 公司,是否應該為全世界定義一個世代級技術的規則與安全標準——「同時還由他們決定這項技術進展的多快?」他的回答毫不客氣:「披著羊皮的狼,換個名字的卡特爾。」
兩個歷史教訓
這篇文章最與眾不同的手法,是把「卡特爾」當成一個有文獻紀錄的技術性名詞來使用,而非單純的辱罵——並用兩個完整段落鋪陳先例。
1975 年,美國證券交易委員會(SEC)為其資本規則需要可靠的債券評等,指定三家機構為「全國認可統計評級組織」(NRSRO)——卻從未公布其他機構如何取得同等資格的標準。這些由政府背書、卻由受評證券發行人付費的外部評審機構,坐在監管者自己築起的壁壘之後。25 年過去,評級機構仍然只有三家。「然後它們把次級房貸證券評為 AAA 級,幾乎拖垮全球經濟。」
歐洲在 1985 年做了平行實驗。汽車製造商遊說取得全面的反托拉斯豁免——「汽車區塊豁免」(Motor Vehicle Block Exemption)——理由是現代車輛是複雜的安全關鍵機器,因此製造商必須掌控誰有資格銷售與維修。隨後的法規讓製造商制定場址、設備與人員訓練標準,名義上全是為了「安全可靠的車輛」。結果並沒有帶來更安全的車;歐盟執委會花了約 25 年的改革才拆掉這套體系。Gomez 的結論:「你完全可以在維持嚴格安全標準的同時,不把達標的壟斷權送給在位者。」
「兩個案例中,沒有人一開始就想建立卡特爾。兩者的既定目標都是安全,」他寫道。「但結果是一個保護在位者、限制競爭的市場結構——全都在服務公眾利益的大旗下。」
他真正反對的是 Amodei 路線圖的什麼
Gomez 小心地區分支持與反對的範圍。「對高度能力 AI 系統進行獨立審查是好事,我們支持。」他瞄準的是外圍的結構。Amodei 於 9 月 12 日發布的路線圖——要求擁有類似員工權限的嵌入式獨立評估者、前沿實驗室之間協調安全標準、以及由政府居中協調或豁免反托拉斯限制——在 Gomez 的解讀中,是一套讓「少數幾家位於單一國家的最強大實驗室,就共同標準與技術推進速度上限達成協議」,再要求政府「責成其他所有 AI 開發者盲目遵從參與者敲定的任何結論」的計畫。
三個具體批評撐起論證:
參與問題是結構性的,不是算術問題。「多加一張椅子根本解決不了問題。問題在於竟然有一份名單,而這些決定影響的是每一家公司、每一個政府、每一個從未被詢問的公民。」沒有公共政策評論期、沒有諮詢、沒有投票——「無論如何,公眾都被迫承受結果。」
以規模定義風險,就是讓規模固化。現有框架把風險定義為模型大小的函數,「這讓擁有巨型系統的公司成為唯一有資格評審的人」。但学界對於攻擊能力究竟來自原始模型大小、還是外圍的工具架構(harness),存在真正的分歧。「編排得當的小模型——善用工具與驗證步驟——能做出大模型做不到的事。網路攻擊蜂群與單一模型是完全不同的風險面。這些都不會出現在純以算力門檻為中心的體制裡。」
「商業優勢」那句話。Gomez 特別點出前沿實驗室提案中的一句話,說任何競爭法主管機關看到都會不安——協調式做法能讓開發者「在不犧牲商業優勢的前提下」從事安全工作的承諾。但這是誰的優勢?「起草框架的廠商,正是今天站在市場頂端的廠商。一個讓所有人都放慢、卻明文保留現有商業優勢的機制,不會讓 AI 更安全。它把今天主導 AI 市場的公司今天的優勢,變成未來『安全競爭』的入場門檻,進而固化他們的地位。」
他也把入場條件解讀為另一種形式的護城河:龐大算力、持續監控基礎設施、專責安全組織、帶著辦公桌與識別證進駐的常駐評估團隊、可關閉(shutdown)架構,以及一個早已小得可疑、且由同樣一小撮組織出資的「獨立」評估者名單。他的總結相當辛辣:「說服一個政府相信 AI 是生存威脅,你就能說服它把你的競爭對手變成非法。」
四柱替代方案
文章的建設性後半部提出四大支柱,而且 Gomez 明說這套方案也不該由他來寫——「我也不認為該由我來取代他們制定規則」:
-
以證據為本的風險框架。在強制任何測試或稽核之前,先公開一份經過共識的說明:我們擔心哪些危害、哪些 AI 能力在哪些情境下造成這些危害、政府應在何時介入——由多國在開放環境中共同建立,「不由任何單一國家主導」。規則應依系統「能做什麼」來約束,「讓危險能力受到同等對待,無論它來自兆美元實驗室還是大學系所」。
-
強制透明。在現有 model card 慣例上擴大:跨開發與部署層stack的嚴重事件通報,以及「在真實傷害發生時,能課予真實問責的機制」。
-
依證據界定範圍的測試。最先進的系統應接受獨立測試,但僅針對風險框架認定真正危險的能力——網路攻擊、合成詐騙與語音複製、大規模操弄、武器、關鍵基礎設施。分級且合比例,認證對每一家公司開放,而非限定特定層級的開發者。
-
真正的保證機制。仿照金融、航空與核能的分層保證:開發者自測、客戶驗證、獨立第三方保證、監管者督導——且第三方「絕不能由受審方付費」。
「直覺與氛圍,用小數點表示」
全文最鋒利的一節,對準了推動這波放緩浪潮的滅絕風險論述——包括那位辭職並警告超級智慧系統可能毀滅人類的研究員,以及公開表示機率「超過 10%」的資深同事。Gomez 不質疑他們的誠意。但是:「這些數字並非來自任何根本現實。它們是直覺、是氛圍,用小數點表示,再由有既得利益的高層放大、被媒體當成數學分析報導了一整週。」
他的技術性反擊是:真正的擔憂在於系統能力越強,「我們要求的與我們得到的之間的落差,越難察覺、錯過時代價越高」。至於這是否等於「失控」,「是一種判斷,不是一項發現」——而「這種開放性問題,正是公開、可辯論、以證據為本的流程存在的意義」。
他指出,7 月揭露的那些失敗,發生在「全世界資源最充足的兩間實驗室裡,擁有最大的安全團隊」——其中一家的 METR 外部評估安排甚至早在 2 月就在籌建。「提案的解方,跟事發當時的體制差不多。」真正失敗的是指令品質、測試環境的圍牆強度,以及無人監看的運行時長——能力門檻或算力上限都修不了這些。他開出的樸素清單:強制通報嚴重事件、針對已知被利用的缺口做測試、測試期可觀測性(至少日誌)標準,以及把接進醫院或變電所等關鍵設施的系統硬性隔離。「一個部署在醫院裡、規格拙劣的小模型,才是今天真實的風險——而在純前沿體制下,根本沒有人在看它。」
為什麼這次的反彈比以往更重
兩個背景事實讓這篇文章超出「競爭對手的抱怨」。第一,Cohere 剛完成據報 30 億美元的主權 AI 輪融資,並於 9 月 16 日與德國 Aleph Alpha 簽署首個跨大西洋主權 AI 協議——其商業命題(政府要的是在自己圍牆內、可替換供應商的強大系統)恰恰依賴於與「鎖死的華府仲介體制」相反的世界。Gomez 自己也說了:「關鍵基礎設施的安全,無法靠向外國壟斷者租賃國家級能力、隔著封閉介面來實現。」第二,反托拉斯疑慮已不再是假設性問題——《華爾街日報》言論版本週撰文主張 AI 反托拉斯豁免「將招來勾結」,而 OpenAI 自己也已私下向國會探詢:協調放緩到底合不合法。
Gomez 在文末把選擇講得明白:規則要嘛「由任何人都可加入的群體、用任何人都可查證的證據來寫」,要嘛「由少數幾家公司在門關著的房間裡寫」。更多聲音會讓流程更慢、更難——「其中有些聲音會說出我們其他人不想聽的話。這正是重點。」
無論是否接受「卡特爾」這個框架,這篇文章已經改變了辯論的形狀:問題不再只是要不要放慢,而是規則寫成時誰握著筆——而這個問題,現在背後有一位執行長、兩個歷史教訓,以及一個正在擴大的合唱團。
Sources
- [1] https://cohere.com/blog/who-gets-to-define-the-rules-for-ai
- [2] https://www.theglobeandmail.com/business/technology/article-cohere-ceo-aidan-gomez-criticizes-calls-for-ai-slowdown/
- [3] https://www.thetimes.com/business/companies-markets/article/cohere-chief-attacks-anthropic-ai-safety-cartel-hn5cjbzs0
- [4] https://darioamodei.com/post/we-must-pace-the-frontier
- [5] https://www.barrons.com/articles/openai-anthropic-and-google-are-working-to-create-an-ai-standards-body-19684f36