← All posts / Policy

那艘沒載核武的船:一場 AI 幻覺如何讓美中差點開戰

CNN 獨家揭露:今年春天美國特戰分析師使用的 AI 聊天機器人幻覺捏造中國船隻載運核武零組件的情報,武裝登船部隊已就位、軍機已升空,直到行動前一刻官員追溯報告來源才發現全是假的。

軍機已經升空。武裝人員正準備登上一艘行經中東的中國籍商船。情報清楚明白:這艘船正在載運核武計畫的零組件。然後,就在行動展開前的最後幾小時,深入追查這份情報來源的官員發現,它「完全是假的」——一份由 AI 聊天機器人拼湊出來的捏造物。

這是 CNN 於 9 月 18 日由 Katie Bo Lillis 與 Zachary Cohen 發表的獨家報導,引用四位知情人士的說法。這份在今年春天、伊朗戰爭期間流傳於美軍內部的報告,之所以觸動所有警報,正是因為它看起來如此確鑿。直到最後一刻的來源查核,才擋下了一場如同消息人士所說「差點開戰」的行動。

一場幻覺如何變成「可攻擊級」情報產品

這次失靈的機制,和未遂事件本身一樣發人深省。

一名特種作戰司令部的分析師——手上是源自美軍駐夏威夷特戰司令部(特戰司令部太平洋)的船貨艙單情報——向聊天機器人查詢相關內容。這個機器人把公開來源資料與政府手中的機密通訊情報融合後,對船上有什麼貨物得出一個致命且錯誤的結論。CNN 無法查明船上實際載運的貨物是什麼。

接著是第二個、更隱蔽的失靈。這名分析師再次使用 AI,把錯誤的結論包裝成一份標準格式的情報報告——那種幾十年來軍方官員被訓練要信任的、格式精良的文件——然後散布到各指揮管道。幻覺不只由 AI 產生,還被 AI 洗成了機構信任。

目前尚不清楚這個聊天機器人是商業產品還是政府自建工具。但一位熟悉軍方與情報界 AI 系統的前資深官員給出了直白的評語:「內部工具大多只是塗了口紅的商業品。」

行動中止

根據 CNN 消息來源的說法,反應機制啟動得很快。美軍擬定了攔截該船的計畫,武裝人員準備登船,軍機升空。任何美國針對中國船隻的行動,都帶有螺旋升级為兩大強權武裝衝突的內在風險——這也正是最後的發現如此令人冷汗直流的原因。

直到行動前夕,官員深入追查報告來源,才發現它是靠 AI 產出、貨物辨識根本錯誤。行動緊急中止。特戰司令部太平洋與五角大廈均未回應 CNN 的置評請求。

加速戰略撞上驗證債

這起事件落在五角大廈最尷尬的時間點。今年 1 月,國防部長 Pete Hegseth 發布「人工智慧加速戰略」,承諾「釋放實驗能量、消除官僚障礙」,要把「美國世界領先的 AI 模型,直接交到我們三百萬軍文人員手中,涵蓋所有機密等級」。

這項戰略的雄心,如今正撞上 CNN 報導揭露的結構性現實:整個部署是分散式的。政府各單位使用不同工具、依不同命令、按不同安全標準運作。對於如何驗證這些系統產出的資訊,沒有一套統一標準,而各家 AI 部署的可靠度參差不齊。

消息人士告訴 CNN,軍方正在快速擴大 AI 在「目標選定」中的角色——而這正是錯誤即致命的領域。一位熟悉現行政策的消息人士說:「AI 用於目標選定確實在快速升溫,但對於人在迴路中要如何防止平民傷亡或誤擊友軍,根本沒有真正的指引。」

而且中國船事件並非孤例。一位消息人士表示,自從這類工具在政府內部大量普及後,類似的幻覺在情報圈層出不窮。年輕世代分析師是這些工具的原生使用者,特別容易不加批判地信任輸出結果;而 AI 帶來的產能壓力,又把所有人推向更快的散布節奏。一位消息人士總結:「AI 讓你更快抵达一個爛主意。」

真正的 AI 安全問題,提前到貨

過去幾週,華府被另一種 AI 辯論占據:前沿模型掙脫人類約束的理論情境——矽谷工程師與高管們的末日警告不斷放大這種憂慮。中國船事件把討論拉回一個更迫近的風險:不是機器自主行動,而是人類基於自信、流暢、貌似合理的機器產製假資訊,做出災難性決策。

這個區別對政策至關重要。存在性風險的框架引導的是長程治理:能力評測、安全研究機構、國際協調。而「驗證債」是個無聊但結構性的問題:情報產品的 AI 來源標記、分析流程中強制揭露機器參與、訓練分析師明白「格式漂亮的摘要不等於證據」,以及讓驗證人力與生成速度同步擴編。

湊巧的是,OpenAI、Anthropic 與 Google DeepMind 這個月正好在洽談成立產業安全標準組織,範圍涵蓋獨立測試、網路安全與事件通報。無論那個努力結果如何,中國船事件提醒我們:最危險的近期 AI 失靈,可能根本不發生在實驗室裡,而是發生在語言模型的流暢文筆與機構對公文信任的接縫上。

GovAI 研究學者、美國陸軍退伍軍官 Jake Steckler 對 TechCrunch 的說法相當節制:這起事件應是「替 AI 加上更多防護措施的號召,而非迴避 AI 的理由」,但「把採用速度置於一切之上,只會導致更多讓軍人失去信任的事件,最終反而拖慢採用」。

後續觀察

隨著事件發酵,有三條線值得追蹤:

  • 情報產品的 AI 揭露規範。 留意情報圈是否開始強制要求 AI 協助產出的文件標記機器參與——這是當下就能標記出問題報告的最便宜解法。
  • 目標選定指引缺口。 CNN 消息來源說人在迴路的目標選定防護「沒有真正的指引」。預期國會將出現立法化呼聲。
  • 商業模型的治理問題。 如果那個聊天機器人最終證實是改裝上機密環境的商業產品,業者對消費級可靠度的宣稱如何對應國安級工作負載,將迎來新一輪檢視。

伊朗戰爭終會結束。Hegseth 戰略設想的三百萬人 AI 部署才剛開始。生成速度與驗證速度之間的落差,正是這類事件滋生的縫隙——在那道縫隙閉合之前,每一份格式漂亮的情報摘要,都值得對它的來源多看一眼。