ChatGPT 不再閱讀網路的中間層：85% 檢索量崩落、兩個可定日期的斷崖，以及出版者還能修什麼

過去兩年，出版者追蹤 AI 流量時只問一個焦慮的問題：ChatGPT 帶給我們多少流量？這個月的問題更奇怪、也更迫切：為什麼 ChatGPT 不再閱讀我們——卻比以往更努力地爬取整個網路？

9 月 20 日，獨立 AI 工具媒體 AIToolsRecap 發布了一份日誌分析，正悄悄成為 AI 能見度辯論中被引用最多的數據點之一。在其自身 57 天的伺服器日誌中，ChatGPT 檢索量從 8 月 5 日峰值 7,507 次跌到 9 月 18 日的 1,118 次——崩落 85%。同一期間，OpenAI 對整個網路的爬取量約成長三倍。網路被爬得更兇；這個網站——以及看證據可推及的整個類別的網站——被檢索得更少。

它不是什麼

這份分析在歸咎之前，先小心排除了幾個顯而易見的嫌疑。

不是 OpenAI 爬少了。在整個網路上，自 GPT-5 發布以來，OAI-SearchBot 活動量約上升 3.5 倍、GPTBot 約 2.9 倍——這一點有涵蓋數十億行日誌的第三方分析佐證。

不是 robots.txt。該站的設定是 User-agent: * 加 Allow: /，附網站地圖，沒有任何 disallow 行。那裡什麼都沒擋。

而且它不是平滑衰減——這是數據中最有診斷價值的細節。漸進下滑代表內容過氣；階梯函數代表某人在某處改了一個設定。曲線上有兩個斷崖，中間是平坦段。

斷崖一：8 月 8 日，網域範圍檢索

8 月 8 日，ChatGPT Search 在其扇出查詢（fan-out queries）中使用 site: 運算子的比例，在一天之內從約 0.37% 跳到 16.8%。系統不再搜尋開放網路再從結果中挑選，而是開始把查詢限定在特定網域——問某個特定網站對某主題怎麼說——並在引用時偏好官方品牌網站。

佐證數字來自 Reddit。8 月 8 日到 17 日之間，Reddit 占 ChatGPT 引用的份額從平均 3.83% 跌到 0.52%——相對下滑 86%。Reddit 和工具目錄是同一類來源：撰寫他人產品的第三方。當檢索限定在廠商自家網域時，被跳過的正是這個類別。用該分析的直白說法，該站的 85% 和 Reddit 的 86%「是同一個事件」。

在此之前還有一個相關收縮：7 月底到 8 月初，付費 Thinking 模式中每段對話的扇出查詢從 3.56 降到 1.90，觸及的 URL 從 47.2 降到 33.9。每個答案讀的頁面變少——接著是偏好轉向讀哪些頁面。

斷崖二：9 月 15 日，Cloudflare 的預設值

9 月 15 日，Cloudflare 變更了 AI 爬蟲預設值。訓練與 Agent 爬蟲現在預設封鎖；搜尋爬蟲維持允許。這項變更適用於新網站，以及仍未事先設定偏好、維持預設的免費方案既有客戶。

日誌立刻顯現效果：9 月 16 日 1,907 次、9 月 17 日 1,382 次、9 月 18 日 1,118 次——兩天內下滑 41%。對於補救，分析毫不掩飾：如果你用 Cloudflare 而從沒打開過 AI 設定，「這是你今天下午就能挽回的那一項」。

沒有人能修的第三個因素

即時頁面抓取只發生在 Thinking 模式。免費即時模式完全不打開頁面——該分析直指這是 OpenAI 的經濟學決策，不是快取機制的副作用。檢索如今主要跑在探索索引和共享閱讀快取上，即時抓取保留給使用者付費且願意等待的模式。據報導，全產業的即時抓取量在 2025 年 12 月到 2026 年 3 月之間下滑約 28%——早於兩個斷崖之前。

三個爬蟲，三種工作

最具可行性的段落，關乎大多數分析儀表板都犯的錯：把「ChatGPT」塞進同一欄。它其實是三個不同的 user agent，做三種不同的工作。

GPTBot 收集訓練資料；Cloudflare 現在預設封鎖它，而商業上它對出版者的損失很小。OAI-SearchBot 建置 ChatGPT 搜尋索引；Cloudflare 新預設仍允許它，所以如果跌的是這個，那是持續性問題而非封鎖問題。ChatGPT-User 在思考模式對話中執行即時抓取，基本不在出版者的控制範圍內。

建議程序是：先拆欄位再動任何設定——並且用真實的 user-agent 字串測試、直接讀狀態碼，因為 Cloudflare 自家儀表板把封鎖、限流和找不到的回應打包成單一數字，只會誤導你。

Bing 的不對稱

還有一個數字值得注意。同樣這 57 天，該站日誌記錄到 82,976 次 Bingbot 造訪，相對於 Googlebot 的 12,927 次。Bing 爬該站的頻率是 Google 的 6.4 倍。這個不對稱大幅解釋了為什麼 Copilot 持續引用的頁面在 Google 搜尋中幾乎隱形——一個頁面無法在很少看它的索引中排名。

出版者正在怎麼做

其因應之道是其他網站可以照抄的 playbook：拆分 user agent、檢查 Cloudflare 開關——若適用，這是最便宜的修法——接受 8 月的損失，因為網域範圍檢索在結構上不利於任何撰寫非自有產品內容的人，並且多寫廠商寫不出來的東西。官方網站可以發布自家定價；它無法發布針對競爭對手的實測比較，也無法發布像這樣的第一手日誌分析。

誠實的但書

這份分析對自身限制毫不諱言：單一網站的日誌，且內容偏向 AI 工具報導——恰恰是對官方來源轉向最沒有抵抗力的類別。「單一網域是軼事，不是研究。」把日期視為證據充分，把幅度視為該站專屬。但這兩個斷崖應該也會出現在任何出版者跨越這些日期的數據裡；如果沒有，這個解釋就是錯的。

為什麼這超出單一網站的意義

2026 年的 AI 能見度故事，多半用引用計數和轉介流量調查來講。這份分析補上了那些欠缺的東西：有日期、有閾值、可歸因於特定機制的成因。如果網域範圍檢索加上爬蟲預設變更，能在六週內抹去 ChatGPT 對一個類別網站 85% 的閱讀，那麼 AI 能見度就不是排名問題——而是政策問題，決定於 OpenAI 和 Cloudflare 大多數出版者從未打開過的設定畫面。

對所有在網路上發布內容的人，檢查清單很短：拆分爬蟲日誌、檢查 Cloudflare AI 設定，並認清仍然會被檢索的內容，是官方來源無法自己發布的內容——這可能是 AI 搜尋時代最後一道持久的護城河。