明天，網路的預設值翻轉：Cloudflare「內容獨立日」正式到來

三十年來，網路建立在一紙不成文的契約上：爬蟲取用你的頁面，而你換取導流。當 AI 回答引擎開始吸收內容卻一毛不拔、一個訪客都不回送時，這份契約宣告死亡。明天——2026 年 9 月 15 日——Cloudflare 將為這場葬禮蓋上官方印章：所有新接入 Cloudflare 的網域，凡是帶有廣告的頁面，Training（訓練）與 Agent（代理）爬蟲一律預設封鎖，僅 Search（搜尋）爬蟲維持放行。這是自動化流量經濟史上規模最大的一次單一干預，一夕之間落在約五分之一的網路上。

9 月 15 日到底改變了什麼

Cloudflare 早在 2026 年 7 月 1 日——第二屆年度「Content Independence Day」——就宣布了這項變更，給了產業 75 天的緩衝期。根據官方部落格與開發者更新日誌，機制相當明確：

• 新接入 Cloudflare 的網域自動套用新預設值：Training 封鎖、Agent 封鎖、Search 放行——且特別針對投放廣告的頁面。
• 既有客戶維持原設定，但 Cloudflare 在日期逼近時持續發送通知；想要不同規則的站長必須在 Security 設定中明確指定。
• 混合用途爬蟲——在同一個 user-agent 下同時執行搜尋索引與 AI 訓練的機器人——將依其所有行為認定，並以最嚴格的適用規則強制執行。

最後一點是最容易被低估的條款。由於 Googlebot、Applebot 與 BingBot 都以共用基礎設施同時進行搜尋索引與 AI 訓練，任何封鎖 Training 的站長，將連帶把這些混合用途爬蟲整個擋在門外。Cloudflare 的立場是有意的：機器人營運商早被要求按用途拆分爬蟲，沒拆分的，現在得為自己的不透明付出代價。

翻轉背後的分類學

這次變更不只是多一顆封鎖按鈕。Cloudflare 花了一年時間，圍繞「行為」而非「AI」這個模糊標籤，重建整套分類系統：

• Search（搜尋）——主動為你的網站建置資料庫，之後用於回答查詢。站長應期待獲得導流或其他合理補償。
• Agent（代理）——即時代替某人完成任務，從 ChatGPT-User 的內容抓取，到 Gemini 或 Claude 操控完整瀏覽器都算。
• Training（訓練）——將你的內容永久吸收進模型權重之中。

在舊模式下，小型網站面臨浮士德式的交易：全部放行、被免費訓練，或者全部封鎖、從探索中消失。新的三分法拆解了這個困境——而且開放給免費版客戶使用，並非企業版專屬。

「Verified」標章從此有了牙齒

伴隨預設值翻轉，Cloudflare 也重新定義了「Verified bot（已驗證機器人）」。過去 Verified 等於預設放行；現在它只代表「在其類別內可被允許」——機器人能否進門，取決於站長是否為該類行為開了門。驗證機制還附帶執法工具：任何濫用內容使用訊號、或全文重製內容的機器人，都會失去 Verified 身分，連帶失去 Cloudflare 背後超過 20% 網域的存取權。

全新的 BotBase 資料庫讓企業版客戶能在儀表板中搜尋每一隻已知機器人、其分類與內容使用政策，並可將偵測 ID 直接複製進 Security 規則。同時，新的 robots.txt 訊號——use=immediate、use=reference、use=full——擴充了 Content Signals，讓站長能表達機器人可以保留並再分享多少內容，從「互動但不得儲存」到「可摘要並重現」。

代理式網路的身分層

最具前瞻性的部分處理的是「傳遞式信任」（transitive trust）：當一隻跑在開發者平台上的代理，透過三層中間人呼叫你的網站時，你到底該信任誰？Cloudflare 提議沿用既有的 RFC 7239 Forwarded 標頭，讓營運者身分端到端透傳：

Forwarded: for="openai";use="reference"

允許 OpenAI 代理的站長，這項偏好無論對方直連或經過中間人都成立——而濫用信任的營運者，將在全網失去信任。信任變成可攜帶的資產，也是可撤銷的。

為什麼這件事重要

規模本身就是故事。Cloudflare 代理了全球超過 20% 的網域，其 Radar 數據早在今年稍早已顯示機器人流量跨越 HTML 流量的多數門檻——網路上的機器已多於人類。明天預設值一翻轉，舉證責任就此反轉：AI 公司再也無法默認存取廣告支撐的內容，必須談判取得授權、拆分爬蟲，否則就是以封鎖為起始狀態。

對出版商而言，這是回答引擎經濟下第一個真正的結構性反制——一個偏袒補償而非掠奪的預設值，搭配去年上線、作為變現軌道的 Pay Per Crawl 市集。對 AI 公司而言，這是一個帶著牙齒到期的合规期限：混合爬蟲不再是漏洞，而是負債。對整個網路而言，這是一場即時實驗——測試預設設定（而非訴訟或監管）能否重寫內容生產者與內容取用者之間失衡的交易。

75 天緩衝期在午夜結束。網路史上影響最深遠的 AI 存取 A/B 測試，隨即開始。