Google、OpenAI等四大廠將遵守robots.txt拒絕AI訓練宣告

過去，想避免網站內容被用於 AI 訓練，就得為每家公司分別撰寫規則，逐一記住 GPTBot、ClaudeBot 和 Google-Extended 等名稱。如今，Google、OpenAI、Anthropic 和 Microsoft 表示，這些公司將改為讀取同一行設定：放在 robots.txt 裡的共用「政策代碼」。這個小小的文字檔，自網路發展初期以來就一直用來告訴搜尋引擎哪些地方不該造訪。只要設定一次，這行內容就能向四家最大的 AI 開發商傳達同一個答案。

這個構想來自 Anthropic 標準技術主管凱文·凱利（Kevin Kelley），由他提交給負責制定網路技術規範的網際網路工程任務小組（IETF）。巧妙之處在於，它沒有創造任何新的語法。網站管理者只要照常寫好一組規則，但在 User-Agent 那一行指定使用目的，而非爬蟲名稱：__usage_ai-training。在這一行下方寫上「Disallow: /」，就表示網站任何內容都不得用於訓練；也可以用「Allow」列出例外，例如公司樂見模型學習的媒體資料包。

對部落格、商店或新聞網站來說，這行設定最實用之處，在於它不會影響什麼。它表達的是內容如何使用的偏好，而不是誰可以造訪，因此搜尋功能仍可正常運作。Google 表示，如果網站透過共用代碼選擇退出，且沒有另外提及 Google-Extended，Google 就會將其解讀為封鎖 Google-Extended；這會涵蓋 Gemini 訓練，但網頁仍會留在 Google 搜尋中。Microsoft 對 Bing 也作出相同承諾：這項設定不會影響網頁是否出現在搜尋結果裡。

Microsoft 比其他公司更進一步。除了訓練用途，它還將新增一項獨立的內容參照偏好設定，網站可透過中繼標籤或 HTTP 標頭，逐頁設定是否允許頁面內容用來生成 Bing、Copilot 和 Microsoft 365 即時提供的答案。網站可以拒絕訓練，同時仍允許內容參照，讓引用和連結保留在 AI 答案中。Microsoft 警告，拒絕內容參照將「大幅降低」網站在這些使用情境中的曝光度，而且無論選擇哪一種設定，都不保證網站一定會被納入、帶來流量或獲得報酬。

大多數網站早已使用的檔案裡，藏著一個陷阱。凱利的草案刻意讓大家熟悉的萬用規則「User-agent: *」無法辨識這個新代碼，因此，今天即使 robots.txt 封鎖所有機器人，也完全不代表網站對 AI 訓練表達了任何偏好。想退出的網站管理者，必須另外新增一組規則，明確寫出這個名稱。這項訊號也只對未來生效：在這行設定出現之前，各家公司已經爬取的內容早已納入訓練資料，而草案也沒有強制任何公司必須遵守。這是四家公司承諾尊重的請求，不是牢不可破的封鎖。

最引人注目的缺席者是 Meta。Meta 傳訊主管安迪·史東（Andy Stone）向 The Verge 表示，能讓多家服務供應商同時接收的共用訊號是「重要的一步」，但沒有說明 Meta 是否會遵守。這個時間點格外尷尬：四家公司宣布支持的同一天，Meta 更新後的商業條款也正式生效，授權 Meta 派遣爬蟲前往與 Facebook、Instagram 和 WhatsApp 商業帳號相關的網站，並使用爬取的內容訓練旗下產品。

這項措施的推行進度並不一致。Anthropic 已開始採用這個代碼，不過凱利表示，要讓旗下所有服務都支援仍需時間。Microsoft 將從 2027 年 2 月 1 日起，在爬取內容時遵守這項設定；並將於 3 月 1 日之後，不再把舊有的 NoArchive 和 NoCache 標籤視為訓練或內容參照訊號。Google 目標是在 2027 年支援這個代碼，並承諾定期更新進度；OpenAI 則只承諾在未來幾個月內跟進。這項提案仍須經過 IETF 的 AI Preferences 工作小組審議，才能成為正式標準。Google 也指出，這項做法符合歐盟通用型 AI 模型行為準則；該準則早已將 robots.txt 視為出版者表達機器可讀偏好設定的主要方式。

這一刻之所以值得注意，在於解決方案出奇簡單。經歷多年關於開放網路所有權的訴訟與授權爭議後，第一個共通答案竟只是純文字檔裡幾個字元，任何人花一分鐘就能修改。這項設定能提供多少保障，取決於接下來有多少公司加入；而旗下平台擁有最多商業頁面的那家公司，至今尚未表態支持。

標籤: 人工智慧, OpenAI, Google, Anthropic, meta, microsoft