Cloudflare Radar 即時數據顯示，全球網路 34.1% 的 HTTP 流量來自機器人；Cloudflare 執行長 Matthew Prince 預測，照目前速度，機器人流量最快將在 2027 年超越真人。
（前情提要：Cloudflare 出殺招！預設「封鎖 AI 爬蟲」掀起付費抓取內容新戰爭）
（背景補充：幫你擋爬蟲的 Cloudflare 推出「一鍵全站爬蟲 API」，完美支援 RAG、增量更新與模型訓練）
每三個造訪網站的請求，就有超過一個不是人類發出的。Cloudflare Radar 即時數據顯示，目前全球網路 HTTP 流量中，機器人（Bot）占比已來到 34.1%、真人占 65.9%。且 Cloudflare 統計指出，自動化流量的成長速度約是人類流量的 8 倍。
爬蟲（Crawler）是自動在網路上抓取內容的程式。簡單來說就是，你每天看到的網頁，隨時都有無數支程式在同步翻閱、抄錄、分析。且這些程式正在被 AI 公司大規模擴張。
誰在佔頻寬？
當然，機器人流量不等於惡意流量，這是第一個需要釐清的誤解。34.1% 裡面，有搜尋引擎蜘蛛、網路監控工具、API 整合服務，也有真正的攻擊程式。Cloudflare 數據是趨勢指標，不是犯罪統計。
但 AI 爬蟲（AI crawler）的崛起是結構性的。Cloudflare 統計顯示，AI 爬蟲約占所有機器人流量的 22%，是僅次於搜尋引擎爬蟲的第二大類。這類爬蟲是專門替 AI 公司抓網頁內容、拿去訓練模型或即時回答問題的程式。
白話說就是，每次你問 ChatGPT 或 Claude 一個問題，背後有爬蟲已經提前替它讀完半個網路。
從各家 AI 爬蟲的市占分布來看，格局也正在洗牌。Cloudflare 數據顯示，Meta-ExternalAgent 約占 16.3%，已超越 GPTBot；ClaudeBot 約 11.6%；Applebot 單月暴增 140%，從約 2.97% 跳到 7.15%，是 Apple Intelligence 加大資料抓取力道的訊號。不同報告的數字會浮動，可視為趨勢方向，而非精確排名。
值得注意的是，所有 AI 爬蟲中，訓練型爬蟲約占 51.5%，超過半數。訓練型爬蟲是指抓資料是為了餵給模型做長期訓練，而不是用來即時回答用戶。
簡單來說就是，超過一半的 AI 爬蟲流量，是 AI 公司在替未來的模型版本囤積原料。
2027 年，一個預測與它的意義
Cloudflare 執行長 Matthew Prince 公開預測：照目前的成長速度，機器人流量最快將在 2027 年超越人類流量。這是預測，不是已成事實。但 8 倍的速度差異擺在那裡，數學上並不難算。
對 AI 公司而言，爬蟲是訓練資料的自動補給線，規模越大、速度越快，模型的更新節奏就越快。對內容平台而言，流量的定義正在改變，你的文章可能被讀了一千次，但其中八百次是機器，而機器不看廣告。對資安團隊而言，當登入嘗試的 94% 都是機器人，傳統的人工審查邏輯已經失效。
這三個群體面對的，是同一件事的不同切面：網路的用戶結構，正在被 AI 的基礎設施需求重塑。行動裝置占全球流量的 55.4%、桌機占 44.6%，但這個數字很快就會需要加上第三個欄位：機器。
📍相關報導📍
CNN 控告 Perplexity 侵害著作權：1.7 萬篇報導逐字複製、繞過付費牆
最大盜版圖書館｜美法院判 Anna’s Archive 賠 1,950 萬美元、全球域名封鎖，用其訓練的 AI 慘了？
爬蟲神器 browse.sh：提供 AI 代理超 500＋ 常用網站完整操作技能包 Skill
