文章辛苦寫好、產品價格也剛更新，過了三五天，Google 上還是搜不到。第一個念頭，多半是懷疑內容寫得不夠好；但很多時候，原因更前面一層。Googlebot 根本還沒「路過」那一頁。這不是 Google 不想收錄你的內容，而是它手上的抓取時間和額度，先用在別的地方了。
這個「Google 願意花在你網站上的時間和資源額度」，就是爬取預算（Crawl Budget，也常被翻成檢索預算）。對只有幾十、幾百頁的小網站來說，這幾乎不是問題，Google 一天就能把你整站爬完。但只要你的網站開始往「上萬頁」的規模長（電商商品頁、新聞媒體、招募平台、論壇），額度就會變成稀缺品，新頁、改過的頁、重要的頁，全都在排隊。
更麻煩的是，這兩年多了一批新對手在搶同一份額度：GPTBot、ClaudeBot、PerplexityBot 這些 AI 爬蟲。它們也來抓你的內容，也吃伺服器資源，而你的 robots.txt 現在得同時對 Google 和這些 AI 引擎發號施令。先從爬取預算是什麼講起，再一路看到哪些頁最容易被漏收、AI 爬蟲怎麼分食配額，以及你該怎麼管。
爬取預算是什麼？為什麼大網站才要特別在意？
爬取預算指的是搜尋引擎在一段時間內，願意且能夠抓取你網站的頁面數量上限。你可以把它想成 Google 每天配給你網站的一份油錢。額度有限，用在哪些頁、跳過哪些頁，Google 自己會算。
Google 官方的說法是，網海無垠，即使是它也沒辦法把每個網址都爬過、都建索引，所以爬蟲花在每個網站上的時間本來就有限。判斷單位是「主機名稱」，也就是說 www.example.com 和 shop.example.com 各自有獨立的爬取預算，互不相通。
為什麼這件事對小網站幾乎無感、對大網站卻是必修課？差別只在規模。一個三百頁的部落格，Google 一天爬個幾百次綽綽有餘，當天發、當天收，你根本不會察覺有「預算」這回事。但換成一個四萬頁的電商，如果 Google 一天還是只爬幾百次，那意思就是，你大半的頁面要等好幾天、甚至好幾週才輪得到一次。新上架的商品、改完的促銷頁，全卡在隊伍後面。
Google 自己列出三種真的需要管理爬取預算的網站：一是超過 100 萬個不重複網頁、內容大約每週更新一次的大型網站；二是超過 1 萬個不重複網頁、但內容每天都在變的中大型網站；三是 Search Console 裡有一大堆網址被歸進「已找到 — 目前尚未建立索引」的網站。如果你三條都沾不上邊，老實說，把 Sitemap 維護好、定期看一下索引狀況就夠了，不用為這件事焦慮。
但只要你的網站正在往大型網站成長，這份額度怎麼花，就會直接決定你的好內容多快被看見。
爬取預算怎麼算出來的？由兩股力量動態決定
爬取預算不是一個寫死的數字，而是由兩個東西動態相乘出來的，分別是爬取容量上限和爬取需求。前者管「Google 最多能抓多快」，後者管「Google 有多想抓你」，兩邊都點頭，頁面才會被即時爬到。
爬取容量上限（Crawl Capacity）談的是你伺服器的耐受度。 Google 不想把你的主機抓到當機，所以它會邊抓邊觀察：你的網站連續一陣子回應都很快，它就放心多開幾條連線、抓快一點；一旦發現你開始變慢、或頻頻吐出伺服器錯誤，它就會自動收手、降低頻率。換句話說，網站的速度與穩定度，直接決定了天花板有多高。
爬取需求（Crawl Demand）談的是 Google 到底有多想抓你這些頁。 就算你的主機飛快、容量上限拉得老高，如果內容沒什麼價值或根本沒在更新，Google 也懶得浪費資源跑一趟。決定需求高低的，主要是三件事：
- 系統對你網址庫的整體判斷：如果裡頭一堆重複網址、或早就沒用的網址，Google 會覺得你這站不太值得花時間，連帶壓低整體需求。這也是你最能主動控制的一塊。
- 熱門程度：越多人連、越多人點的網址，Google 越想保持它在索引裡是最新的，抓得也越勤。
- 過時程度：更新越頻繁、常常有新內容的頁，Google 越想常常回來看一眼，免得索引裡放的是舊資料。
把兩股力量合起來，Google 對爬取預算的定義其實就一句話：「它有能力、而且想要抓取的網址數量集合。」這裡有個容易被忽略的重點：就算你的伺服器還很閒、根本沒碰到容量上限，只要需求低，Google 照樣會降低造訪頻率。光把主機升級得很強，不會自動換來更多爬取；內容值不值得抓，才是另一半關鍵。
爬取和索引不一樣，搞混了會找錯問題
頁面被爬到，不等於會出現在搜尋結果。這是很多人卡關的源頭。爬取（Crawl）只是 Google 派機器人來「看過」你的內容；索引（Index）是它讀完之後，決定「要不要收進資料庫」；排名則是收進去之後，再去跟別人競爭名次。三個是先後關卡，不是同一件事。
為什麼一定要分清楚？因為這兩關卡住的原因完全不同，對應的解法也不一樣：
| 比較項目 | 爬取（Crawl） | 索引（Index） |
|---|---|---|
| 在做什麼 | 機器人造訪並讀取頁面內容 | 把讀到的內容解析、整理、存進資料庫 |
| 目的 | 發現新頁、檢查更新 | 讓頁面有機會出現在搜尋結果 |
| 主要受什麼影響 | 爬取預算、robots.txt、伺服器速度 | 內容品質、noindex 標籤、重複內容判斷 |
舉個實際情境，你的頁面遲遲沒出現在 Google，第一步要先確認的是「Google 到底有沒有來爬過」。如果連爬都沒爬到，那是爬取端的問題，多半跟預算、內部連結、或 robots.txt 設定有關；可是如果它明明爬過了卻不收，那通常就是內容品質或技術設定的事，跟預算沒太大關係。把這兩個搞混，很容易在錯的地方瞎忙，像是拚命優化內容，結果問題其實出在 Google 根本進不來。
哪些頁面最容易被 Googlebot 跳過、漏收？
大網站真正被漏掉的，往往不是重要頁本身，而是重要頁被一堆「低價值頁」擠到隊伍後面去了。Googlebot 的時間是固定的，它每多花一秒在沒意義的網址上，能留給好內容的就少一秒。先認得這些最會吃掉預算的常客，你才知道該把誰請出去。
最典型、也最會失控的，是篩選與排序產生的無數網址組合。同一件襯衫，因為使用者點了顏色、尺寸、價格高到低、再加上一段 ？source=facebook 的追蹤參數，就能生出成百上千個網址，內容卻幾乎一模一樣。Google 官方特別點名這種「相同頁面的不同排序版本」「會重複連結同樣資訊的無限捲動頁」，建議直接用 robots.txt 擋掉。
接著是這幾類同樣容易被跳過、或本來就不該耗預算的頁：
- 站內搜尋結果頁：使用者搜尋「白T恤」生出的那一頁，對 Google 來說價值很低，卻可能被連結出無限多種組合。
- 後台登入頁、測試環境、購物車與結帳頁：這些頁對外沒有搜尋價值，被反覆爬只是浪費。
- 分頁與標籤聚合頁：第 2 頁、第 37 頁的列表，或一堆內容高度重疊的標籤頁，常常稀薄到不值得單獨收錄。
- 錯誤頁與軟性 404（soft 404）：回應 200 卻其實沒內容的頁，Google 會傻傻地一直回來爬，預算就這樣漏光。
常有人問：把這些頁用 robots.txt 擋掉，會不會反而害到原本想被收的頁？不會。但這裡有個常被誤會的地方。Google 官方講得很明白，擋掉低價值頁不會自動把省下來的額度轉去商品頁、文章頁這些重要頁面上，只有當你的網站本來就已經爬到伺服器容量上限、擠不出更多爬取量時，這份餘裕才會被挪過去。真正百分之百確定的效果，是不再浪費。Google 不會再把時間耗在這些沒意義的網址上。真正要注意的是擋的方式。低價值頁該用 robots.txt 的 Disallow 從源頭不讓它爬；而那種「希望使用者看得到、但不想被收進搜尋」的頁，才用 noindex。千萬別兩個搞反。對只想省預算的頁用 noindex 反而更虧，因為 Google 還是得先爬進去、讀到 noindex 標籤、才知道要丟掉它，這趟爬取的油錢照樣付了。
AI 爬蟲開始分食你的爬取配額
過去搶你伺服器資源的主要是 Googlebot，現在多了一整批 AI 爬蟲在排隊，而且來勢洶洶。它們也來抓你的頁、也吃你的頻寬和 CPU，差別在於你給它們的內容，餵的是別人家的 AI 模型或 AI 搜尋答案。
先把這些 AI 爬蟲分成兩種來看，這個分法決定了你該怎麼對待它們：
- 訓練型爬蟲，像 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、還有 CCBot 這類。它們抓你的內容，是拿去訓練未來的模型。讓它抓，對你眼前幾乎沒有直接好處（你的品牌不會因此被引用），但會實實在在吃掉你的伺服器資源。
- 檢索／引用型爬蟲，像 OpenAI 的 OAI-SearchBot、Anthropic 的 Claude-SearchBot、以及 Perplexity 的 PerplexityBot。它們抓你的內容，是為了在 AI 搜尋的答案裡「引用」你。這一類，是你會想讓它進來的。擋掉它，等於把自己從這個成長最快的曝光管道裡刪掉。
這裡有個最常見、也最致命的設定誤會，就是以為「擋掉 ClaudeBot 就等於擋掉整個 Anthropic」。其實不是。同一家 AI 公司通常養著好幾隻爬蟲，各自有獨立的名字（user-agent），各管各的：一隻訓練、一隻做搜尋索引、一隻在使用者當下發問時即時去讀頁。擋了訓練那隻，完全不影響搜尋那隻；反過來也一樣。每一隻都得在 robots.txt 裡單獨寫一條規則。
為什麼這件事跟爬取預算扯上關係？因為這些 AI 爬蟲消耗的是同一份伺服器資源。當訓練型爬蟲的流量遠遠多過會幫你帶來曝光的檢索型爬蟲時，你其實是在自掏腰包補貼別人訓練模型，同時還壓縮了 Googlebot 和有用 AI 爬蟲能用的容量。所以管理配額這件事，現在不只是對 Google，而是要把整個爬蟲名單攤開來，一隻一隻決定誰該進、誰該擋。
robots.txt 要同時管 Google 和 AI 爬蟲
robots.txt 是放在網站根目錄的一個純文字檔，作用是告訴各家爬蟲「哪些路徑可以爬、哪些不行」，合規的爬蟲都會讀它、照辦。過去你只要對 Googlebot 講話就好，現在這份檔案得同時是 Google 的交通號誌、也是 AI 爬蟲的門禁名單。
管理上有個大原則。逐一指名，而不是一條萬用規則打發。 與其用 User-agent： * 一刀切，不如把每隻爬蟲分開列，這樣你才握得住「哪個引擎能看到網站哪一塊」的控制權。對大網站來說，這也是把低價值路徑（篩選頁、搜尋結果頁、後台）用 Disallow 集中擋掉、好把爬取額度留給重要頁的同一份檔案。
接下來是最多人困惑的一題。把某隻爬蟲 Disallow 掉，會不會害我被 AI 引用的機會也沒了？ 關鍵在於你擋的是「哪一隻」。這裡有幾個判斷準則：
- 擋訓練型、留檢索型，是可以分開的。 如果你想被 AI 搜尋引用、但不想被拿去訓練模型，那就放行檢索型（OAI-SearchBot、Claude-SearchBot、PerplexityBot），同時擋掉訓練型（GPTBot、ClaudeBot）。兩者互不影響。
- 擋錯那一隻，代價很實際。 OpenAI 官方說得很明確，擋掉 OAI-SearchBot 的網站，不會出現在 ChatGPT 的搜尋答案裡。也就是說，你以為自己只是擋了個無關緊要的機器人，實際上是把自己從 ChatGPT 的引用名單裡刪掉了。
- 擋 AI 訓練爬蟲，不會動到你的 Google 排名。 Google-Extended 其實不是另一隻會跑來抓你網站的爬蟲，而是 robots.txt 裡一個獨立的控制代號。實際爬取內容的仍然是 Googlebot，Google-Extended 只決定這批被爬到的內容能不能拿去訓練 Gemini。Google 官方已明確說過，把 Google-Extended 設成不允許，只會讓你的內容不被拿去訓練 Gemini，完全不影響一般 Google 搜尋的收錄與排名。想擋 AI 訓練、又怕傷到排名的人，可以放心。
還有兩件實務上的提醒。第一，別用「封鎖 IP」的方式擋這些爬蟲，像 ClaudeBot 用的是公有雲的 IP，你封了它可能連自己的 robots.txt 都讓它讀不到，控制要做在 user-agent 這一層。第二，robots.txt 終究是「君子協定」，靠的是爬蟲自願遵守。市面上已經有一些 AI 爬蟲被觀察到會無視 robots.txt、甚至偽裝 user-agent；真要硬擋這種不守規矩的，得靠伺服器層或網站防火牆（WAF）出手，光改 robots.txt 攔不住。
怎麼知道自己的網站有沒有爬取預算問題？
判斷的方式其實很直接，就是看 Google 給你的爬取次數，撐不撐得起你的頁面規模。而要拿到這個數字，不必去翻伺服器的原始記錄檔，Google Search Console（GSC）就把該看的都整理好了。三個地方輪流看，就能掌握 Googlebot 在你網站上的足跡。
第一，看「檢索統計資料」報表。 路徑在 GSC 的「設定 → 檢索統計資料」，它記錄了 Google 最近 90 天對你網站的爬取行為，是判斷預算夠不夠用最直接的數據。算法很簡單，拿這段時間的總檢索次數，去對照你的網站總頁數。打個比方，一個約 380 頁的網站，90 天被爬了 3.8 萬次、平均一天 400 多次，那綽綽有餘；但同樣一天 400 次，放到一個四萬頁的網站上，就代表大半頁面長期輪不到，預算明顯吃緊。除了看量，也留意波動，健康的網站爬取曲線通常平穩，如果突然劇烈起伏、或頁面很多但爬取量長期偏低，都是該進去查的訊號。
第二，看「網頁索引」報表裡的兩個狀態。 同樣在 GSC，這份報表會告訴你多少頁被收了、多少被排除、原因是什麼。其中有兩個狀態最值得分辨：
- 「已找到 — 目前尚未建立索引」：Google 知道有這些網址，但還沒進去爬。這個數字如果很大，就是爬取預算不足的典型警訊，Google 自己也把它列為「該管理預算」的三種網站特徵之一。
- 「已檢索 — 目前尚未建立索引」：Google 爬過了，但讀完內容決定先不收。這通常不是預算問題，而是內容品質不夠、或重複內容太多，解法要往內容端走。
第三，用「網址檢查工具」單獨盯關鍵頁。 在 GSC 搜尋列直接貼上某個網址，就能看這一頁的爬取與索引狀況。新文章剛發、或剛修好某個重要頁，也可以手動按「要求建立索引」，請 Google 優先排這一頁。這招適合救急的單頁，但別拿來當常態手段。真正的解法還是把整站的爬取效率調好。
把爬取預算花在刀口上，可以從哪裡下手？
弄清楚問題之後，剩下的就是把這份有限額度，導去你真正想被收的頁。原則只有一句：讓 Google 爬得越輕鬆、越不繞路、越少踩到垃圾，它就越願意多爬、爬得越深。以下幾個方向，從見效最快的開始排：
- 把伺服器速度與穩定度顧好。 Google 在你站上的停留時間是固定的，回應越快，同樣時間內爬完的頁就越多。導入 CDN、壓縮圖片、選一台反應夠快的主機，都是直接把容量上限往上抬的做法。
- 用 robots.txt 擋掉低價值路徑。 把篩選排序頁、站內搜尋頁、後台登入頁這些不需要被收的網址擋在門外，先止住浪費；等網站真的爬到容量上限、餘裕吃緊時，這份省下來的額度才會回頭挪給重要頁。順手把 AI 爬蟲名單也一起在這份檔案裡決定好。
- 整合重複內容、處理 URL 參數。 帶參數的網址用 canonical 標籤指回正規版本，避免 Google 為了幾乎一樣的內容反覆爬一堆網址。
- 把內部連結織密。 爬蟲是順著連結走的，重要頁如果埋得太深、或根本沒有別的頁指向它，就容易變成沒人理的孤兒頁。建立「首頁 → 分類 → 內容」的清楚層級，讓重要頁離首頁近一點。
- 清乾淨 Sitemap。 別把全站每一頁都丟進去，只留你真的希望被收的頁，並善用 lastmod 標記告訴 Google 哪些頁更新了，讓它優先回來看。
- 修掉錯誤連結與過長的轉址鏈。 A 轉 B、B 轉 C、C 才到目的地，這種長轉址會讓爬蟲花好幾倍力氣只換到一頁；該回 404 / 410 的永久失效頁就乾脆回，這對 Google 是「別再來了」的強烈訊號。
- 守住內容本身的品質。 這是最根本的一條。Google 會自動降低抓取那些「沒人看、品質差」頁面的頻率；持續產出有深度、夠獨特的內容，才是讓它願意主動多分一點預算給你的真正辦法。
回到開頭那個情境，你辛苦寫好的頁面過了三五天還搜不到。爬取預算很少是一個孤立的技術毛病，它更像整個網站體質的縮影。架構夠不夠清楚，決定爬蟲找不找得到重要頁；內容夠不夠有料，決定 Google 願不願意把資源花在你身上。所以當你發現好頁面長期沒被收、或排名久久不動，與其急著加更多內容，不如先回頭檢查，是不是 Google 的力氣，根本就被你網站裡那些沒人要看的頁給漏光了。