篩選網址暴增又重複，該 noindex 還是 canonical？
多數人以為篩選條件開得越多，等於幫搜尋引擎多鋪路，實情是分類頁換個排序或多勾一個篩選，篩選網址就能暴增到上百種，內容卻幾乎是同一批商品。robots.txt、canonical、noindex 各自只解決一部分問題，真正該問的是這組篩選有沒有人搜、撐不撐得起一個獨立主題。
robots.txt
站內搜尋結果頁該被搜尋引擎收錄嗎？多數該擋掉
多數人以為網站被收錄的頁面越多越好，套用在站內搜尋結果頁上卻正好相反。這種頁面被收錄得越多，離 Google 認定的規模化內容濫用就越近，不是越受青睞。多數站內搜尋結果頁該被擋掉，只有真正經過策展的到達頁才是例外。
WordPress robots.txt 編輯怎麼做？AI 爬蟲規則一次搞懂
WordPress robots.txt 編輯前，得先搞懂訓練用、查詢引用用、使用者觸發瀏覽這三種 AI 爬蟲的差別，才知道規則該擋哪一支、放行哪一支，避免內容被整篇拿去訓練模型，或是從此在 AI 回答裡消失。
robots.txt 設定錯一個符號，為什麼會讓全站從 Google 消失？
robots.txt 設定只要多打一個符號，就可能讓 Google 完全爬不到你的網站，卻不會跳出任何錯誤訊息提醒。這篇文章拆解 robots.txt 與 meta robots 的分工差異、語法怎麼寫、常見誤設，以及設定改完後怎麼確認真的生效。
爬取預算不足怎麼辦？大型網站頁面被跳過的 5 個常見原因
爬取預算不足，是許多大型網站文章寫好卻搜不到、商品頁遲遲不被收錄的真正原因。本文拆解爬取預算怎麼計算、哪些頁面最容易被 Googlebot 跳過，以及 AI 爬蟲如何分食你的抓取配額，並教你用 robots.txt 和 GSC 診斷、改善爬取效率。
llms.txt 是什麼？該不該做，看數據就知道
llms.txt 是什麼？它是放在網站根目錄的純文字檔，主動告訴 AI 你的網站哪些內容最值得引用。但 Google 最新官方文件已經寫明，做不做都不影響排名；Ahrefs 追蹤 13.7 萬個網站更發現，九成七的檔案從未被讀取。這篇用官方說法與實測數據，幫你判斷這個檔案到底值不值得做。
robots.txt AI 爬蟲設定：三層規則、決策與範本一次看
robots.txt AI 爬蟲設定，這幾年已經從一行 Disallow 變成三層規則。Content Signals 讓意圖聲明更精細，Cloudflare 後台預設也要對齊，這篇整理決策依據與能直接複製的三套範本。