WordPress robots.txt 編輯怎麼做？AI 爬蟲規則一次搞懂
WordPress robots.txt 編輯前，得先搞懂訓練用、查詢引用用、使用者觸發瀏覽這三種 AI 爬蟲的差別，才知道規則該擋哪一支、放行哪一支，避免內容被整篇拿去訓練模型，或是從此在 AI 回答裡消失。
robots.txt
robots.txt 設定錯一個符號，為什麼會讓全站從 Google 消失？
robots.txt 設定只要多打一個符號，就可能讓 Google 完全爬不到你的網站，卻不會跳出任何錯誤訊息提醒。這篇文章拆解 robots.txt 與 meta robots 的分工差異、語法怎麼寫、常見誤設，以及設定改完後怎麼確認真的生效。
爬取預算不足怎麼辦？大型網站頁面被跳過的 5 個常見原因
爬取預算不足，是許多大型網站文章寫好卻搜不到、商品頁遲遲不被收錄的真正原因。本文拆解爬取預算怎麼計算、哪些頁面最容易被 Googlebot 跳過，以及 AI 爬蟲如何分食你的抓取配額，並教你用 robots.txt 和 GSC 診斷、改善爬取效率。
llms.txt 是什麼？該不該做，看數據就知道
llms.txt 是什麼？它是放在網站根目錄的純文字檔，主動告訴 AI 你的網站哪些內容最值得引用。但 Google 最新官方文件已經寫明，做不做都不影響排名；Ahrefs 追蹤 13.7 萬個網站更發現，九成七的檔案從未被讀取。這篇用官方說法與實測數據，幫你判斷這個檔案到底值不值得做。
robots.txt AI 爬蟲設定：三層規則、決策與範本一次看
robots.txt AI 爬蟲設定，這幾年已經從一行 Disallow 變成三層規則。Content Signals 讓意圖聲明更精細，Cloudflare 後台預設也要對齊，這篇整理決策依據與能直接複製的三套範本。