AI 爬蟲有沒有真的讀過你的網站？看存取日誌就知道
robots.txt 把 GPTBot、ClaudeBot 這些規則設定好，不代表 AI 爬蟲真的讀過你的網站，它只是單方面的告示，沒有強制力也沒有回報機制。想知道 AI 有沒有真的讀過你的內容、讀了哪些頁面，唯一可靠的證據是伺服器的原始存取日誌，本文教你篩選、比對、驗證真偽，一步步查出答案。
AI爬蟲
.htaccess 設定有哪些重點？轉址、封鎖 AI 爬蟲與快取效能整理
.htaccess 設定不只是固定網址的四行預設規則，還能一次處理 301 轉址、封鎖 AI 訓練爬蟲、防止圖片被盜連，甚至調整快取與載入速度，是網站根目錄裡最容易被忽略、卻能同時顧到安全與效能的一份規則表。
WordPress robots.txt 編輯怎麼做？AI 爬蟲規則一次搞懂
WordPress robots.txt 編輯前，得先搞懂訓練用、查詢引用用、使用者觸發瀏覽這三種 AI 爬蟲的差別，才知道規則該擋哪一支、放行哪一支，避免內容被整篇拿去訓練模型，或是從此在 AI 回答裡消失。
網站搬家風險有哪些？DNS 到 AI 爬蟲的 5 個漏洞
網站搬家風險不是搬完當下就會出現，而是 DNS、資料庫、表單通知到 AI 爬蟲設定，好幾個環節要同時交接，任何一個沒對齊，都可能等到事後才被發現。
WordPress 上線前檢查清單：9 大重點一次盤點
WordPress 上線前檢查清單該盤點哪些項目？從佔位內容、永久連結、SEO 設定，到 AI 搜尋引擎讀不讀得懂你的網站，一次整理成清單，帶你上線前不漏檢查。
JavaScript SEO 做對了，AI 爬蟲卻讀不到？
JavaScript SEO 多數人以為 Google 讀得懂就過關，但 GPTBot、ClaudeBot、PerplexityBot 抓到的常常是空殼，商品規格、比較內容全部消失。拆解爬蟲讀取落差、風險頁面、三個自測法，以及 SSR、SSG、預渲染怎麼選。
爬取預算不足怎麼辦？大型網站頁面被跳過的 5 個常見原因
爬取預算不足，是許多大型網站文章寫好卻搜不到、商品頁遲遲不被收錄的真正原因。本文拆解爬取預算怎麼計算、哪些頁面最容易被 Googlebot 跳過，以及 AI 爬蟲如何分食你的抓取配額，並教你用 robots.txt 和 GSC 診斷、改善爬取效率。
llms.txt 是什麼？該不該做，看數據就知道
llms.txt 是什麼？它是放在網站根目錄的純文字檔，主動告訴 AI 你的網站哪些內容最值得引用。但 Google 最新官方文件已經寫明，做不做都不影響排名；Ahrefs 追蹤 13.7 萬個網站更發現，九成七的檔案從未被讀取。這篇用官方說法與實測數據，幫你判斷這個檔案到底值不值得做。
SSR SSG SEO 怎麼選？CSR 渲染如何決定 AI 爬蟲可見度
SSR SSG SEO 的選擇，決定你的內容能不能被 AI 引擎讀到，而不只是 Google 排不排得到。這篇拆解 CSR、SSR、SSG 三種渲染方式的差異，並給你依頁面類型挑架構的判斷原則。
robots.txt AI 爬蟲設定：三層規則、決策與範本一次看
robots.txt AI 爬蟲設定，這幾年已經從一行 Disallow 變成三層規則。Content Signals 讓意圖聲明更精細，Cloudflare 後台預設也要對齊，這篇整理決策依據與能直接複製的三套範本。