求學的時候，你花了十幾年把課本讀進腦子裡；出社會之後，你每天上班靠的是已經學會的東西，不會為了回一封信、算一張報表，回頭把國小到大學再讀一遍。AI 也是這麼一回事。多數人以為，每次打開 ChatGPT 聊天、請 Midjourney 畫一張圖，AI 都正在「學習」你丟給它的東西；其實你日常在用的，幾乎全是一個早就畢業、出社會上班的 AI，它只是把過去學會的本事拿出來，替你處理眼前這一題。
這裡藏著兩個截然不同的階段。AI 訓練（Training）就像那十幾年的求學過程：燒錢、耗時、一次把底子打好；AI 推論（Inference）則像畢業後每天上班的產出，用已經學到的東西持續做事、不再重新讀書。 搞不清楚 AI 訓練與推論差異的人很多，尤其是看到新聞一下說某公司「訓練」新模型燒掉幾十億、一下又說「推論」成本壓不下來，兩個詞分開報導，卻沒人講清楚它們到底差在哪、錢又是花在哪一段。
接下來就順著「求學」到「就業」這條線，一段一段把兩者拆開來看，先從最容易搞混的地方講起。
常見的誤解：以為用 AI 就是在訓練它
先講一個幾乎人人都有的直覺錯覺：跟 AI 對話、請它畫圖的當下，你並沒有在教它，它也沒有在學。真正的訓練，早在你打開那個 App 之前，就由開發它的那家公司，在背後的資料中心做完了。
這個誤會會發生，多半是介面設計得太像「聊天」。你打一句、它回一句，一來一往之間，感覺就像在跟一個會邊聊邊進步的對象互動，很自然會覺得「它應該記住了我剛剛教它的」。但你在對話框裡做的事，本質上跟拿一支已經寫好的計算機按下等號沒兩樣。機器給你答案，機器本身並不會因為你按了這一次，就變得更聰明。用學生和上班族的分野來看會更清楚，學生在學校裡把知識讀進腦袋（訓練），出社會之後是把學到的東西拿出來、解決手上一件件具體任務（推論），沒有人會邊上班邊把整套教育從頭再受一次。
換句話說，訓練和推論在時間點上，其實是先後分開的兩件事，得先把模型訓練完成，它才能被拿出來推論。Cloudflare 在解釋這兩個詞時就直接指出：推論是已經訓練好的模型，套在新資料上做出的判斷，模型在推論階段並不會繼續學習、也不會因為這一次的互動而改變自己。NVIDIA 也抱持同樣看法，指出：未經過訓練，就不會有推論可言，推論永遠站在一個已經受完訓練的神經網路之上。
訓練階段在做什麼：把知識灌進模型的求學期
訓練，就是那段從小學一路讀到大學的求學期，把大量知識灌進一個空白的模型，讓它從什麼都不會，變成學會辨認規律、能給出判斷。
這個過程拆開來看，跟一個學生的日常沒有太大不同。第一，它要有教材：訓練資料通常是海量的範例，可能是文字、圖片、聲音，數量以百萬、億計。第二，它得寫考卷對答案：模型讀進一筆資料、先給出自己的答案，再拿去跟正確答案比對。第三，錯了就修正理解方式：只要答錯，模型就回頭微調自己內部的判斷依據（也就是調整權重、進行反向傳播），一次比一次更接近正確。第四，反覆考試直到學會：這套「作答、對答案、修正」的循環會跑非常多輪，直到模型的表現穩定下來，才算「畢業」。
拿自駕車來說最好懂。Cloudflare 舉的例子是，為了讓車子認得停止號誌，開發者得先餵給模型成千上萬張、甚至數百萬張停止號誌的照片，讓它在一次次試錯裡慢慢摸清「什麼樣的形狀、顏色、位置才是停止號誌」。這整段反覆餵資料、反覆修正的功夫，就是訓練。
也因為要吃這麼多資料、跑這麼多輪，訓練特別燒錢又耗時。資料量動輒 TB 起跳，還得靠大量 GPU 一起平行運算，往往要連續跑上數週到數月，才能完成一次「求學」。至於一次要花多少，就是下面這個問題了。
求學的學費：訓練要花多少
求學要繳學費，訓練要繳的則是運算資源，而且是天文數字等級的一筆。
具體有多驚人？Stanford HAI 發布的《2024 年 AI 指數報告》估算，OpenAI 的 GPT-4 光是訓練的運算成本，就大約落在 7,800 萬美元，換算下來接近新台幣二十多億元；Google 的 Gemini Ultra 更高，估計約 1.91 億美元，也就是新台幣近六十億元。而這只是「訓練那一次」的運算開銷，還沒算進研發、人力、資料整理這些成本。
這樣的量級，也解釋了為什麼從頭訓練一個頂尖模型，幾乎是只有少數科技巨頭玩得起的重資產投入。NVIDIA 引用吳恩達的例子，就讓這個「重」變得很有畫面，光是訓練一個中文語音辨識模型，就投入了約 4TB 的訓練資料、動用高達 20 exaflops 的運算量，相當於兩千萬兆次的數學運算。這不是買一台好電腦就能做的事，而是得先蓋一整座資料中心的規模。
推論階段在做什麼：畢業後每天上班產出的部分
讀完書、拿到文憑之後，人生真正的日常才開始。每天上班，把在校學到的東西拿出來，一件一件把眼前的任務快速做完。推論，就是模型的這個「上班」階段。
它的運作方式其實很單純，模型讀進一筆新的輸入（你打的一句提問、上傳的一張圖、講出的一段話），然後依照當初訓練時學到的模式，給你一個答案，全程不會回頭改變自己學到的任何東西。你每天跟 AI 的互動，幾乎全發生在這個階段：問 ChatGPT 一個問題、用語音助理設鬧鐘、滑到影音平台演算法推給你的下一支影片，背後跑的都是推論。
推論看重的，跟訓練完全是兩回事。訓練求的是「學得夠廣夠準」，推論求的則是「快」和「穩」，看的是能不能在毫秒到幾秒之間就給出回應，能不能同時應付成千上萬人一起丟過來的請求，而不是學到更多新東西。從技術上看，推論只做「前向運算」這一趟，不做訓練時那套代價高昂的反向傳播，所以單次跑一遍所需的運算量，遠比訓練少得多。
不過推論有一點容易被忽略，它單次雖然便宜，卻是每一次互動都得重跑一遍。訓練是一次性的大投入，推論卻是天天在跑、次次都要算。當使用者夠多、用得夠頻繁，這些「單次很小」的開銷累積起來，反而會變成一筆龐大的持續支出。
這件事離你並不遠。前面提到訓練好的自駕車模型，上路後每認出一個從沒見過的路口號誌，靠的就是推論；電商網站在你瀏覽的瞬間即時算出「你可能還想買這個」，是推論；銀行在一筆刷卡送出的幾百毫秒內，判斷這筆交易是不是可疑盜刷，也是推論。你以為自己在「用 AI」，其實你一整天都在觸發一次又一次的推論。
上班之後也要進修：推論不是永遠一成不變
模型一旦上線、開始「上班」，並不會就此永遠定型不變。上班族偶爾會去上個進修班、補一張證照，模型正式營運之後，開發者一樣可以幫它做局部的「充電」，這件事叫微調（Fine-tuning）。
微調和從頭訓練，差別主要在規模。從頭訓練是把一個空白模型從零教起，要吃海量資料、燒上億成本；微調則是拿一個已經訓練好的模型，餵它相對少量、針對特定任務的新資料，做一次幅度小得多的調整。這就像一個已經大學畢業的上班族，不需要為了學一項新技能回頭重讀四年大學，去上幾堂週末進修課就夠了。花的時間、金錢都是完全不同的量級。
也正因為成本差這麼多，開發者多半選擇微調、而不是動不動就整套重練。Cloudflare 就提到，像低秩適應（LoRA）這類輕量化的調整技術，能只更動模型裡一小部分參數，就達成想要的效果，用來取代把整個模型重新訓練一遍的高昂做法。對開發者來說，能用一張進修證照解決的事，沒必要送模型回去重讀一次大學。
兩階段花的錢，方向完全相反
訓練成本和推論成本的差別，一句話就能講完：訓練像是一次繳清的學費，推論像是畢業後每天的水電、交通、伙食這些日常開銷。學費金額嚇人，但你這輩子就繳那一次；日常開銷單筆都不大，可是天天在花，日積月累下來，總額反而可能遠遠超過當年的學費。
近年就出現了一個很多人沒料到的反轉。過去大家的直覺是，「訓練」那筆幾十億的天價才是燒錢大戶，推論不過是零頭。但當一個模型正式上線、被幾億人反覆使用之後，情況整個翻了過來。每一次對話、每一張生成的圖，都要再跑一次推論、再付一次運算費，這些次數累加起來的總支出，會後來居上、超越當初那筆一次性的訓練費。這個轉折，Gartner 的預估就指出：進入 2026 年，在 AI 專用雲端基礎設施的支出裡，推論工作負載的占比將超過訓練，突破五成，到 2029 年更會逼近七成。
這也順帶回答了另一個常見疑問：為什麼很多 AI 工具要按月收費？月費付的，主要並不是在幫開發商分攤當年那筆訓練學費，而是在支付你每次使用時、模型持續運轉所產生的推論成本。你每問一個問題，對方的伺服器就得實實在在算一次、花一次電費，這筆帳是隨著你的使用量一路累加的。當然，這股成本壓力未來未必只漲不跌。Gartner 另一則預測就認為，隨著硬體與技術演進，到 2030 年，在一個上兆參數的大型語言模型上跑一次推論的成本，會比 2025 年便宜超過九成。
訓練看重什麼，推論看重什麼：兩套完全不同的標準
求學和上班看重的能力，本來就不一樣。求學階段，大家在意的是你有沒有讀懂、讀得夠不夠廣夠深；上班之後，老闆在意的是你做事夠不夠快、能不能同時扛住很多任務。訓練和推論的評判標準，也正好對應這兩種不同的期待。這幾個維度攤開來看，差異會很清楚。
時間尺度： 訓練是一場馬拉松，一輪可能連續跑上數週、數月不間斷；推論則要求短跑爆發力，反應時間常常得壓在毫秒到幾秒之間，慢一點使用者就等不下去了。
評量標準： 訓練最在意的是準確度，也就是模型有沒有真的把規律學對、學準。推論在意的則換成了延遲（回應快不快）和吞吐量（單位時間能處理多少請求），也就是做得夠不夠快、扛不扛得住量。
運算特性： 訓練是把海量資料一次次餵進去、反覆計算修正，吃的是「大量平行處理很多資料」的重運算；推論則要在同一時間服務成千上萬個使用者的即時請求，考驗的是「同時應付很多人」的併發能力。這也是為什麼，適合拿來訓練的硬體配置，和拿來跑推論的，往往是兩套不同的取捨。
從語音辨識到防詐，推論其實已經在你身邊運作
把上面這些觀念放回真實世界，你會發現推論早就滲進日常，只是你沒察覺自己一直在用它。
先看語音辨識。OpenAI 的 Whisper 模型，訓練時吃進了多達 68 萬小時、橫跨多種語言的網路錄音。正因為訓練階段見過這麼多不同的口音、語速和背景雜音，它正式上線後，才有辦法在你每一次講話時，快速把聲音轉成文字。你對著手機口述一則訊息、它幾乎即時打出逐字稿的那一瞬間，跑的就是推論；訓練那 68 萬小時的苦功，早在你按下錄音鍵之前就做完了。
再看金融防詐。詐欺偵測模型在訓練時，看過大量標記為「正常」與「可疑」的歷史交易，學會了盜刷長什麼樣子；等它上線之後，你每刷一次卡、每轉一次帳，系統都會在背景用推論即時判斷這筆交易可不可疑，若風險太高就當場攔下。這也是為什麼，你偶爾會在國外刷卡時突然被銀行擋下、要求驗證。那一秒鐘的判斷，就是推論在替你把關。
醫療影像判讀也是同樣的道理。這類模型訓練時，得看過海量的 X 光片、電腦斷層或病理切片影像，才學會辨認病灶的樣貌；等實際輪到判讀某一位病人的片子時，靠的則是推論，快速給醫師一個初步的參考判斷。訓練決定了它「看過多少、懂多少」，推論決定了它「這一次判得快不快、準不準」。兩者缺一不可，卻是在完全不同的時間點、用完全不同的方式在運作。
搞懂訓練和推論的差別，不是為了讓你去寫程式、蓋模型。而是下次再看到新聞說「某家 AI 公司又燒了幾億訓練新一代模型」，或是「你常用的 AI 工具月費又要調漲」時，你能一眼看懂這筆錢到底花在哪一段，是那筆繳一次、供模型求學打底的天價學費，還是它每天上班替你做事、一次次累加上去的日常開銷。看懂了這條分界，很多關於 AI 的新聞，讀起來就不再是一團看不懂的天文數字了。