多數人以為，能讓 ChatGPT 寫詩、抓出程式裡的錯字、跟你討論抽象的哲學問題，還能隨時換上不同語氣說話，背後一定藏著某種接近人類思考的智慧。表面上看，一個做得到這麼多事的東西，不太像只是在「算數字」。
但這篇要先拆穿一個違反直覺的事實。撐起這一切的核心機制，其實簡單到讓人意外，就是不斷「預測下一個字」。LLM 大型語言模型（Large Language Model）拿到一段文字之後，做的事情說穿了只有一件事，就是根據前面出現過的字，猜下一個最可能出現的字，一路猜、一路接，直到接出完整回答；它不「理解」你問題背後的情緒，卻能靠這套猜字機制，寫出讀起來像真的懂你在說什麼的句子。
一個本質上只在猜字的模型，為什麼能表現得像有智慧？先從電腦過去為什麼「聽不懂」人類語言講起，再一路拆到 LLM 怎麼把猜字這件事，做到讓人分不清是不是有意識在回話。
LLM 出現以前，電腦為什麼「聽不懂」人類的語言？
早在 LLM 出現以前，工程師就想讓電腦處理人類的語言，只是走的路線完全不同。最早的做法接近規則式比對，寫死一堆「如果出現這個關鍵字，就做這個動作」的判斷式，或是靠人工整理的文法規則去拆句子。這套做法在句子固定、詞彙有限的場合還算堪用，一旦碰到口語的彈性、同一句話換個說法，系統馬上就露餡，它認不出「訂位」跟「訂桌」其實是同一件事。
到了 1980、1990 年代，Microsoft Azure 的技術說明指出，自然語言處理開始轉向資料驅動的統計方法，其中最具代表性的是 n-gram 這類統計語言模型，靠計算「某個詞後面接哪個詞的機率最高」來預測下一個字。這一步確實比純規則式聰明，能抓住局部的詞序習慣，但 n-gram 只往前看幾個詞，抓不住一整句話、甚至一整段的語意脈絡，代名詞指的是誰、同一個字在不同句子裡是不同意思，它幾乎沒有能力判斷。
真正的轉折點落在 2010 年代。IBM 的技術說明指出，深度學習興起後，語言模型從查表式的統計方法，一路演進到詞嵌入（word embeddings）、再到能記住序列資訊的循環神經網路（RNN）與 LSTM，神經網路開始能捕捉更長距離的語意關聯。這條路線最後在 2017 年迎來決定性的突破，Google 研究者提出 Transformer 架構，徹底改寫了語言模型的設計方式，也直接鋪成了後來 LLM 爆發的路。
LLM 不是真的「懂」語言，而是很會「猜」語言
IBM 的技術說明把這件事講得很直白，形容 LLM 本質上是一台巨大的統計預測機器，一路不斷預測序列裡的下一個字。換句話說，LLM 大型語言模型指的是一種在海量文字資料上訓練出來、學會「預測下一個字」的機率模型。它不是先讀懂你的問題、想清楚答案再打字，而是先看過你打的這段話，算出接下來最可能出現的那個字是什麼，接上去之後，再拿這串更長的文字重新算一次下一個字，像一場不會停下來的文字接龍，一路接到整段回答完成為止。
「大型」這兩個字，指的正是這台統計機器的規模，它訓練時看過的文字量，以及模型內部用來儲存這些統計規律的參數數量，都是傳統程式望塵莫及的等級。參數本身牽涉更技術性的定義，這裡先不深入拆解，只要記住，規模才是「大」這個字真正想表達的意思。
這節要破除的迷思，是「AI 真的聽懂我在說什麼」。LLM 沒有意圖，也沒有對話對象是誰的自覺，它只是在龐大的機率分佈裡，一步步挑出讀起來最順的下一個字。這套統計猜字的機制，聽起來簡單，卻是接下來所有章節要拆解的起點。
LLM 怎麼一步步把一句話，接成下一句？
看懂 LLM 是一台在猜字的機率機器只是第一步，接下來更有意思的問題是，它怎麼從你打的那句話，一路算到接下來要吐出的那個字？這串流程，IBM、AWS 與微軟 Azure 的技術說明都描述了類似的架構，大致可以拆成四個階段，每個階段都只求先弄懂「發生了什麼事」，不必被底層的數學公式卡住。
先把文字拆成一顆顆「詞元」
模型拿到你打的那句話後，並不是把整句話當成一個整體去處理。IBM 的技術說明描述，系統會先把輸入的文字拆解成更小、機器讀得懂的單位，這個單位就叫「詞元」（token）。詞元可能是一個完整的詞、一個字根，也可能只是一個字元，實際怎麼切，依語言與模型設計而不同。舉例來說，「今天天氣真好」這句中文，可能被拆成「今天／天氣／真／好」幾個詞元；換成英文的「unbelievable」，也可能被拆成「un／believ／able」這種更細的片段。認得「詞元」這個詞、知道它是模型處理文字的最小單位，這一步就算過關，實際的換算規則不必深究。
詞元會變成一串會表達意思的數字
詞元切出來以後，電腦還是看不懂文字本身，下一步要把每個詞元轉換成一長串數字，這串數字叫「詞嵌入」（embedding）。IBM 的技術說明舉了一個例子，在描述動物的文章裡，「吠」（bark）這個字換算成的那串數字，會比「樹」（tree）更靠近「狗」（dog）換算成的那串數字，因為吠叫這個動作，語意上本來就跟狗比較相關，跟樹沒什麼關係。意思相近的詞，在這個由數字構成的空間裡，位置也會擠在一起；意思無關的詞，則會被拉得遠遠的。這一步，是電腦第一次能用數學方式處理「意思」，而不是死板地比對文字本身長什麼樣子。
讀懂上下文的關鍵，藏在「注意力機制」裡
前面兩步只解決了「文字怎麼變成數字」，還沒解決語言最麻煩的部分，同一個字，擺在不同句子裡，意思常常不一樣。IBM 針對這個機制的技術說明指出，Transformer 架構最重要的設計，是一套叫「自注意力機制」（self-attention）的做法，模型在處理句子裡的每一個字時，不是只看它前面緊鄰的幾個字，而是回頭檢視整句話裡其他每一個字，判斷該把「注意力」放在哪裡，再依這些關聯去決定這個字在當下的句子裡真正代表什麼。
舉個例子，「小明把蛋糕拿給小華，因為他生日快到了」這句話裡，「他」指的是小明還是小華？自注意力機制會讓模型回頭比對「生日」「拿給」這些字跟「他」的關聯強弱，判斷出「他」比較可能指向小華。這套機制的技術基礎，來自 2017 年 Vaswani 等研究者發表的論文《Attention Is All You Need》，讓 LLM 第一次能同時看懂一整段文字裡所有字之間的關係，不再像早期模型那樣，只能一個字一個字往前看、看不到後面的線索。
從機率分佈裡選出下一個字，一路接到底
前面三步，分別把文字拆成詞元、轉成數字、算出上下文關聯，最後都是為了同一個目的，讓模型針對「下一個字該是什麼」，算出一整份機率清單。IBM 的技術說明描述，這個推論過程會先把輸入的提示轉成詞元、換算成向量，再由 Transformer 算出所有候選詞元各自的機率，選出機率最高的那一個接上去；接著把這句「多接了一個字」的新句子，重新當成輸入，再跑一次同樣的流程，一個字接一個字，直到模型判斷該收尾為止。
這也是為什麼同一個問題問 LLM 兩次，得到的答案常常不完全一樣，模型不是每次都機械式挑機率最高的那個字，而是依機率去抽樣，運氣好抽到同一個答案，運氣不好就接出另一種說法。
只是在「猜下一個字」，為什麼能寫出這麼流暢的對話？
只是在算機率、猜下一個字，卻能寫出邏輯連貫、語氣自然，甚至陪你來回討論一個抽象問題的長篇對話，關鍵藏在兩個地方，一個是規模，一個是後續的訓練工序。
資料與參數的規模，才是真正的關鍵
「大型」這兩個字，具體大到什麼程度？AWS 的技術說明點出一個具體數字，OpenAI 的 GPT-3 模型有 1750 億個參數。訓練這種規模的模型，用的文字資料同樣是天文數字，IBM 的技術說明指出，訓練資料來自書籍、文章、網站、程式碼等來源，規模動輒數十億甚至數兆字。這個數字後來也被學術界正式記錄下來，Brown 等研究者 2020 年發表的論文《Language Models are Few-Shot Learners》，就是 GPT-3 這 1750 億參數的原始出處。
規模為什麼重要？當一個統計模型看過的資料量與參數數量，一路跨過某個門檻，原本只是零散、局部的語言規律，會開始疊加出更抽象的能力，像是掌握語法結構、累積常識性知識，甚至展現出簡單的推理模式。這是為什麼參數與資料規模，會被視為 LLM 表現好壞的關鍵變因，不是模型忽然開竅，而是統計規律疊加到一定量之後，湧現出來的效果。
預訓練之後，還要教會它「像人一樣說話」
只靠「預測下一個字」訓練出來的模型，業界通常稱為基礎模型（base model），它其實不見得會乖乖回答你的問題，甚至可能接出不恰當、偏離常軌的內容，畢竟它學到的只是「接龍接得順不順」，不是「怎麼樣的回答才叫得體」。Microsoft Azure 的技術說明把完整的訓練過程拆成三個階段：先收集大量資料，再用這批資料做預訓練，最後才進入微調（fine-tuning）。
真正讓 LLM 變成像 ChatGPT 這種能好好對話的助手，關鍵就在這個微調階段。IBM 的技術說明指出，工程師會先用少量、精心挑選的問答範例微調模型，接著再透過「人類回饋強化學習」（RLHF）進一步打磨，做法是讓人類對模型針對同一個問題給出的好幾種回答排序好壞，再拿這份排序結果去訓練模型，讓它學會什麼樣的回答比較符合人類期待。經過這兩層工序，一個原本只會接龍的野生模型，才真正變成一個懂得怎麼好好回話的對話助手。
為什麼 LLM 有時候會「一本正經胡說八道」？
理解了前面拆解的機制，再回頭看 LLM 最讓人頭痛的毛病，就容易懂多了。它有時候會一臉肯定，講出流暢卻不正確的內容，業界把這種現象叫「幻覺」（hallucination）。OpenAI 2025 年發布的官方研究，把這個問題拆成兩個成因來解釋。
第一個成因出在訓練資料本身。模型訓練時看過的海量文字裡，沒有任何一句話被標記「這是對的」或「這是錯的」，模型學到的只是語言的模式，像是什麼樣的句子讀起來通順、什麼樣的用詞搭配常見，而不是一套事實查核機制。OpenAI 的研究指出，即使訓練資料裡每一句話都是真的，模型還是會對資料裡沒出現過、或只出現過一次的冷門事實答錯，因為它從來沒有機會學會分辨自己是真的知道，還是只是接得順。
第二個成因，出在現行的評測方式。OpenAI 的研究把這個現象比喻成考試，多數評測方式對「答錯」和「誠實承認不知道」給一樣的分數，就跟考卷上空白和寫錯答案拿一樣的零分沒兩樣，模型自然學會傾向硬猜，而不是老實說「我不確定」，因為硬猜至少還有機會矇對，誠實承認不知道卻篤定拿不到分。
這也是為什麼幻覺不是機器故障，而是訓練機制與評測方式疊加出來的必然副產物，不是哪次更新就能徹底修好的問題。知道這一點，遇到 LLM 給的重要資訊，像是數字、法規、專有名詞，最實際的心態就是自己動手查證一次，而不是照單全收。
ChatGPT、Claude、Gemini，都是站在同一套技術原理上
市面上聽到的 ChatGPT、Claude、Gemini、Llama 這些名字，常常被當成互不相干的產品在討論，但拆開來看，它們背後其實都是同一個技術類別的具體實作，都是 LLM。IBM 的技術說明列出的實作範例裡，就包括 OpenAI 的 ChatGPT、Anthropic 的 Claude、Microsoft 的 Copilot、Meta 的 Llama，以及 Google 的 Gemini、BERT、PaLM 這幾個系列。
這些模型的原理，其實都逃不開前面幾節拆過的那套邏輯。先在海量文字上做預訓練，學會預測下一個字，再靠微調與對齊工序，把一個只會接龍的基礎模型，調教成能好好對話的助手。真正的差異，在於各家餵的訓練資料不同、參數規模不同、對齊的細節與應用介面不同，不是換了完全不同的原理重新發明一次。
除了各家的具體產品，業界也常用「開源」與「閉源」來粗略分類這些模型，開源模型會把訓練好的參數公開釋出，讓其他人下載、在自己的環境裡運行；閉源模型則多半只透過 API 服務對外開放，使用者拿不到底層的參數本身。AWS 的技術說明就提到，包括 GPT 系列、Claude、Jurassic-1、Command 在內的多家 LLM，都各自提供 API，讓開發者能拿它們去打造不同的生成式 AI 應用。理解了 LLM 的原理，再看這整片百花齊放的 AI 工具生態，底層邏輯其實都在講同一件事。
懂了 LLM 原理，實際上能怎麼運用？
把前面幾節拆開來看的機制收回來，對日常使用 LLM 最實際的幫助，大概可以收斂成三件事。
第一，既然 LLM 做的事情是「猜」下一個字，你給的提示脈絡越完整、問題講得越清楚，它猜對的機率自然越高。IBM 的技術說明指出，要讓一個通用型 LLM 給出貼近特定領域的答案，最快也最簡單的做法就是提示工程（prompt engineering），不需要額外訓練模型。與其鑽研什麼「神奇咒語」，不如把背景資訊、想要的格式、限制條件講清楚，效果反而更直接。
第二，因為它的本質是統計預測，不是事實查核機制，遇到重要的數字、法規、專有名詞，務必自己找一手來源核對一次，不能因為它講得順、講得自信，就直接照單全收。
第三，理解了它背後其實是規模化訓練出來的機率模型，面對「LLM 會不會忽然產生自我意識」這類討論，也能有比較冷靜的判斷，它每一次輸出，依然是根據訓練時學到的統計規律去猜下一個字，沒有一個開關會讓它忽然「醒過來」。
回到最開頭那個謎題，讓 ChatGPT 看起來像是「懂你」的，並不是什麼神秘的意識在運作，而是規模龐大到超乎想像的猜字工程，加上後續教它像人一樣好好說話的訓練工序疊加出來的結果。理解 LLM 大型語言模型這套機制，才能既放心運用它的能力，也不迷信它從不出錯。這套從預測下一個字出發的邏輯，正是後面所有更進階 AI 能力的起點。