Transformer 模型是什麼？從一句話看懂上下文關係

Transformer 模型採用一種以「注意力」為核心的資訊處理設計，讓模型在處理某個文字位置時，能參考其他位置的相關資訊。這裡的注意力是計算機制，並不是人的專心。你可以先從一個經驗理解它要處理的問題：同一個詞放在不同句子裡，意思可能不同。

本文用一個詞的兩種意思，帶你看懂上下文如何提供線索，再說明架構、模型與聊天畫面的差別，不需要先學公式。

Transformer 模型指的是哪一層設計？

「架構」是安排模型如何處理資訊的設計。依這種設計，經過資料訓練，才會得到能實際運作的模型。你在手機或電腦看到的聊天畫面，則是產品讓人輸入問題、讀取回答的介面。

因此，Transformer 模型說的是模型所採用的一類設計，不是某個聊天視窗的名字，也不等於整個人工智慧領域。產品介紹提到這個詞，可以提供一個技術線索，卻沒有直接告訴你答案會有多準。

理解 Transformer 模型時，可以依序分開三層：資訊怎麼處理、訓練後實際會做什麼、使用者透過什麼介面使用。這是概念區分，不是在揭露某個聊天產品的完整內部設計。

一句話的前後線索，怎麼幫忙判斷意思？

「上下文」就是同一段內容中，能幫忙判斷意思的前後資訊。例如英文 bank 可以指「銀行」，也可以指「河岸」。只看到這個詞，不一定知道句子想說哪一個。

看兩個簡化句子：「他去 bank 提款」和「他在 river 旁的 bank 散步」。第一句的「提款」讓人想到銀行；第二句的 river 是「河流」，加上「在旁邊散步」，就提供了河岸的線索。這是中英混合的教學示意，不是自然英文寫作範例，也不是模型實測。

Transformer 模型想利用的，正是這類位置與位置之間的相關資訊。Google 原研究團隊的說明也用 bank 的含義，展示前後線索對文字處理的作用。

Transformer 模型如何把同句線索連起來？

模型處理文字前，會把文字分成可計算的片段；一個片段未必剛好是一個字或一整個詞。為了看懂原理，我們暫時用 bank 和 river 這樣的完整詞來說明。

模型內部會把每個片段轉成可計算的數值，用來表示它的資訊。處理 bank 所在的位置時，可以把 river 等其他位置的資訊一起納入，更新 bank 位置的數值表示，讓同一個詞在不同句子裡不必只有同一種表示。

Transformer 模型中的這種機制叫作自注意力：「自」指參考同一段內容中的資訊；「注意力」是在計算哪些資訊如何參與這次處理。它不是把字典裡的第一個意思直接貼上去，也不保證每個含糊句子都能判對。

沿著第二個例子，輸入包含 bank 與 river；相關資訊參與計算後，bank 的表示可以帶入河流情境的線索，供後續文字處理使用。這條說明幫你理解 Transformer 模型如何利用上下文，並沒有宣稱某個實際模型必定把這句話翻譯正確。

能同時處理輸入，為什麼回答還是逐步出現？

2017 年的《Attention Is All You Need》提出以注意力為核心的 Transformer 架構。注意力技術在此前已有研究；這篇論文不是所有注意力方法的起點。

以原始的翻譯架構為例，Transformer 模型的輸入部分可以平行處理多個文字位置。「平行」就是多個位置的計算可以同時進行，不必把它想成一個位置完全處理完，下一個位置才開始。

但生成譯文是另一件事：輸出仍逐步產生，後續內容會接著已生成的內容往下走。因此，Transformer 模型可以同時處理輸入中的多個位置，不等於它一次就把完整答案全部生成好了。

不同變體對能參考哪些位置有不同限制。理解 Transformer 模型時，要分清楚正在說輸入處理還是輸出生成，不能把原始翻譯架構的一個特徵套到所有後來的系統。

Transformer 模型的注意力，能證明它懂了嗎？

注意力描述的是資訊如何參與計算，不能直接換成「它像人一樣專心、思考或有感受」。同樣地，看出 bank 與 river 有關，也不等於每次都能解開所有歧義。

對使用者來說，Transformer 模型提供的是理解處理方式的線索。你仍要看工具在實際任務上的答案，核對容易出錯的內容；只知道架構名稱，無法推出某個產品的完整能力或可靠性。

同一個詞，要放回句子裡處理

Transformer 模型的重要想法，是讓某個位置的資訊能結合同段內容的線索。記住 bank 可以是銀行或河岸，你就能理解為什麼前後文有用；再記住注意力是計算機制，就比較不會把技術名稱誤當成理解能力的保證。