
上下文視窗怎麼變大?模型擴充上下文視窗的方法
上下文視窗怎麼變大?從位置表示、長文訓練與運算效率理解模型擴窗,分清摘要、檢索與上下文視窗容量的差別,核對跨段條件。

上下文視窗怎麼變大?從位置表示、長文訓練與運算效率理解模型擴窗,分清摘要、檢索與上下文視窗容量的差別,核對跨段條件。

結構化輸出讓 AI 依指定欄位與資料格式回覆。用燕麥餅乾訂單,逐項看懂 JSON、欄位規格與空值,分清提示要求和工具約束,並理解為什麼格式正確,品名、數量與日期仍要核對。

微調是在已有模型上,用特定任務資料做額外訓練。從客服信與期望分類的配對例子,看懂它和提示詞、RAG 的差別,以及為什麼學會分類不代表知道最新訂單,也不保證每封信都分對。

Transformer 模型是一種安排資訊如何處理的設計。用 bank 的銀行與河岸兩種意思,理解上下文、自注意力,以及輸入處理和逐步生成的差別;注意力是一種計算機制,不能直接當成人的理解或意識。

向量資料庫怎麼幫 AI 找資料?用三份虛構食譜,理解相似搜尋和條件篩選的不同,也分清 Embedding、向量資料庫與 RAG 的角色。

Embedding 和語意向量是什麼?從「不用報名」與「免事先登記」等例子,理解 AI 如何找意思相關的文字,以及為何相似不代表答案相同。

RAG 就是先找資料再回答嗎?用社區閱覽室手冊的完整例子,理解檢索增強生成的流程、和模型訓練的不同,以及有來源仍可能答錯的原因。

思維樹 ToT 如何比較不同解題方向?用九十分鐘安排兩個活動的完整例子,看懂保留選項、排除錯路與回頭重選。

測試時計算不是考試。用兩家商店的含運費比較,理解 AI 回答當下增加運算的用途,以及為何想得久、寫得長不保證正確。