P2 · 辨識即可
生成式 AI
上下文視窗 (Context Window)
是什麼
上下文視窗是模型單次能處理的最大 Token 數量，提示、對話歷史、檢索文件與模型輸出都要算在內；超出上限的內容，模型就看不到。
解決什麼問題
決定一次能放進多少資訊；但即使沒超過上限，內容太長時模型也可能抓不到前面的關鍵資訊。
考場 Trigger
- 可處理的最大 Token 數
- 上下文長度上限
- 對話越長→越容易忘記前文
容易搞混
大型語言模型的 Token上下文噪音Memory as Context
初級深度
看到名稱能辨識其類型與主要用途即可。