上下文窗口是什么意思？越长越好吗？

什么是上下文窗口

上下文窗口是模型一次调用能处理的 Token 总量上限，包括系统提示词、历史对话、参考资料和模型自己的回答。超出窗口的内容，模型就看不见了。

长上下文的代价

窗口越长，计算成本越高、响应越慢，而且大海捞针式的中间信息召回率会下降。128K 窗口不等于模型能完美利用 128K 里的每一条信息。

工程上的正确姿势

优先做检索和裁剪，把最相关的内容放进窗口，而不是无脑堆长上下文。上下文工程的核心就是：在有限的窗口里放入最值钱的 Token。