技术与工程已解决
Token 预算分配:上下文里的经济学
系统提示词、检索资料、历史对话、输出预留——有限 Token 怎么花在最值的地方。
问题正文
预算的分配原则
与任务目标直接相关的内容优先;确定性高的内容(系统规则)可以压缩;重复冗余的内容坚决清除。每一块 Token 都要回答它对回答质量的边际贡献是什么。
典型分配示例
以 16K 窗口为例:系统提示词 1K、检索资料 8K、历史对话 3K、输出预留 4K。比例因任务而异,但预留输出空间经常被忘记——输出被截断是最常见的翻车。
动态调整
检索资料的相关性得分决定它占多少 Token:高分多给,低分少给或不给。预算随输入动态分配,而非固定切分。
