长上下文的实测:窗口大不等于用得好
从大海捞针到多跳推理,长上下文的有效使用率需要重新审视。
跑分与现实的差距
大海捞针测试近乎满分,但多跳推理(综合分散信息得出结论)的表现随上下文长度显著衰减。
成本与延迟
长输入的推理成本超线性增长,响应时间也不适合交互场景。长上下文不是免费的。
工程结论
RAG 加精选上下文仍然优于全量塞入。长窗口的正确用法是处理被选中的复杂材料。
DISCUSSION
文章讨论
0 条评论
从大海捞针到多跳推理,长上下文的有效使用率需要重新审视。
大海捞针测试近乎满分,但多跳推理(综合分散信息得出结论)的表现随上下文长度显著衰减。
长输入的推理成本超线性增长,响应时间也不适合交互场景。长上下文不是免费的。
RAG 加精选上下文仍然优于全量塞入。长窗口的正确用法是处理被选中的复杂材料。
0 条评论