技术与工程已解决
长文本摘要的策略:Map-Reduce 与 Refine
超出上下文的长文档摘要,两种经典策略的原理、成本与质量对比。
问题正文
Map-Reduce 策略
把长文档切块,每块独立摘要(Map),再把所有摘要合并成最终摘要(Reduce)。并行处理速度快,但块与块之间的上下文关联会丢失。
Refine 策略
顺序处理:先摘要第一块,然后把摘要与第二块一起再摘要,滚动式精炼。保留了跨块上下文,但串行处理慢,且早期内容的影响会衰减。
迭代精炼策略
先做一轮粗摘要判断文档结构,再针对重点章节做精细摘要。质量最高,成本也最高,适合重要文档。
