小模型也能做 RAG:7B 的知识库问答实践
本地 7B 模型配合良好的检索,知识库问答效果超出预期。
检索承担主要工作
RAG 的效果大头在检索侧。检索精准时,7B 模型的总结与归纳能力完全够用。
提示词要适配
小模型的指令遵循能力较弱,提示词要更简洁明确,输出格式要求要更克制。
成本优势明显
本地 7B 的边际成本趋近于零,适合高频内部使用与隐私敏感场景。
DISCUSSION
文章讨论
0 条评论
本地 7B 模型配合良好的检索,知识库问答效果超出预期。
RAG 的效果大头在检索侧。检索精准时,7B 模型的总结与归纳能力完全够用。
小模型的指令遵循能力较弱,提示词要更简洁明确,输出格式要求要更克制。
本地 7B 的边际成本趋近于零,适合高频内部使用与隐私敏感场景。
0 条评论