什么是 LoRA 微调？

LoRA 的思路

不去改动模型的全部权重，而是在旁边挂一个很小的补丁矩阵进行训练。原模型冻结不动，训练量只有全量微调的千分之一级别。

为什么它重要

70B 模型的全量微调需要多卡集群，而 LoRA 让单张消费级显卡就能完成。训练出的补丁文件只有几十 MB，可以按任务随时切换。

实操路径

准备几百到几千条高质量样本，选定基座模型，用社区工具训练 LoRA，合并或挂载推理，最后用真实业务数据评估效果。