小数据场景的迁移学习:没有大数据也能做 AI
预训练加微调的范式让小数据场景也能构建可用的模型——迁移学习是普惠的关键。
范式的红利
预训练模型已经学到了通用表示,下游任务只需要少量数据微调。百级样本就能定制一个可用的分类器。
少样本技术
提示学习、上下文学习、参数高效微调(LoRA),让小数据场景的技术选项越来越多。
适用判断
任务与预训练分布越接近,需要的数据越少。完全新异的信号(特殊传感器数据)仍然需要领域数据积累。
DISCUSSION
文章讨论
0 条评论
预训练加微调的范式让小数据场景也能构建可用的模型——迁移学习是普惠的关键。
预训练模型已经学到了通用表示,下游任务只需要少量数据微调。百级样本就能定制一个可用的分类器。
提示学习、上下文学习、参数高效微调(LoRA),让小数据场景的技术选项越来越多。
任务与预训练分布越接近,需要的数据越少。完全新异的信号(特殊传感器数据)仍然需要领域数据积累。
0 条评论