联邦学习与大模型:数据不出门的训练
联邦学习让模型在数据本地训练、只交换参数更新——隐私敏感场景的训练方案。
联邦的原理
模型参数下发到数据持有方,本地训练后只上传参数更新(不传数据),中心聚合更新。数据全程不出本地。
与大模型的结合
医疗、金融等数据孤岛场景的联合建模;端侧模型的个性化更新(手机键盘的本地学习)。
工程挑战
通信成本、异构数据的分布差异、参与方的可信度。联邦学习不是免费午餐,工程复杂度显著高于集中训练。
DISCUSSION
文章讨论
0 条评论
联邦学习让模型在数据本地训练、只交换参数更新——隐私敏感场景的训练方案。
模型参数下发到数据持有方,本地训练后只上传参数更新(不传数据),中心聚合更新。数据全程不出本地。
医疗、金融等数据孤岛场景的联合建模;端侧模型的个性化更新(手机键盘的本地学习)。
通信成本、异构数据的分布差异、参与方的可信度。联邦学习不是免费午餐,工程复杂度显著高于集中训练。
0 条评论