什么是模型蒸馏？

蒸馏的原理

用大模型生成大量高质量的输入输出对（或者直接用它的概率分布），再用这些数据训练小模型。相当于让学霸把解题过程写下来给学弟练习。

为什么重要

蒸馏让大模型的能力以极低的成本下沉到小模型。端侧 AI、低成本 API 背后，大量使用了蒸馏技术。

边界

小模型蒸馏后接近大模型在特定任务上的表现，但通用的洞察力和创造力无法被完全蒸馏。