https://m1yan.github.io/tags/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F/ Recent content in 知识蒸馏 on M1YAN's Blog https://m1yan.github.io/images/papermod-cover.png https://m1yan.github.io/images/papermod-cover.png Hugo -- 0.163.3 zh M1Yan&rsquo;s Blog Fri, 03 Jul 2026 00:00:00 +0000 https://m1yan.github.io/posts/on_policy_distillation/ Fri, 03 Jul 2026 00:00:00 +0000 https://m1yan.github.io/posts/on_policy_distillation/ <blockquote> <p>本文综合了 <a href="https://thinkingmachines.ai/blog/on-policy-distillation/">Thinking Machines Lab 的 On-Policy Distillation 博客</a> 与 OPD 前沿技术综述的内容，系统梳理同策略蒸馏（OPD）的核心原理、工业实践与最新算法进展。</p> </blockquote> <p>大语言模型的能力并非一蹴而就——它们通常经历三个训练阶段：<strong>预训练（Pre-training）</strong> 教会模型语言理解与世界知识；<strong>中间训练（Mid-training）</strong> 注入领域知识；<strong>后训练（Post-training）</strong> 引导出指令遵循、数学推理或对话等目标行为。后训练是将基础模型变成有用工具的关键一步，而同策略蒸馏（On-Policy Distillation, OPD）正在以更高的样本效率和更密集的监督信号，重新定义这一阶段的范式。</p>