北京商汤科技开发有限公司，北京市海淀区，100089；
摘要：深度网络已经构建了深度架构，表现出令人信服的准确性和良好的收敛行为。确实，增加网络深度可以提高性能，但这也会导致基于梯度的训练变得困难的问题，因为更深的网络往往更加非线性。在如此深的神经元网络中泛化预测的计算成本可能太高，无法让大量人员在现实生活中进行部署。为了便于部署，需要实施知识压缩技术，将知识从繁琐的网络压缩成简化模型。
在本报告中，将介绍知识蒸馏并将其应用于 MNIST 和 MHIST 数据集。相比之下，将实施早期停止方法，以看到 与传统知识蒸馏相比的改进。在 MHNIST 的实验中，将应用 迁移学习技术来了解具有微调泛化预测的预训练模型如何使用预 训练的 DOF 进行微调。
关键词：知识提炼；迁移学习；提前停止；KD；ESKD；XAI
参考文献
[1]张振伟.基于知识蒸馏的非侵入式负荷分解技术研究[D].吉林化工学院,2024.
[2]潘海为,于丰铭,张可佳,等.面向视觉算法的知识蒸馏研究综述[J].计算机研究与发展, 2025, 62:1-33.DOI:10.7544/issn1000-1239.202440694.
[3]贺才郡,李开成,董宇飞,等.基于知识蒸馏与RP-MobileNetV3的电能质量复合扰动识别[J].电力系统保护与控制, 2023, 51(14):75-84.
