在互联网大厂算法岗的面试环节中，深度学习相关八股文的重要性早已无需多言。算法岗面试八股文看似是一个大家"背答案，对于记忆力的比拼"，但实际上却是互联网大厂面试官考察候选人知识体系完整性和基础知识掌握扎实程度最直接、有效的方式！因此八股文在面试中的重要性不言而喻。

大家在求职过程中会发现，当下很多大厂算法岗面试八股文资料杂乱无章，不成体系，需要花费大量的时间和精力进行整理，耽误求职复习进度。本深度学习算法岗求职八股文专栏将互联网大厂面试中的高频八股知识点进行了汇总和梳理，并且附带参考答案。助力大家在求职面试前打下扎实的基础功底，面试过程中游刃有余！

本文是《深度学习算法岗求职八股文专栏》 中【深度学习】高频考点系列的第六篇文章，整理了面试过程中深度学习的高频考点，并且附带参考答案。

如果我的文章和专栏内容对屏幕前的你求职和实习有帮助的话，欢迎关注我，并对文章点赞、评论、收藏、送花，一键四连~

本专栏将持续更新，订阅我的专栏可以及时查看最新的更新内容！你们的鼓励就是我持续输出的强大动力，非常感谢！

一、什么是混合精度训练？

在我们训练深度学习模型时，模型的权重、梯度、激活值等数据，都以"浮点数"的形式存储和计算，而"精度"对应浮点数的存储位数，而这直接决定了数值的表示范围和精度。

（1）单精度（FP32）：32 位浮点数，是深度学习训练的传统默认格式

• 它能精确表示较大范围的数值，精度足够高，但缺点是占用内存大、计算速度慢

（2）半精度（FP16）：16 位浮点数，是混合精度训练中最常用的低精度格式

• 它的存储位数仅为 FP32 的一半，因此内存占用少、计算速度快
• 但缺点是数值范围小、精度低，容易出现 "数值下溢"（如梯度太小被舍入为 0）或"数值上溢"（如激活值太大超出表示范围），导致模型训练失败或精度下降

因此混合