【12】机器学习算法面试八股

211为什么Lasso可以筛选变量?

L1是模型各个参数的绝对值之和∣w⃗∣0,那么对目标函数经过优化后,一部分参数会变为0,另一部分参数为非零实值。这样就起到了筛选特征的作用。

212L1正则化为什么能缓解过拟合

过拟合是由于特征过多,L1可以筛选特征,所以能够缓解过拟合

213BN+CONV融合公式及作用

网络完成训练后,在inference阶段,为了加速运算,通常将卷积层和BN层进行融合

214 初始化方法

• 全0初始化,就是将所有权重置0。当然是不能这样的,神经网络通过梯度更新参数,参数都是0,梯度也就是0,神经网络就停止学习了。• 随机初始化将参数随机化,不过随机参数服从高斯分布或均匀分布。高斯分布均值为0,方差为1。0.001为控制因子,这样使得参数期望尽量接近0Xavier初始化随机初始化没有控制方差,所以对于深层网络而言,随机初始化方法依然可能失效。理想的参数初始化还得控制方差,对w进行一个规范化。“Xavier初始化”维持了输入输出数据分布方差一致性。He初始化对于非线性激活函数ReLU,“Xavier初始化”方法失效。因此He初始化,在Xavier的基础上,假设每层网络有一半的神经元被关闭,于是其分布的方差也会变小。经过验证发现当对初始化值缩小一半时效果最好,故He初始化可以认为是Xavier初始 / 2的结果。

215什么是网络参数初始化

神经网络在训练时,前向传播和反向传播都涉及到每个神经元的权重更新wi,也就是我们说的网络参数了,当然这些参数需要一个初始值。方法有很多,全0初始、随机初始等等,每个方法都有优缺点。

216为什么需要合理的参数初始化

理想的网络参数初始化使得模型训练事半功倍,相反,糟糕的初始化可能导致网络梯度消失和梯度爆炸。ReLU,如果初始化不合理,前向运算的结果可能全部为负,发生“死区”现象。再简单说,就是参数又不能过大,又不能过小。比如在前向传播过程中输出为h(wx+b),因为w很小,所以输出很小,同时反向传播过程中梯度的变化也很小,那么参数的改变也很小,在不断的正向传播乘很小的数,反向传播又几乎不变的情况下,最后w会越来越小,趋近于0,出现梯度消失。反之同理。最理想化的参数初始化经过多层网络后,信号不被过分放大或过分减弱。使每层网络的输入和输出的方差一致。然后我们还要尽量保证每层网络参数分布均值为0,加快训练;计算方便。

217网络参数初始化为0可以吗?

将所有权重置0。当然是不能这样的,神经网络通过梯度更新参数,参数都是0,梯度也就是0,神经网络就停止学习了。

218随机初始化参数有什么问题?

随机初始化没有控制方差,所以对于深层网络而言,随机初始化方法依然可能失效。理想的参数初始化还得控制方差,对w进行一个规范化

219手推梯度消失和梯度爆炸问题

220怎么缓解梯度消失

  1. 使用合理的参数初始化方案,如He初始化
  2. 使用 ReLU、LReLU、ELU、maxout 等激活函数
  3. 使用批规范化BN
  4. 残差结构
  5. 预训练加微调
  6. 梯度剪切

221梯度消失的根本原因

我们神经网络中的初始权值也一般是小于 1 的数,所以相当于公式中是多个小于 1 的数在不断的相乘,导致乘积和还很小。如果层数不断增多,乘积和会越来越趋近于 0,以至于当层数过多的时候,最底层的梯度会趋近于 0,无法进行更新,并且 Sigmoid 函数也会因为初始权值过小而趋近于 0,导致斜率趋近于 0,也导致了无法更新。

222说说归一化方法

更正:标准差不是方差

223为什么要归一化

1)归一化后加快了梯度下降求最优解的速度2)归一化有可能提高精度

224评价指标

机器学习中的评价指标TP、FP、FN、TN分别为真阳性、假阳性和假阴性、真阴性

225Precision和Recall的应用场景:

地震的预测 对于地震的预测,我们希望的是Recall非常高,嫌疑人定罪基于不错怪一个好人的原则我们希望的是precision非常高,有的场景我们希望Precision和Recall都最大。所以我们需要一个综合评价两者的指标:F1-score

226AUC是什么?AUC是否对正负样本比例敏感?不敏感

227分类模型如何评价

有几个指标:

  1. Accuracy:即所有分类正确的样本占全部样本的比例
  2. Precision:查准率。
  3. Recall:查全率
  4. F1-score:衡量Precision和Recall之间的联系
  5. AUC 值为 ROC 曲线所覆盖的区域面积,显然,AUC越大,分类器分类效果越好。

228准确率与精准率的区别

229AUC的意义和两种计算方法

230讲讲分类,回归,推荐,搜索的评价指标

1. 分类指标有几个指标:

  1. Accuracy:即所有分类正确的样本占全部样本的比例
  2. Precision:查准率。
  3. Recall:查全率
  4. F1-score:衡量Precision和Recall之间的联系
  5. AUC 值为 ROC 曲线所覆盖的区域面积,显然,AUC越大,分类器分类效果越好。 2. 回归指标(我们在讲损失函数的时候讲过,不再赘述) 有几个指标:
  6. 均方误差(MSE):
  7. 均方根误差(RMSE)
  8. MAE(平均绝对误差)
  9. R Squared:确定系数:相关系数平方 3. 推荐任务评价指标: 离线评估 offline evaluation
  10. 评分预测 对于评分预测模型:训练数据集训练好数据,测试数据集预测用户对物品的评分。评价指标:MAE和RMSE
  11. 对于Top N模型:对排名进行评估。评价指标:准确率,召回率,F1 在线评估 online evaluatuion
  12. A/B test 将用户划分为A,B两组,A实验组用户,接受所设计的推荐算法推荐的商品,B对照组用户,接受基线方法推荐的商品。通过对比两组用户的行为来评估推荐算法的性能。 CTR:用户点击率,通过该算法计算出的被点击的项目占推荐项目总数的百分比 CR:用户转化率,用户购买的项目占被点击的项目的比率。 4. 搜索任务评价指标 Accuracy、Precision、Recall、AUC、P-R曲线

更多校园招聘常见面试问题(开发、算法、编程题目)参见CSDN博客:http://t.csdn.cn/V4qbH

欢迎关注、收藏、点赞后进行问题咨询及秋招建议!

#数据人的面试交流地##我发现了面试通关密码##23届找工作求助阵地##如何判断面试是否凉了##我的求职思考#
机器学习算法面经 文章被收录于专栏

介绍秋招面试过程中对机器学习算法、数据挖掘、python语言、C++语言、数据结构的面试题目和基础总结

全部评论
火了戳我,前排
点赞 回复 分享
发布于 2024-02-21 09:48 山东

相关推荐

最近群里有很多同学找我看简历,问问题,主要就是集中在明年三月份的暑期,我暑期还能进大厂嘛?我接下来该怎么做?对于我来说,我对于双非找实习的一个暴论就是title永远大于业务,你在大厂随随便便做点慢SQL治理加个索引,可能就能影响几千人,在小厂你从零到一搭建的系统可能只有几十个人在使用,量级是不一样的。对双非来说,最难的就是约面,怎么才能被大厂约面试?首先这需要一点运气,另外你也需要好的实习带给你的背书。有很多双非的同学在一些外包小厂待了四五个月,这样的产出有什么用呢?工厂的可视化大屏业务很广泛?产出无疑是重要的,但是得当你的实习公司到了一定的档次之后,比如你想走后端,那么中厂后端和大厂测开的选择,你可以选择中厂后端(注意,这里的中厂也得是一些人都知道的,比如哈啰,得物,b站之类,不是说人数超过500就叫中厂),只有这个时候你再去好好关注你的产出,要不就无脑大厂就完了。很多双非同学的误区就在这里,找到一份实习之后,就认为自己达到了阶段性的任务,根本不再投递简历,也不再提升自己,玩了几个月之后,美其名曰沉淀产出,真正的好产出能有多少呢?而实际上双非同学的第一份实习大部分都是工厂外包和政府外包!根本无产出可写😡😡😡!到了最后才发现晚了,所以对双非同学来说,不要放过任何一个从小到中,从中到大的机会,你得先有好的平台与title之后再考虑你的产出!因为那样你才将将能过了HR初筛!我认识一个双非同学,从浪潮到海康,每一段都呆不久,因为他在不断的投递和提升自己,最后去了美团,这才是双非应该做的,而我相信大部分的双非同学,在找到浪潮的那一刻就再也不会看八股,写算法,也不会打开ssob了,这才是你跟别人的差距。
迷茫的大四🐶:我也这样认为,title永远第一,只有名气大,才有人愿意了解你的简历
双非本科求职如何逆袭
点赞 评论 收藏
分享
评论
2
30
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务