数据集不均衡带来的问题 首先我们考虑一个二分类问题，比如区分一张图片里的是一只猫还是一只狗。若数据搜集的时候只找到了1000张猫的图片和40000张狗的图片作为训练集。如果直接把这41000张图片放在一起，然后用mini-batch的方法进行训练，就会出现==数据不均衡==的问题。 比如每次迭代的样本数量为100个，那么平均下来每次样本中猫的数量通常只有1、2个。这样的结果是计算损失函数时，狗的图片比重太大，所以相当于是针对狗的图片进行了充分的训练。猫的图片带来的损失的影响很小，所以猫的特征就并不容易被学习到，这会影响分类器的最终性能（可能猫无法被识别）。 所以在实际工程中或是实验中，我们必须...

ROC和AUC ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。 ROC曲线的面积就是AUC（Area Under Curve）。 AUC用于衡量二分类问题机器学习算法的性能（泛化能力）。 ROC曲线，通过将连续变量设定出多个不同的临界值，从而计算出一系列正真率和假正率，再以假正率为横坐标、正真率为纵坐标绘制成曲线，曲线下面积越大，表示准确率越高。在ROC曲线上，最靠近坐标图左上方的点为真正率和假正率均较高的临界值。 如下图所示：  其中， FPR（False Positive Rate）公式：。 TPR（True Positive Rat...

一.误差、偏差和方差的理解 我们衡量一个机器学习算法是否好的时候，最直接的方法是衡量算法预测和测量数据的误差。比如对于训练数据，损失函数就是衡量这种误差的方法。 训练一个神经网络时，损失函数降到一个非常小的值，我们说网络很好地收敛了。然而当网络训练好以后，是否能对训练数据以外的数据也做出很好的预测呢？其实这才是更看重的指标，这种对训练数据以外数据做出准确预测的能力称为泛化（generalization）能力。 接下来我们先介绍误差、偏差和方差的相关知识： 误差 误差（Error）：一般地，我们把机器学习的实际预测输出与样本的真实输出之间的差异称为“误差”。 误差（Error） = 偏差（Bia...

最近有很多感悟。结合任正非先生和马斯克先生的一些讲话，我对AI行业的未来有了更多的思考和理解，分享给大家，与大家共勉～1. 大环境的经济变化，国际局势变化都会影响到每个人的生活，宏观的逻辑这么直接的影响着我们，这也是我第一次有这么深刻的感受。我们该怎么做呢？为未来做准备，沉淀成长自己，在这个周期的前期让自己变得更强大；保持现金流的稳定与安全，是度过危机和给自己安全感的必要支撑。2. AI行业一直说要赋能各行各业，但我觉得从今年开始，AI才会真正开始全力落地，因为各个公司都开始追求现金流，利润，降本增效；而不是之前那样，只烧钱发paper。3. 广积粮，筑高墙。我相信我们通过不断的认知迭代；并扩展我们思考的深度，广度以及跨界性；最后在提升自己综合能力的基础上，去进入这个周期里的增量行业以及领域，会是一个可持续和踏实的逻辑。

机器学习中通常根据数据是否有标签可以分为监督学习(supervised learning)、非监督学习(unsupervised learning) 和半监督学习(semi-supervised learning)。如果需要算法与环境交互获得数据则是强化学习(reinforcement learning)。 一.监督学习 监督学习的意思就是用来训练网络的数据，我们已经知道其对应的输出，这个输出可以是一个类别标签，也可以是一个或者多个值。模型经过训练以后，遇到新来的数据，可以预测对应的标签或者值。 ==监督学习是最常见的应用，已知标签的分类和回归问题都属于监督学习。== 二.非监督学习 非监督学...

逻辑回归是用在分类问题中的典型算法。 来考虑简单的二分类问题，我们进行一整套的代码流程学习： 步骤一：生成模拟的数据集 为了编写代码模拟二分类任务，我们的第一步工作是先生成用于测试的数据集。首先看下生成的用于模拟的数据集长得样子，它有两个特征w1，w2组成，共有200个样本点，现在的任务是要对这个数据集进行分类。  下面介绍，如何用梯度下降法，求出两个特征对应的权重参数，进而能正确的预测，当一个新的样本点来的时候，能预测出属于0类，还是1类。 步骤二：梯度下降求权重参数 设定一个学习率迭代参数，当上一次迭代的损失函数与当前的损失函数的差小于阈值时，计算结束，我们将得到3个权重参数，其中包括两个...

梯度爆炸和梯度消失问题 一般在深层神经网络中，我们需要预防梯度爆炸和梯度消失的情况。 梯度消失（gradient vanishing problem）和梯度爆炸（gradient exploding problem）一般随着网络层数的增加会变得越来越明显。 例如下面所示的含有三个隐藏层的神经网络，梯度消失问题发生时，接近输出层的hiden layer3的权重更新比较正常，但是前面的hidden layer1的权重更新会变得很慢，导致前面的权重几乎不变，仍然接近初始化的权重，==这相当于hidden layer1没有学到任何东西，此时深层网络只有后面的几层网络在学习，而且网络在实际上也等价变成了...

K折交叉验证的作用 当有多个不同的模型（结构不同、超参数不同等）可以选择时，我们通过K折交叉验证来选取对于特定数据集最好的模型。 K折交叉验证的流程  将含有N个样本的数据集，分成K份，每份含有个样本。选择其中一份作为验证集，另外K-1份作为训练集，测试集就有K种情况。 在每种情况中，用训练集训练模型，用验证集测试模型，计算模型的泛化误差。 交叉验证重复K次，平均K次的结果作为模型最终的泛化误差。 K的取值一般在【2，10】之间。K折交叉验证的优势在于，同时重复运用随机产生的子样本进行训练和验证，10折交叉验证是最常用的。 训练集中样本数量要足够多，一般至少大于总样本数的50%。 训练集和验证...

首先我们先上一个整体的公式： 混淆矩阵    真实情况 T或F 预测为正1，P 预测为负0，N    本来的label为1，则预测结果正的话为T，负的话为F TP（正样本预测为正） FN（正样本预测为假）   -- -- --   本来label为0，则预测结果正的话为T，负的话为F FP（负样本预测为正） TN（负样本预测为负）   混淆矩阵可以清楚的看出错判的样本，以便后续训练重视。 混淆矩阵中的相关名词也是我们后面要将的几个评价指标的重要变量。 Error Rate（错误率）和Accuracy（准确率） Error Rate（错误率）：分类错误的样本数占样本总数的比例。 公式： Accu...

我老家在温州，自己大学加研究生6年半在北京度过，实习也在上海呆过半年，最后毕业找工作的时候，也收到了很多北京，上海和杭州的offer，最后思索再三，还是决定去杭州发展了。当时对自己思考的压迫很强，因为我觉得就和大学选择城市，再选学校一样，工作选择城市也是非常重要的，特别是当时2020年疫情已经发生的背景下。当时我的判断逻辑如下：离家近。杭州作为浙江的省会，人文环境与风俗习惯我会比较容易适应，我也认为杭州有足够的势能可以持续发展，我也有意愿回到浙江，在浙江工作生活。将城市与自己进行适配。我在北京创业多次，我深深地感受到社会是一个复杂系统，不能单单只有学生的应试考试思维，更多要对城市有全面的审视。北上广深足够繁荣，甚至与杭州相比依然有更强的势能，但是那些繁华能与你相匹配吗？这是需要思考的。毕业是住朝阳大悦城附近还是租北六环南六环？也是需要思考的。不同的人在同样的年龄却会在不同的发展阶段中，不同的发展阶段可以使用的城市的势能也是不一样的。我认为我更适合杭州的势能，我觉得我能更快的去融入，从容。大环境因素。疫情对我们的生活造成了一定的影响，要是远在北京或者外省，不同省份的政策都会不同，会对出行生活造成一定的不便。而我也相信杭州的疫情防控能力与办事效率，这一点在我来杭州之后也更加的肯定了。个人因素。女朋友是杭州人，她虽然愿意和我去北京或者上海，但是还是觉得杭州的体量对现阶段的我们来说是足够的，我们能够在杭州成长学习沉淀。现在来杭州已经一年半了，回过头来看，我当时的一些判断和思考还是准确的。疫情还是在反反复复，我们可以在浙江省内持续成长，而不一定要跨省出行。整个经济环境发生变化，国际局势风雨变幻，乌俄冲突，互联网进入后半场以及互联网底层逻辑彻底改变等，都影响着我们生活的方方面面，这时很多留在北京和上海的同学和朋友们，很多人也开始从互联网公司毕业，开始更踏实的思考，很多人回到了家乡考公等。很多决策与判断，都需要1-2年的时间才能有效复盘和回顾，我也会持续思考与成长，尽量优化这个时间周期。

一.集成学习(Ensemble)介绍 集成学习也称为模型融合(Model Ensemble)。是一种有效提升机器学习效果的方法。不同于传统的机器学习方法在训练集上构建一个模型，集成学习通过构建并融合多个模型来完成学习任务。 首先我们通过下图的一个例子来介绍集成的基本概念，下图是一个二分类问题。 图中的数据均是测试数据，a、b、c分别是三个不同模型在测试集上的分类结果。需要注意的是，一般在做集成的时候，相同模型结构的不同参数是比较常见的情况(同质模型融合(Homogeneous Model Ensemble))。但是不能死板，我们也可以把不同模型甚至完全不同的算法做集成学习(异质模型融合(Het...

一.MTCNN工作流程图 首先我们看一下MTCNN的工作流程图：  ==注意：训练阶段使用的图片都是去训练P-Net，而在inference的时候，图像大小不受限制。== 图像金字塔的作用：可以进行不同大小的人头的推理，达到尺度不变性。 二.MTCNN的模型结构 MTCNN模型有三个子网络。 分别是P-Net，R-Net，O-Net。  Proposal Network（P-Net）：该网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制（NMS）来合并高度重合的候选框。 Refine network（R-Net）：该网络结构还是...

写在前面          在【时光的礼物】本栏目中，我是个讲故事的人，本文将要讲述的是14年代末至21年代初时光里的故事。      着眼于当下，展望向未来，但昨天已永远走过。   so，enjoy：       时光倒回  2021年1月份，高博士送我出校门，车离开城府路口南往学院桥行驶。 我还是下意识的回头看了一眼学校。是的，我看到了洒落满地的阳光和“为中华之崛起”。 2020年初的疫情让最后两个学期支离破碎。长时间的呆在家里远程科研，终于让我在7月的某个晚上，梦见了五道口，我就那样走着走着，时而白天，时而夜晚，最爱的旋律好像就在不远处。  2020年的9月份，我已经研三了，准备回北京的...

写在前面       【R言R语】栏目专注于分享我的一些思考。关于算法行业的思考，将是本栏目的核心，除此之外，对其他有价值事物的思考也会在这个栏目中呈现，欢迎大家一起交流学习       大家好，我是Rocky。   前几天刚完成了晋升答辩，我也借此机会回顾了自己的入职以来所做的工作，沉淀了很多思考，总结了自己需要继续提升的地方，以及后续的规划。       但本文除了分享这些方面的内容，还想和大家聊聊关于算法工程师如何成长的一些思考与观点。（仅代表我一家之言，有浓厚的个人印记）   So，enjoy：   干货篇    ----【目录先行】----   第一章：对算法岗的理解   第二章：算...