前言

大家好，我是鬼仔。今天带来《机器学习高频面试题详解》专栏第1.2节：逻辑回归，因为内容比较多，所以本节分为了上下两篇。鬼仔希望写的每篇专栏文章能够将一个知识点讲透、讲深，也希望读者能从鬼仔的文章中有所收获。

欢迎大家订阅该专栏，目前这篇是试读，后续的文章需要订阅才能查看哦（每周一更/两更），专栏预计更新30篇文章（只增不减），具体内容可以看专栏介绍，大家的支持是鬼仔更新的动力！

一、原理

1. 线性回归模型

（1）讲到逻辑回归，我们首先要先了解线性回归模型。

线性回归模型假设输入特征和输出结果满足线性关系：，此时的是连续值，所以是回归模型。如果想要转化为分类模型，那么需要将做一次函数变换，令的值在某个特定区间的时候属于特定类别即可，逻辑回归模型的出发点即来源于此。

（2）线性回归模型经过最⼤似然估计推导出来的待优化⽬标函数与平⽅损失函数是等价的。

（3）为了解决过拟合问题，线性回归模型可以引入正则化的方法：

• 岭回归

加入L2正则项，等价于对参数w引入协方差为a的零均值高斯先验，不能做variable selection。

• LASSO回归

加入L1正则项，等价于对参数w引入拉普拉斯先验，可以做variable selection。

2. 逻辑回归模型

逻辑回归是一种常见的用于分类的模型，虽然是分类模型，但原理上还是和回归紧密相关。

一句话总结逻辑回归模型：先把特征线性组合，然后使用sigmoid函数（单调可微）将结果约束到0~1之间，结果用于二分类预测。

• 模型参数估计：最大似然估计法估计模型参数，使用梯度下降或者拟牛顿法进行学习。
• 损失函数：最小化交叉熵误差（等价于最大似然估计）。
• 防止过拟合：L1正则化和L2正则化。
• 处理非线性数据：加核函数或特征变换，显式地把特征映射到高维空间。

二、面试真题

1. 逻辑回归怎么实现多分类？

传统的逻辑回归是二分类模型，但很容易推广到多分类任务上，具体有两大类做法：

• 修改逻辑回归的损失函数：sigmoid->softmax；
• 不妨把这个问题抽象为：二分类模型怎么实现多分类任务？将多分类任务分解为多个二分类任务即可！

下面稍微展开讲解下：

（1）修改逻辑回归的损失函数

sigmoid函数只能输出两种类别的概率，要想输出多种类别的预测概率，我们需要将损失函数修改为softmax，具体公式如下：

sigmoid中的参数θ是一个向量，而softmax将参数θ拓展成了一个矩阵，矩阵中每一行向量为对应类别的参数，输出的数表示该类别的预测概率，总和为1。也即，将一个样本输入到softmax回归模型中，会输出不同类别对应的预测概率，最后取概率最高的类别作为预测结果。

（2）将多分类任务分解为多个二分类任务

具体的分解方法有以下三类：

• OvR（One vs Rest）

每次将一个类别样本作为正类，其他类别样本统一作为负类，这样 N 个类别可以生成 N 个二分类器，输入一个测试数据会