概述 对于给定数据集，其中。线性回归的目的是找到一个函数  使得线性模型的预测值与真实值尽可能接近。通常选用均方误差来判断其接近程度，即  当均方误差最小时，即可求得最优线性回归模型。此时  表示的解。我们只需要求得均方误差在最小值时的值，因此均方误差的常数项可忽略。 一元线性回归 当数据集中的维度为1时，即，此时为标量，则对于给定数据集，线性回归给出的模型为  此时也是标量。易证对均为开口向上且恒大于0的二次函数，因此我们可以使用二次函数对称轴公式或求导来确定该函数的最小值。这里选择求导的方法。将分别对求导：  令上式等于0，得到   多元线性回归 最小二乘法 对概述中的式子，我们令  则 ...