开篇引用尼采的一句话，想要会飞翔，就必须先学会站立、行走、奔跑、攀登和跳舞，没人能直接飞翔。---尼采。      1逻辑回归：有些时候可能出现输出值被限定在一定的范围内，比如，若要预测概率，则输出值的范围只能是0~1，一种方法是将输入的线性组合传递给一种挤压“logistics”函数。最大化训练事件的对数似然率，就得到了逻辑回归。   2.局部加权回归：有些情况下，线性模型需要局部化，不同的输入点赋予不同的权重，那些距离需要预测的输入样本更近的点拥有更大的权重，这就是局部加权回归。   3.在需要优化的函数中加入对的大权重的惩罚项，不一定是权重的平方和（只有通过计算导数得到线性等式时才会有）...

学习是从一个现象中提取深层次的、基础的关系，概况不同的事件所遵循的规律来发现基本的定律来统一解释不同的的情况。 分类问题中，系统的输出值是一个类。而回归问题中输出是一个数值。

最近邻方法的基本形式与 基于实例的学习、基于案例的学习和基于记忆的学习有关。   工作原理：我们把已标注的实例（包括输入及相应的输出的标记）存储起来，不进行任何操作。当一个新输入的模式到达时，我们在存储器中查到与这个新模式相近的那些实例，输出则由这些相近的输出所决定。   一个更具健壮性和灵活性的方法是考虑大小为k的近邻集合，KNN是一种原始的懒惰的机器学方式：把所有的训练实例存在存储器中（输入和对应的输出标记）。当有一个新输入并需要计算器对应的输出时，在存储器中查找k个最接近的实例。读取它们的输出，并根据它们的大多数或平均值推出新实例的输出。当存储了非常多的实例时，训练阶段的懒惰会让预测阶段...

机器学习、深度学习的热度已不必再多言。我也看了好几个版本的关于机器学习的教材和视频，其中西瓜书和吴恩达老师的公开课估计很多人也看过，确实很经典。不过现在我看的却是另一本书《机器学习与优化》，关于这本书的特殊之处后面将一一道来。。   正如但丁说过的：人不应该过着野兽般的生活，而是追求美德与知识。 优化是为了找到更好的解决方案而进行的的自动搜索过程。优化是产品、方案等持续改进的强大动力。优化催化了自动化的创造和革新。 几乎所有的商业问题都可以归结为寻找一个最优决策值x,这要通过使某个收益函数goodness（x）最大化来实现。 机器学习和智能优化（learning and intelligent...