【有书共读】《机器学习》读书笔记CH8

第八章

集成学习（ensemble learning），通过构建并结合多个学习器来完成学习任务。

集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来。

要获得好的集成，个体学习器应好而不同，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”，即学习器间具有差异。

目前的基础学习方法大致可以分为两大类，即个体学习器间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系，可同时生成的并行化方法。前者的代表是Boosting，后者的代表是Bagging和“随机森林”。

Boosting是一族可将弱化学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。

Boosting样本分布调整的方法：

“重赋值法”：在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重。

“重采样法”：在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。

多样性度量：用于度量集成中个体分类器的多样性。不合度量、相关系数、Q-统计量、k-统计量。

多样性增强：数据样本扰动、输入属性扰动、输出表示扰动、算法参数扰动。

由于集成包含多个学习器，即便个体学习器有较好的可解释性，集成仍是黑箱模型。