1. 集成学习
版本 0.0.1
苑明理
Guokr.com
May 3, 2012
. . . . . .

2. 目录
.. 生活中的集体决策
1
.. 集成学习的概念
2
.. 集成学习的历史
3
.. 原理性示例
4
.. 组合规则
5
.. 集成学习的方法
6
.. 参考文献
7
. . . . . .

3. 生活中的集体决策
生活中有很多例子都是一个群体参与了一个决策的制定。
• 参考别人的定价来决定自己的定价
• 一篇文章是否被期刊采纳的同行评审
• 议会里投票表决一个议案
• 通过共识来进行决策
. . . . . .

4. 集成学习的概念
集成学习是一种组合多个学习器来协同解决一个特定计算智能问
题的方法。被组合的学习器称为基学习器。
• 不同算法的组合
• 相同算法不同参数的组合
• 相同输入的不同表示的组合（如语音识别中结合语音的音频
信号和嘴唇的视频信号）
• 不同训练集的组合
. . . . . .

5. 集成学习的历史
• Dasarathy 和 Sheela 在 1979 年的论文 (Dasarathy 1979)，
用两个或者多个分类器通过分治的方式将特征空间分解。
• Hansen 和 Salamon 在 1990 年的论文 (Hansen 1990) 揭
示了集成学习的方法可以改善人工神经元网络的结果。
• Schapire 在 1990 年的关于 booosting 方法的论文使集成学
习成为了机器学习的重要领域，发展出来的 AdaBoost 算法
族非常受欢迎。
• 层叠泛化 (Wolpert 1992)
• 分类器融合 (Cho 1995, Kuncheva 2001)
• ……
. . . . . .

6. 原理性示例
图片取自 Scholarpedia 的 Ensemble learning 条目
. . . . . .

7. 组合规则
• 代数规则：均值、求和、最大、最小、中位值、乘积……
• 投票法：多数原则、加权多数原则
• 其他
. . . . . .

8. 集成学习的方法
• 装袋：Bagging
• 提升：Boosting
• AdaBoost
• 层叠泛化：Stacked Generalization
• 专家混合：Mixture of Experts
. . . . . .

9. 装袋方法
. . . . . .

10. 提升方法
. . . . . .

11. AdaBoost 方法
. . . . . .

12. 层叠泛化方法
. . . . . .

13. 专家混合方法
. . . . . .

14. 参考文献
• L. I. Kuncheva, Combining Pattern Classifiers, Methods and
Algorithms. New York, NY: Wiley Interscience, 2005
• R. Polikar, “Ensemble based systems in decision making,”
IEEE Circuits and Systems Magazine, vol. 6, no.3, pp.
21-45, 2006.
• R. Polikar, “Bootstrap inspired techniques in computational
intelligence: ensemble of classifiers, incremental learning,
data fusion and missing features, IEEE Signal Processing
Magazine, v. 24, no. 4, pp. 59-72, 2007.
. . . . . .