Boosting

• to improve on the single decision tree
• 將很多個weak learners (very simple models) 進行合成變成一個strong learner
• 樣本選擇

每一輪的訓練集不變，只是訓練集中每個樣例在分類器中的權重發生變化。而權值是根據上一輪的分類結果進行調整。

• 過程:

1. 通過加法模型將基礎模型進行線性的組合。
2. 每一輪訓練都提升錯誤率小的基礎模型權重，同時減少錯誤率高的模型權重。
3. 在每一輪改變訓練數據的權值或概率分布，通過提高那些在前一輪被弱分類器分錯樣例的權值，減小前一輪分對樣例的權值，來使得分類器對誤分的數據有較好的效果。

原文網址：https://kknews.cc/tech/rnrk5qr.html

• 在 boosting 方法中，比較主流的有 Adaboost 和 Gradient boosting 。

AdaBoost (Adaptive Boosting)

What is a weak learner

• a model that is too simple to perform well on its own
• stump (one node and two leaves)