【机器学习】集成学习算法之AdaBoost

本文介绍: 对求得的新权重进行归一化求出权重分布。首先，是初始化训练数据的权值分布。，这样训练样本集的初始权值分布。选取一个当前误差最低的弱分类器。个基本分类器，并计算弱分类器。，得出训练样本的权重分布。进行归一化求出权重分布。生成第 1 棵决策树。生成第 2 棵决策树。

⎧w1ieα1w1ie−α1if y=y^if y=y^
对求得的新权重进行归一化求出权重分布

D_2

$D_{2}$ ：

$X_1 X1$	$X_2 X2$		$Y^$	$D_1 D1$	$w_2 w2$	$D_2 D2$
0	0	1	1	0.1	0.083	0.088
0.5	0.9	1	-1	0.1	0.12	0.128
1	1.2	-1	-1	0.1	0.083	0.088
1.2	0.7	-1	-1	0.1	0.083	0.088
1.4	0.6	1	1	0.1	0.083	0.088
1.6	0.2	-1	1	0.1	0.12	0.128
1.7	0.4	1	1	0.1	0.083	0.088
2	0	1	1	0.1	0.083	0.088
2.2	0.1	-1	1	0.1	0.12	0.128
2.5	1	-1	-1	0.1	0.083	0.088

随机选择条件

$X_1 X1$	$X_2 X2$		$Y^$	$D_2 D2$	$w_3 w3$	$D_3 D3$
0	0	1	1	0.088	0.077	0.079
0.5	0.9	1	1	0.128	0.112	0.115
1	1.2	-1	1	0.088	0.101	0.104
1.2	0.7	-1	1	0.088	0.101	0.104
1.4	0.6	1	1	0.088	0.077	0.079
1.6	0.2	-1	-1	0.128	0.112	0.115
1.7	0.4	1	-1	0.088	0.101	0.104
2	0	1	-1	0.088	0.101	0.104
2.2	0.1	-1	-1	0.128	0.112	0.115
2.5	1	-1	1	0.088	0.077	0.079

import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import AdaBoostRegressor

# Create the dataset
X = np.array([[0, 0], [0.5, 0.9], [1, 1.2], [1.2, 0.7], [1.4, 0.6], [1.6, 0.2], [1.7, 0.4], [2, 0], [2.2, 0.1], [2.5, 1]])
y = np.array([1, 1, -1, -1, 1, -1, 1, 1, -1, -1])

# Fit the classifier
regr_1 = DecisionTreeRegressor(max_depth=3)
regr_2 = AdaBoostRegressor(regr_1, n_estimators=10, random_state=20)

regr_1.fit(X, y)
regr_2.fit(X, y)

# Score
core_1 = regr_1.score(X, y)
core_2 = regr_2.score(X, y)

print("Decision Tree score : %f" % core_1)
print("AdaBoost score : %f" % core_2)

# Predict
y_1 = regr_1.predict(X)
y_2 = regr_2.predict(X)

# Plot the results
x = range(10)
plt.figure()
plt.scatter(x, y, c="k", label="training samples")
plt.plot(x, y_1, c="g", label="n_estimators=1", linewidth=2)
plt.plot(x, y_2, c="r", label="n_estimators=20", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Boosted Decision Tree Regression")
plt.legend()
plt.show()

# output
Decision Tree score : 0.733333
AdaBoost score : 1.000000

显示所有内容

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

分类器归一化权重

生产第 2 棵决策树

生成第 T 棵决策树

加权投票

sklearn 实现

发表回复取消回复

生产第 2 棵决策树

生成第 T 棵决策树

加权投票

相关文章

发表回复 取消回复

发表回复取消回复