用随机森林分类

时间: 2023-07-11 admin 互联网

用随机森林分类

用随机森林分类

分类方法有很多种,什么多分类逻辑回归,KNN,决策树,SVM,随机森林等,

比较好用的且比较好理解的还是随机森林,现在比较常见的有python和R的实现。原理就不解释了,废话不多说,show me the code

import csv
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn import preprocessing
from sklearn.utils import shuffle
from sklearn.metrics import mean_squared_error, explained_variance_scoredef load_dataset(filename):file_reader = csv.reader(open(filename,'rt'), delimiter=',')X, y = [], []for row in file_reader:X.append(row[0:4])y.append(row[-1])# Extract feature namesfeature_names = np.array(X[0])return np.array(X[1:]).astype(np.float32),np.array(y[1:]).astype(np.float32), feature_namesif __name__=='__main__':X, y, feature_names = load_dataset("D:\\yudata.csv")X, y = shuffle(X, y, random_state=7)# X, y = random.shuffle(X, y)num_training = int(0.9 * len(X))X_train, y_train = X[:num_training],y[:num_training]X_test, y_test = X[num_training:],y[num_training:]rf_regressor = RandomForestRegressor(n_estimators=1000, max_depth=10, min_samples_split=2)rf_regressor.fit(X_train, y_train)y_pred = rf_regressor.predict(X_test)mse = mean_squared_error(y_test, y_pred)evs = explained_variance_score(y_test,y_pred)print(y_test)print(y_pred)print(rf_regressor.feature_importances_)  

训练数据的话,使用csv,例如

有几个地方要注意,

1: open(filename,'rt') ,不要写成‘rb’,可以写成‘r’

2:shuffle, 在random包里有,numpy也有,sklearn.utils里也有,本文使用的是最后者,from sklearn.utils import shuffle

具体原理可以参考  写得比较好,前两者得shuffle函数都是参数是单列表,

这个sklearn的包可以是多列表,如代码所示,有意思的是,对于多个参数,他们打乱的顺序是一样的,超赞。

3:转换值的时候遇到了astype(np.float32)  ValueError: could not convert string to float,后来调试发现csv数据里面有一个空值,所以转不了数字,报错了。

4:min_samples_split =1 也报错了,改成2就行了。

5:模型里的rf_regressor.feature_importances_ ,里面都是参数的权重,哪些重要,不信,可以把csv的列顺序替换一下,看看结果是不是变化了。

6:以上代码参考了

R语言版本的实现:具体参考 

显然R语言的版本更加精简,也通俗易懂。

library(”randomForest”)
data(iris)
set.seed(100)
ind=sample(2,nrow(iris),replace=TRUE,prob=c(0.8,0.2))
iris.rf=randomForest(Species~.,iris[ind==1,],ntree=50,nPerm=10,mtry=3,proximity=TRUE,importance=TRUE)
print(iris.rf)
iris.pred=predict( iris.rf,iris[ind==2,] )
table(observed=iris[ind==2,"Species"],predicted=iris.pred )

最后还是补充一点:参考 

RF的主要优点有:
1) 训练可以高度并行化,对于大数据时代的大样本训练速度有优势。
2) 由于可以随机选择决策树节点划分特征,这样在样本特征维度很高的时候,仍然能高效的训练模型。
3) 在训练后,可以给出各个特征对于输出的重要性
4) 由于采用了随机采样,训练出的模型的方差小,泛化能力强。
5) 相对于Boosting系列的Adaboost和GBDT, RF实现比较简单。
6) 对部分特征缺失不敏感。
7) 对数据集的适应能力强:既能处理离散型数据,也能处理连续型数据,数据集无需规范化
8) 在创建随机森林的时候,对generlization error使用的是无偏估计
9) 训练过程中,能够检测到feature间的互相影响
RF的主要缺点有:
1) 在某些噪音比较大的样本集上,RF模型容易陷入过拟合。
2) 取值划分比较多的特征容易对RF的决策产生更大的影响,从而影响拟合的模型的效果。

最后,再来一段权重的直方图吧

 import matplotlib.pyplot as pltimport seaborn as snscolor = sns.color_palette()sns.set_style('darkgrid')features_list = feature_namesfeature_importance = rf_regressor.feature_importances_sorted_idx = np.argsort(feature_importance)plt.figure(figsize=(5, 7))plt.barh(range(len(sorted_idx)), feature_importance[sorted_idx], align='center')plt.yticks(range(len(sorted_idx)), features_list[sorted_idx])plt.xlabel('Importance')plt.title('Feature importances')plt.draw()plt.show()

  

 再再补充一点。。

这篇文章写得不错,.html

对bagging和GBDT的区别那段,

GBDT的子采样是无放回采样,而Bagging的子采样是放回采样。

    对于一个样本,它在某一次含m个样本的训练集的随机采样中,每次被采集到的概率是1m1m。不被采集到的概率为1−1m1−1m。如果m次采样都没有被采集中的概率是(1−1m)m(1−1m)m。当m→∞m→∞时,(1−1m)m→1e≃0.368(1−1m)m→1e≃0.368。也就是说,在bagging的每轮随机采样中,训练集中大约有36.8%的数据没有被采样集采集中。

    对于这部分大约36.8%的没有被采样到的数据,我们常常称之为袋外数据(Out Of Bag, 简称OOB)。这些数据没有参与训练集模型的拟合,因此可以用来检测模型的泛化能力。

    bagging对于弱学习器没有限制,这和Adaboost一样。但是最常用的一般也是决策树和神经网络。

    bagging的集合策略也比较简单,对于分类问题,通常使用简单投票法,得到最多票数的类别或者类别之一为最终的模型输出。对于回归问题,通常使用简单平均法,对T个弱学习器得到的回归结果进行算术平均得到最终的模型输出。

    由于Bagging算法每次都进行采样来训练模型,因此泛化能力很强,对于降低模型的方差很有作用。当然对于训练集的拟合程度就会差一些,也就是模型的偏倚会大一些。

转载于:.html