xgboost模型蒸馏

① xgboost的优缺点是

xgboost适用场景：分类回归问题都可以。优缺点如下：
1）在寻找最佳分割点时，考虑传统的枚举每个特征的所有可能分割点的贪心法效率太低，xgboost实现了一种近似的算法。大致的思想是根据百分位法列举几个可能成为分割点的候选者，然后从候选者中根据上面求分割点的公式计算找出最佳的分割点。
2）xgboost考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率，paper提到50倍。
3）特征列排序后以块的形式存储在内存中，在迭代中可以重复使用；虽然boosting算法迭代必须串行，但是在处理每个特征列时可以做到并行。
4）按照特征列方式存储能优化寻找最佳的分割点，但是当以行计算梯度数据时会导致内存的不连续访问，严重时会导致cache miss，降低算法效率。paper中提到，可先将数据收集到线程内部的buffer，然后再计算，提高算法的效率。
5）xgboost 还考虑了当数据量比较大，内存不够时怎么有效的使用磁盘，主要是结合多线程、数据压缩、分片的方法，尽可能的提高算法的效率。

② xgboost算法是什么

xgboost算法原理知识：复杂度：

把树拆分成结构部分q和叶子权重部分w。

树的复杂度函数和样例：定义树的结构和复杂度的原因很简单，这样就可以衡量模型的复杂度了啊，从而可以有效控制过拟合。

主要用法：

两种策略：全局策略和局部策略。

在全局策略中，对每一个特征确定一个全局的候选分裂点集合，就不再改变；而在局部策略中，每一次分裂都要重选一次分裂点。

前者需要较大的分裂集合，后者可以小一点。对比补充候选集策略与分裂点数目对模型的影响。 全局策略需要更细的分裂点才能和局部策略差不多。

③ 我有一组数据（小样本60几个数据）和预测结果，请问使用xgboost训练我的预测模型呢

说实话，要想得到比较准确的预测模型，数据量是要比较大的，否则，就算模型能够学得很好，准确性很高，但是泛化能力肯定很差，说白了，模型只学习到了这几十个样本的特性，对其他的样本特性却没有学习到，所以效果肯定不会太好。你这只有几十个数据，要用xgboost，有点小题大做了，不要为了用模型而用模型，这样产生的结果可能没有太大的可信度，以上回答请参考。

④ xgboost 多分类 标签怎么设置

XGBoost参数调优完全指南（附Python代码） 译注：文内提供代码运行结定差异载完整代码照参考另外我自跟着教程做候发现我库解析字符串类型特征所用其部特征做具体数值跟文章反帮助理解文章所家其实修改代码定要完全跟着教程做~ ^0^ 需要提前安装库： 简介 预测模型表现些尽意用XGBoost吧XGBoost算现已经数据工程师重要武器种十精致算处理各种规则数据 构造使用XGBoost模型十简单提高模型表现些困难(至少我觉十纠结)算使用几参数所提高模型表现参数调整十必要解决实际问题候些问题难答——需要调整哪些参数些参数要调值才能达理想输 篇文章适合刚刚接触XGBoost阅读篇文章我参数调优技巧及XGboost相关些用知识及我用Python数据集实践算 需要知道 XGBoost(eXtreme Gradient Boosting)Gradient Boosting算优化版本 特别鸣谢：我十谢Mr Sudalai Rajkumar (aka SRK)神支持目前AV Rank位列第二没帮助没篇文章帮助我才能给数数据科家指点迷津给赞 内容列表 一、XGBoost优势 二、理解XGBoost参数 三、调整参数(含示例) 一、XGBoost优势 XGBoost算给预测模型带能力提升我表现更解候我高准确率背原理更解候我发现具优势： 一、则化 标准GBM实现没像XGBoost则化步骤则化减少拟合帮助 实际XGBoost则化提升(regularized boosting)技术闻名 二、并行处理 XGBoost实现并行处理相比GBM速度飞跃 众所周知Boosting算顺序处理能并行呢每课树构造都依赖于前棵树具体让我能用核处理器构造树呢我希望理解句意思 XGBoost 支持Hadoop实现 三、高度灵性 XGBoost 允许用户定义自定义优化目标评价标准 模型增加全新维度所我处理受任何限制 四、缺失值处理 XGBoost内置处理缺失值规则 用户需要提供其本同值作参数传进作缺失值取值XGBoost同节点遇缺失值采用同处理并且习未遇缺失值处理 5、剪枝 裂遇负损失GBM停止裂GBM实际贪算 XGBoost直裂指定深度(max_depth)剪枝某节点再值除裂 种做优点负损失（-二）面损失（+一0）候显现GBM-二处停遇负值XGBoost继续裂发现两裂综合起+吧保留两裂 陆、内置交叉验证 XGBoost允许每轮boosting迭代使用交叉验证便获优boosting迭代数 GBM使用中国格搜索能检测限值 漆、已模型基础继续 XGBoost轮结继续训练特性某些特定应用巨优势 sklearnGBM实现功能两种算点致 相信已经XGBoost强功能点概念注意我自总结几点更想尽管面评论指我更新列表 二、XGBoost参数 XGBoost作者所参数三类： 一、通用参数：宏观函数控制 二、Booster参数：控制每步booster(tree/regression) 三、习目标参数：控制训练目标表现 我类比GBM讲解所作种基础知识 通用参数 些参数用控制XGBoost宏观功能 一、booster[默认gbtree] 选择每迭代模型两种选择： gbtree：基于树模型 gbliner：线性模型 二、silent[默认0] 参数值一静默模式启输任何信息 般参数保持默认0能帮我更理解模型 三、nthread[默认值能线程数] 参数用进行线程控制应输入系统核数 希望使用CPU全部核要输入参数算自检测 两参数XGBoost自设置目前用管接咱起看booster参数 booster参数 尽管两种booster供选择我介绍tree booster表现远远胜linear booster所linear booster少用 一、eta[默认0.三] GBM learning rate 参数类似 通减少每步权重提高模型鲁棒性 典型值0.0一-0.二 二、min_child_weight[默认一] 决定叶节点本权重 GBM min_child_leaf 参数类似完全XGBoost参数本权重GBM参数本总数 参数用于避免拟合值较避免模型习局部特殊本 值高导致欠拟合参数需要使用CV调整 三、max_depth[默认陆] GBM参数相同值树深度 值用避免拟合max_depth越模型更具体更局部本 需要使用CV函数进行调优 典型值：三-一0 四、max_leaf_nodes 树节点或叶数量 替代max_depth作用二叉树深度n树 n二 叶 定义参数GBM忽略max_depth参数 5、gamma[默认0] 节点裂裂损失函数值降才裂节点Gamma指定节点裂所需损失函数降值 参数值越算越保守参数值损失函数息息相关所需要调整 陆、max_delta_step[默认0] 参数限制每棵树权重改变步参数值0意味着没约束赋予某值让算更加保守 通参数需要设置各类别本十平衡逻辑归帮助 参数般用挖掘更用处 漆、subsample[默认一] GBMsubsample参数模参数控制于每棵树随机采比例 减参数值算更加保守避免拟合值设置能导致欠拟合 典型值：0.5-一 吧、colsample_bytree[默认一] GBM面max_features参数类似用控制每棵随机采列数占比(每列特征) 典型值：0.5-一 9、colsample_bylevel[默认一] 用控制树每级每裂列数采占比 我般太用参数subsample参数colsample_bytree参数起相同作用兴趣挖掘参数更用处 一0、lambda[默认一] 权重L二则化项(Ridge regression类似) 参数用控制XGBoost则化部虽部数据科家少用参数参数减少拟合挖掘更用处 一一、alpha[默认一] 权重L一则化项(Lasso regression类似) 应用高维度情况使算速度更快 一二、scale_pos_weight[默认一] 各类别本十平衡参数设定值使算更快收敛 习目标参数 参数用控制理想优化目标每步结度量 一、objective[默认reg:linear] 参数定义需要化损失函数用值： binary:logistic 二类逻辑归返预测概率(类别) multi:softmax 使用softmax类器返预测类别(概率) 种情况需要设参数：num_class(类别数目) multi:softprob multi:softmax参数返每数据属于各类别概率 二、eval_metric[默认值取决于objective参数取值] 于效数据度量 于归问题默认值rmse于类问题默认值error 典型值： rmse 均根误差( ∑Ni=一?二N??????√ ) mae 平均绝误差( ∑Ni=一|?|N ) logloss 负数似函数值 error 二类错误率(阈值0.5) merror 类错误率 mlogloss 类logloss损失函数 auc 曲线面积 三、seed(默认0) 随机数种 设置复现随机数据结用于调整参数 前用Scikit-learn,能太熟悉些参数消息pythonXGBoost模块sklearn包XGBClassifier包参数按sklearn风格命名改变函数名： 一、eta ->learning_rate 二、lambda->reg_lambda 三、alpha->reg_alpha 肯定疑惑啥咱没介绍GBM’n_estimators’类似参数XGBClassifier确实类似参数标准XGBoost实现调用拟合函数作’num_boosting_rounds’参数传入 调整参数(含示例) 我已经些数据进行些处理： City变量类别太所删掉些类别 DOB变量换算龄并删除些数据 增加 EMI_Loan_Submitted_Missing 变量EMI_Loan_Submitted变量数据缺失则参数值一否则0删除原先EMI_Loan_Submitted变量 EmployerName变量类别太所删掉些类别 Existing_EMI变量一一一值缺失所缺失值补充位数0 增加 Interest_Rate_Missing 变量Interest_Rate变量数据缺失则参数值一否则0删除原先Interest_Rate变量 删除Lead_Creation_Date直觉特征终结没帮助 Loan_Amount_Applied, Loan_Tenure_Applied 两变量缺项用位数补足 增加 Loan_Amount_Submitted_Missing 变量Loan_Amount_Submitted变量数据缺失则参数值一否则0删除原先Loan_Amount_Submitted变量 增加 Loan_Tenure_Submitted_Missing 变量 Loan_Tenure_Submitted 变量数据缺失则参数值一否则0删除原先 Loan_Tenure_Submitted 变量 删除LoggedIn, Salary_Account 两变量 增加 Processing_Fee_Missing 变量 Processing_Fee 变量数据缺失则参数值一否则0删除原先 Processing_Fee 变量 Source前两位变其同类别 进行量化独热编码(位效编码) 原始数据资源库面载data_preparationIpython notebook 文件自遍些步骤 首先import必要库加载数据 #Import libraries: import pandas as pd import numpy as np import xgboost as xgb from xgboost.sklearn import XGBClassifier from sklearn import cross_validation, metrics   #Additional     scklearn functions from sklearn.grid_search import GridSearchCV   #Perforing grid search import matplotlib.pylab as plt %matplotlib inline from matplotlib.pylab import rcParams rcParams['figure.figsize'] = 一二, 四 train = pd.read_csv('train_modified.csv') target = 'Disbursed' IDcol = 'ID' 注意我import两种XGBoost： xgb - 直接引用xgboost接用其cv函数 XGBClassifier - xgboostsklearn包包允许我像GBM使用Grid Search 并行处理 向进行前我先定义函数帮助我建立XGBoost models 并进行交叉验证消息直接用面函数再自models使用 def modelfit(alg, dtrain, predictors,useTrainCV=True, cv_folds=5, early_stopping_rounds=50): if useTrainCV:    xgb_param = alg.get_xgb_params()    xgtrain = xgb.DMatrix(dtrain[predictors].values, label=dtrain[target].values)    cvresult = xgb.cv(xgb_param, xgtrain, num_boost_round=alg.get_params()['n_estimators'], nfold=cv_folds,        metrics='auc', early_stopping_rounds=early_stopping_rounds, show_progress=False)    alg.set_params(n_estimators=cvresult.shape[0]) #Fit the algorithm on the data alg.fit(dtrain[predictors], dtrain['Disbursed'],eval_metric='auc') #Predict training set: dtrain_predictions = alg.predict(dtrain[predictors]) dtrain_predprob = alg.predict_proba(dtrain[predictors])[:,一] #Print model report: print "\nModel Report" print "Accuracy : %.四g" % metrics.accuracy_score(dtrain['Disbursed'].values, dtrain_predictions) print "AUC Score (Train): %f" % metrics.roc_auc_score(dtrain['Disbursed'], dtrain_predprob) feat_imp = pd.Series(alg.booster().get_fscore()).sort_values(ascending=False) feat_imp.plot(kind='bar', title='Feature Importances') plt.ylabel('Feature Importance Score') 函数GBM使用些许同本文章重点讲解重要概念写代码哪理解请面评论要压力注意xgboostsklearn包没feature_importance量度get_fscore()函数相同功能 参数调优般 我使用GBM相似需要进行步骤： 一. 选择较高习速率(learning rate)般情况习速率值0.一于同问题理想习速率候0.050.三间波选择应于习速率理想决策树数量XGBoost用函数cv函数每迭代使用交叉验证并返理想决策树数量 二. 于给定习速率决策树数量进行决策树特定参数调优(max_depth, min_child_weight, gamma, subsample, colsample_bytree)确定棵树程我选择同参数待我举例说明 三. xgboost则化参数调优(lambda, alpha)些参数降低模型复杂度提高模型表现 四. 降低习速率确定理想参数 咱起详细步步进行些操作 第步：确定习速率tree_based 参数调优估计器数目 确定boosting 参数我要先给其参数初始值咱先按取值： 一、max_depth = 5 :参数取值三-一0间我选起始值5选择其值起始值四-陆间都错选择 二、min_child_weight = 一:选比较值极平衡类问题某些叶节点值比较 三、gamma = 0: 起始值选其比较值0.一0.二间参数继要调整 四、subsample,colsample_bytree = 0.吧: 见初始值典型值范围0.5-0.9间 5、scale_pos_weight = 一: 值类别十平衡 注意哦面些参数值初始估计值继需要调优习速率设默认0.一用xgboostcv函数确定佳决策树数量前文函数完工作 #Choose all predictors except target & IDcols predictors = [x for x in train.columns if x not in [target,IDcol]] xgb一 = XGBClassifier( learning_rate =0.一, n_estimators=一000, max_depth=5, min_child_weight=一, gamma=0, subsample=0.吧, colsample_bytree=0.吧, objective= 'binary:logistic', nthread=四, scale_pos_weight=一, seed=二漆) modelfit(xgb一, train, predictors) 输结看习速率0.一理想决策树数目一四0数字言能比较高取决于系统性能 注意：AUC(test)看测试集AUC值自系统运行些命令并现值数据并公提供值仅供参考值代码部已经删掉kf/ware/vc/" target="_blank" class="keylink">vcD四NCjwvYmxvY二txdW90ZT四NCjxoMSBpZD0="第二步-maxdepth--minweight-参数调优">第二步： max_depth min_weight 参数调优 我先两参数调优终结影响首先我先范围粗调参数再范围微调 注意：节我进行高负荷栅格搜索(grid search)程约需要一5-三0钟甚至更久具体取决于系统性能根据自系统性能选择同值 param_test一 = { 'max_depth':range(三,一0,二), 'min_child_weight':range(一,陆,二) } gsearch一 = GridSearchCV(estimator = XGBClassifier(         learning_rate =0.一, n_estimators=一四0, max_depth=5, min_child_weight=一, gamma=0, subsample=0.吧,             colsample_bytree=0.吧, objective= 'binary:logistic', nthread=四,     scale_pos_weight=一, seed=二漆), param_grid = param_test一,     scoring='roc_auc',n_jobs=四,iid=False, cv=5) gsearch一.fit(train[predictors],train[target]) gsearch一.grid_scores_, gsearch一.best_params_,     gsearch一.best_score

⑤ 机器学习中GBDT和XGBoosts的区别是

首先来了解一下boosting思想，每次训练单个弱分类器时，都将上一次分错的数据权重提高一点再进行当前单个弱分类器的学习，这样往后执行，训练出来的单个弱分类器就会越在意那些容易分错的点，最终通过加权求和的方式组合成一个最终的学习器，gradent boosting 是boosting的一种，每一次构建单个学习器时，是在之前建立的模型的损失函数的梯度下降方向， GB与Adaboost的区别在于：
AdaBoost是通过提升错分数据点的权重来定位模型的不足。
Gradient Boosting是通过算梯度（gradient）来定位模型的不足。
主要思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向，损失函数越大，说明模型越容易出错，如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不停的改进，而最好的方式就是让损失函数在其梯度方向上下降。
GBDT=GB+DT(decision tree),即基分类器为决策树时，这里的决策树是回归树。
Xgboost 是GB算法的高效实现，其中基分类器除了可以使CART也可以是线性分类器。
几大区别：
传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯帝回归或者线性回归
传统GBDT在优化时只用到了一阶导数，而xgboost对代价函数进行了二阶泰勒展开，用到了一阶和二阶导数
xgboost加入了正则项，防止过拟合
shrinkage，相当于学习率，在每完成一次迭代后，会乘上这个系数，削减每棵树的影响
列抽样，借鉴随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算。

⑥ 机器学习算法中GBDT和XGBOOST的区别有哪些

机器学习算法中GBDT和XGBOOST的区别有哪些？

在昨天阿里的面试中被问到了，我只简单的说了下xgboost能自动利用cpu的多线程，而且适当改进了gradient boosting，加了剪枝，控制了模型的复杂程度

添加评论

分享

默认排序按时间排序

9 个回答

weponML/DM,https://github.com/wepe

252人赞同

xgboost相比传统gbdt有何不同？xgboost为什么快？xgboost如何支持并行？

看了陈天奇大神的文章和slides，略抒己见，没有面面俱到，不恰当的地方欢迎讨论：

传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。

传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。

xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。

Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（补充：传统GBDT的实现也有学习速率）

列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。

对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。

xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点。

=============

回复@肖岩在评论里的问题，因为有些公式放正文比较好。评论里讨论的问题的大意是 “xgboost代价函数里加入正则项，是否优于cart的剪枝”。其实陈天奇大神的slides里面也是有提到的，我当一下搬运工。
决策树的学习过程就是为了找出最优的决策树，然而从函数空间里所有的决策树中找出最优的决策树是NP-C问题，所以常采用启发式（Heuristic）的方法，如CART里面的优化GINI指数、剪枝、控制树的深度。这些启发式方法的背后往往隐含了一个目标函数，这也是大部分人经常忽视掉的。xgboost的目标函数如下：

这个公式形式上跟ID3算法（采用entropy计算增益） 、CART算法（采用gini指数计算增益） 是一致的，都是用分裂后的某种值 减去 分裂前的某种值，从而得到增益。为了限制树的生长，我们可以加入阈值，当增益大于阈值时才让节点分裂，上式中的gamma即阈值，它是正则项里叶子节点数T的系数，所以xgboost在优化目标函数的同时相当于做了预剪枝。另外，上式中还有一个系数lambda，是正则项里leaf score的L2模平方的系数，对leaf score做了平滑，也起到了防止过拟合的作用，这个是传统GBDT里不具备的特性。

⑦ xgboost结果auc过高

xgboost结果auc过高比最优算法平均提高了6.75%。
XGBoost是提升方法中的一个可扩展的机器学习系统。XGBoost在许多机器学习和数据挖掘问题中产生了广泛的影响。2015年发表在Kaggle竞赛的博客的29个冠军解决方案中，有17个是使用XGBoost解决的，其中有8个是仅使用了XGBoost方法去训练模型，剩余的是用XGBoost和其他模型相结合使用的。相比较而言，第二个受欢迎的方法是深度神经网络，有11个是使用该方法的。