boosting

这些都是thefaceshop几款产品的名称：boosting toner 改善爽肤水beginning serum 基础精华保湿露intensifying essence 增强精华素希望回答对你有帮助。

ginzing energy-boosting moisturizerginzing能源促进保湿moisturizer[英][u02c8mu0254u026astu0283u0259rau026azu0259(r)][美][u02c8mu0254u026astu0283u0259rau026azer]n.润肤霜; 保湿霜; 复数：moisturizers以上结果来自金山词霸例句:1.It is a superb bodycare moisturizer. 这是一种极好人体保湿剂。

加速解决祝学习进步，天天快乐！

boosting essence精华肌底液, 活肌精华希望可以帮到你望采纳

地面效应。会把飞机像上推。作用高度大约是2倍翼展

治疗促进清洁剂采纳我哟！

ego boosting自我激励如果您认可我的答案，请采纳。您的采纳，是我答题的动力，O(∩_∩)O谢谢

boosting rural vitalization.可以翻译成：提高农村的生存率。

gain boosting增益增强结构；增益自举电路；增益提高如果您认可我的答案，请采纳。您的采纳，是我答题的动力，O(∩_∩)O谢谢

这道题目存在一些错误。首先，Adaboost和GBDT都属于Boosting算法族，但是在选项中只提到了Adaboost，因此答案不唯一。其次，题目中的"+分+A+"不清楚具体指什么，因此也无法判断其是否正确。

【机器学习】Boosting和Bagging的差别boosting和bagging的差别：bagging中的模型是强模型，偏差低，方差高。目标是降低方差。在bagging中，每个模型的bias和variance近似相同，但是互相相关性不太高，因此一般不能降低Bias，而一定程度上能降低variance。典型的bagging是random forest。boosting中每个模型是弱模型，偏差高，方差低。目标是通过平均降低偏差。boosting的基本思想就是用贪心法最小化损失函数，显然能降低偏差，但是通常模型的相关性很强，因此不能显著降低variance。典型的Boosting是adaboost，另外一个常用的并行Boosting算法是GBDT（gradient boosting decision tree）。这一类算法通常不容易出现过拟合。过拟合的模型，通常variance比较大，这时应该用bagging对其进行修正。欠拟合的模型，通常Bias比较大，这时应该可以用boosting进行修正。使用boosting时， 每一个模型可以简单一些。金融常见的问题，是只用linear regression，这样一般来讲是欠拟合的，因此需要引入一些非线性的特征，欠拟合的模型可以先使用boosting尝试一下，如果效果不好，再使用其他的方法。过拟合的方法，通常使用bagging是会有一定的作用的。

【机器学习】Boosting和Bagging的差别boosting和bagging的差别：bagging中的模型是强模型，偏差低，方差高。目标是降低方差。在bagging中，每个模型的bias和variance近似相同，但是互相相关性不太高，因此一般不能降低Bias，而一定程度上能降低variance。典型的bagging是random forest。boosting中每个模型是弱模型，偏差高，方差低。目标是通过平均降低偏差。boosting的基本思想就是用贪心法最小化损失函数，显然能降低偏差，但是通常模型的相关性很强，因此不能显著降低variance。典型的Boosting是adaboost，另外一个常用的并行Boosting算法是GBDT（gradient boosting decision tree）。这一类算法通常不容易出现过拟合。过拟合的模型，通常variance比较大，这时应该用bagging对其进行修正。欠拟合的模型，通常Bias比较大，这时应该可以用boosting进行修正。使用boosting时， 每一个模型可以简单一些。金融常见的问题，是只用linear regression，这样一般来讲是欠拟合的，因此需要引入一些非线性的特征，欠拟合的模型可以先使用boosting尝试一下，如果效果不好，再使用其他的方法。过拟合的方法，通常使用bagging是会有一定的作用的。

详细解释下，boosting中最基本的是adaboost，你要是弄清楚这个算法其他主要原理都差不多，只是实现手段或者说采用的数学公式不同。它是这样的：先对所有样本辅以一个抽样权重（一般开始的时候权重都一样即认为均匀分布），在此样本上训练一个分类器对样本分类，这样可以得到这个分类器的误差率，我们根据它的误差率赋以一个权重，大体是误差越大权重就越小，针对这次分错的样本我们增大它的抽样权重，这样训练的下一个分类器就会侧重这些分错的样本，然后有根据它的误差率又计算权重，就这样依次迭代，最后我们得到的强分类器就是多个弱分类器的加权和。我们可以看出性能好的分类器权重大一些，这就体现了boosting的精髓。

Boosting 作为一种通用的学习算法，可以提高任一给定算法的性能。Kearns and Valiant最先指出，在PAC学习模型中，若存在一个多项式级的学习算法来识别一组概念，并且识别率很高，那么这组概念是强可学习的；而如果学习算法识别一组概念的正确率仅比随机猜测的略好，那么这组概念是弱可学习的。如果能将一个弱学习算法提升为强学习算法，那么在学习概念时，只要找到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通常情况下很难获得的强学习算法。boosting中最基本的是adaboost,你要是弄清楚这个算法其他主要原理都差不多,只是实现手段或者说采用的数学公式不同。它是这样的：先对所有样本辅以一个抽样权重（一般开始的时候权重都一样即认为均匀分布）,在此样本上训练一个分类器对样本分类,这样可以得到这个分类器的误差率,我们根据它的误差率赋以一个权重,大体是误差越大权重就越小,针对这次分错的样本我们增大它的抽样权重。这样训练的下一个分类器就会侧重这些分错的样本,然后有根据它的误差率又计算权重,就这样依次迭代,最后我们得到的强分类器就是多个弱分类器的加权和.我们可以看出性能好的分类器权重大一些,这就体现了boosting的精髓。

boostingvt增加；促进，提高；吹捧；向上推起；宣扬；[美国俚语]尤指在商店行窃，偷窃；提高，增加；帮助；吹捧；加速[助推]器；Boost库是一个可移植、提供源代码的C++库，作为标准库的后备，是C++标准化进程的开发引擎之一。Boost库由C++标准委员会库工作组成员发起，其中有些内容有望成为下一代C++标准库内容。在C++社区中影响甚大，是不折不扣的“准”标准库。Boost由于其对跨平台的强调，对标准C++的强调，与编写平台无关。大部分boost库功能的使用只需包括相应头文件即可，少数（如正则表达式库，文件系统库等）需要链接库。但Boost中也有很多是实验性质的东西，在实际的开发中实用需要谨慎。

boosting[英]["bu:stu026au014b][美]["bu:stu026au014b]n.增[升]压; 加大推力[功率]，加速（发动机）; 助推; v.促进( boost的现在分词 ); 增加; 吹捧; 向上推起; 例句:1.Africa"s enthusiasm for technology is boosting growth. 非洲对技术的热情促进了经济的增长。2.Responsibility for boosting growth must be more evenly split with politicians. 政治家必须承担促进经济增长的更加均匀的责任。

BRAIN BOOSTING POWDER 补益大脑粉剂（粉末）brain-boosting补益大脑BRAIN大脑 BOOSTINGboosting 全球发音 跟读 口语练习n. 助推，局部通风；升压加力v. 推进（boost的现在分词形式POWDER粉末Extracted from the ancient ginkgo tree, ginkgo biloba is considered the best of all brain-boosting supplements on the market. 采摘自古老银杏树的银杏叶，被认为是市场上所有补脑品中最好的。

gradient boosting表现好是因为：梯度提升梯度是一种通过循环迭代将模型添加到集合中集成的方法。它首先用单个模型初始化集合，其预测可能非常稚拙的。(即使它的预测非常不准确，随后对集合的添加也会解决这些错误。)Gradient Boosting算法是一种使用数值优化的函数估计方法，决策树是梯度提升框架中最常用的函数（predictive learner）。梯度提升决策树（GBDT），其中决策树按顺序训练，每棵树通过拟合负梯度来建模。决策树这样的弱学习者在boosting和集成方法中很受欢迎，但是将神经网络与boosting/集成方法相结合以获得比单个大型／深层神经网络更好的性能已经做了大量的工作。在之前开创性工作中，全连接的MLP以一层一层的方式进行训练，并添加到级联结构的神经网络中。他们的模型并不完全是一个boosting模型，因为最终的模型是一个单一的多层神经网络。

提速方案。

GBDT = Gradient Boosting + Decision Tree 先从Decision Tree开始讲，单个决策树容易过拟合，但我们可以通过各种方法，抑制决策树的复杂性，降低单颗决策树的拟合能力，然后通过其他手段来集成多个决策树，最终能够很好的解决过拟合的问题。 GBDT中的树都是回归树，不是分类树!!! GBDT中的树都是回归树，不是分类树!!! GBDT中的树都是回归树，不是分类树!!! GBDT的核心在于 累加所有树的结果作为最终结果 ，而分类树的结果显然是没办法累加的，这点对理解GBDT相当重要（PS: 尽管GBDT调整后也可用于分类但不代表GBDT的树是分类树）。 上面说的手段就是Boosting。Boosting 是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。 基于梯度提升算法的学习器 叫做 GBM(Gradient Boosting Machine)。理论上，GBM 可以选择各种不同的学习算法作为基学习器。GBDT 实际上是 GBM 的一种情况。 决策树可以认为是 if-then 规则的集合，易于理解，可解释性强，预测速度快。同时，决策树算法相比于其他的算法需要更少的特征工程，比如可以不用做特征标准化，可以很好的处理字段缺失的数据，也可以不用关心特征间是否相互依赖等。 弱决策树们通过梯度提升（Gradient Boosting）的方法，提升模型准确度。由此可见，梯度提升方法和决策树学习算法是一对完美的搭档。 GBDT 算法可以看成是由 K 棵树组成的加法模型。加法模型的通常表达： 其中， 为基函数， 为基函数的参数， 为基函数的系数。 在给定训练数据以及损失函数 的条件下，学习加法模型 成为 经验风险极小化即损失函数极小化问题 : 解决加法模型的优化问题，可以用前向分布算法（forward stagewise algorithm）因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数（结构），逐步逼近优化目标函数，那么就可以简化复杂度。具体地， 每步只需要优化如下损失函数： 更加具体的流程 提升树算法采用前向分步算法。首先确定初始提升树 ， 第m步的模型是： 其中， 为当前模型，通过经验风险极小化确定下一棵决策树的参数 针对不同问题的提升树学习算法，损失函数的选择也不同。 在梯度提升算法中负梯度也被称为伪残差(pseudo-residuals)。 提升树用加法模型与前向分布算法实现学习的优化过程。当损失函数为平方损失和指数损失函数时，每一步优化是很简单的。但对于一般损失函数而言，往往每一步都不那么容易。对于这问题，Freidman提出了梯度提升算法。这是利用最速下降法的近似方法， 其关键是利用损失函数的负梯度在当前模型的值： 作为回归问题在当前模型的残差的近似值，拟合一个回归树。 为什么要拟合负梯度呢？这就涉及到泰勒公式和梯度下降法了。 定义： 泰勒公式是一个用函数在某点的信息描述其附近取值的公式。 公式： 一阶泰勒展开式： 在机器学习任务中，需要最小化损失函数 ，其中 是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种迭代方法：选择初值 ，不断迭代更新 ，进行损失函数极小化。 迭代公式: 相对的，在函数空间里，有 此处把 看成提升树算法的第t步损失函数的值， 为第t-1步损失函数值，要使 ，则需要 ， 此处 为当前模型的负梯度值，即第t步的回归树需要拟合的值。 对于Huber损失和分位数损失，主要用于健壮回归，也就是减少异常点对损失函数的影响。 总结一下 GBDT 的学习算法： 算法步骤解释：

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特徵，并将关键放在关键的训练数据上面。 （1） 二分类，多类单标签问题、多类多标签问题、大类单标签问题 （2）回归问题 注意 ：每一次都会更新样本的权重(数据的划分正确，降低该样本的权重，数据划分错误就增大它的权重)---》计算该弱分类器的误差率--》更新公式---》再根据公式更新下一轮的样本的权重。 通过以上的操作----经过T次的循环。就得到了最终想要的强分类器。 具体的公式及详细说明如下： 每次迭代都是选择相同的模型，上面的ht(x)表示的是弱学习器，前面的αt表示的是该弱学习器的权重。 多个弱学习器经过多次的迭代，最终得到的就是强学习器H(x)。 其中：sign代表的是符号函数 其最终返回的是那种分类

Boosting是机器学习常用的方法，其中随机梯度boosting更是常见的机器学习算法，可用于构建分类器和回归分析。更多知识分享请到 https://zouhua.top/ 。 结果：模型在 n.trees = 100, interaction.depth = 2, shrinkage = 0.1 and n.minobsinnode = 10 时获得最佳 Accuracy=0.9437293 。另外也可以使用 summary(model_gbm) 查看重要变量重要性分布(按照相对重要性排序：百分比相对标准化)。 predict 函数在预测predictors是可以选择type类型，通常分类predictors的有两类type：默认是raw值，在使用pROC包的 roc 或 auc 函数计算时候，需要使用probability值，通常选择某类的probability值计算即可。 confusionMatrix 函数给出分类变量的预测值和真实值混淆矩阵和对应的测试样本在模型预测过程的统计结果，如 Accuracy=0.9181等值。 问题：为什么模型对测试样本处理时，pROC计算出来的AUC和模型给的Accuracy值是不一样的呢？ 答：AUC是ROC下的面积，ROC折线每个点对应的阈值确定了该点的Accuracy、Precision和Recall等等的度量，所以AUC是一系列Accuracy的综合。 AUC衡量模型好坏，Accuracy衡量模型在某个特定阈值下的预测准确度。

其实现在能够找到的，关于SVM的中文资料已经不少了，不过个人觉得，每个人的理解都不太一样，所以还是决定写一写，一些雷同的地方肯定是不可避免的，不过还是希望能够写出一点与别人不一样的地方吧。另外本文准备不谈太多的数学（因为很多文章都谈过了），尽量简单地给出结论，就像题目一样-机器学习中的算法（之前叫做机器学习中的数学），所以本系列的内容将更偏重应用一些。如果想看更详细的数学解释，可以看看参考文献中的资料。　　一、线性分类器：　　首先给出一个非常非常简单的分类问题（线性可分），我们要用一条直线，将下图中黑色的点和白色的点分开，很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线）　　假如说，我们令黑色的点 = -1， 白色的点 = +1，直线f(x) = w.x + b，这儿的x、w是向量，其实写成这种形式也是等价的f(x) = w1x1 + w2x2 … + wnxn + b, 当向量x的维度=2的时候，f(x) 表示二维空间中的一条直线， 当x的维度=3的时候，f(x) 表示3维空间中的一个平面，当x的维度=n > 3的时候，表示n维空间中的n-1维超平面。这些都是比较基础的内容，如果不太清楚，可能需要复习一下微积分、线性代数的内容。　　刚刚说了，我们令黑色白色两类的点分别为+1, -1，所以当有一个新的点x需要预测属于哪个分类的时候，我们用sgn(f(x))，就可以预测了，sgn表示符号函数，当f(x) > 0的时候，sgn(f(x)) = +1, 当f(x) < 0的时候sgn(f(x)) = –1。　　但是，我们怎样才能取得一个最优的划分直线f(x)呢？下图的直线表示几条可能的f(x)　　一个很直观的感受是，让这条直线到给定样本中最近的点最远，这句话读起来比较拗口，下面给出几个图，来说明一下：　　第一种分法：　　第二种分法：　　这两种分法哪种更好呢？从直观上来说，就是分割的间隙越大越好，把两个类别的点分得越开越好。就像我们平时判断一个人是男还是女，就是很难出现分错的情况，这就是男、女两个类别之间的间隙非常的大导致的，让我们可以更准确的进行分类。在SVM中，称为Maximum Marginal，是SVM的一个理论基础之一。选择使得间隙最大的函数作为分割平面是由很多道理的，比如说从概率的角度上来说，就是使得置信度最小的点置信度最大（听起来很拗口），从实践的角度来说，这样的效果非常好，等等。这里就不展开讲，作为一个结论就ok了，:)　　上图被红色和蓝色的线圈出来的点就是所谓的支持向量(support vector)。　　上图就是一个对之前说的类别中的间隙的一个描述。Classifier Boundary就是f(x)，红色和蓝色的线（plus plane与minus plane）就是support vector所在的面，红色、蓝色线之间的间隙就是我们要最大化的分类间的间隙。　　这里直接给出M的式子：（从高中的解析几何就可以很容易的得到了，也可以参考后面Moore的ppt）

每一个样本都会增加权重。Boosting 每一轮的训练集是不变的，改变的是每一个样本的权重。Boosting 依靠改变训练样本的权重来提升。

先看这个结构里面的这些函数都是干什么用的，prob，概率。[1:keep]，这里应该能大概看出来keep是整数，1:keep等价于1:1:keep，比如1:10，就是1，2，3，4，5，6，7，8，9，10。步长为1，从1到keep.右上角的"，这个符号，表示转置，比如1:10，是一个1行10列的矩阵，通过转置变成10行一列。其中，sum([1:keep])，表示对这个矩阵（从1到keep求和），但是这个语句prob=flipud([1:keep]"/sum([1:keep]));里面总觉得缺少了一个.。prob=flipud([1:keep]"./sum([1:keep]));这样看来应该才能运行，我没尝试，在commandwindow里面直接做是可以的，但是在脚本文件里面做，可能会报错。这个和矩阵运算有关，暂且放在这里。然后到外部，这样我们知道了在第一行flipud()函数体里面，实际上是在用1到keep的每一个数，除以1到keep的和值，得到一个长度为keep的矩阵。值得注意的是，这个矩阵的和值为1，在下面会用到这一点。然后flipud()函数的作用，是把矩阵倒置，比如[1,3,4,5]，使用flipud()之后变成[5,4,3,1]。注意，这个操作和sort()函数不同，这个只是把以前的顺序倒置，并不排序。从这里大概可以看出来，其实这个keep的值，等于chromosomes，染色体数量。这样，对于不同的染色体，配对概率就不一样了。从这里可以看出来，染色体配对概率应该是第一条最高，然后依次递减。然后计算或然率，cumsum()，进行累加求和，比如matlab中给出的例子，我们用[1，2，3]也可以写作1:3，来说，cumsum之后的结果是[1,3,6]，也就是从第一个开始加和，一直加到这一项。这一点，非常类似高斯函数积分的感觉。用来计算概率cumulativedistribution。然后odd变量，把0加在了cumsum结果的前面，比如刚刚的例子[0cumsum([1,2,3])]，就变成了[0,1,3,6]。注意这个地方他又转置了一次，因为在第一行计算prob的时候，他把一个行向量，转换成了列向量，然后现在要把0加在头上，所以在进行cumsun()运算的时候，又把结果从列向量转换成了行向量。仅从这两行代码里面，就大概只能看出这个意思了。不过简单一说，现在看不出来这个遗传算法的核心是什么样的，一般的神经网络里面只有连锁交换定律的应用，一般没有基因分离定律的应用。看这个样子，这是分离出来然后自由配对的做法，应该是比较高端的东西吧。

excel被病毒入侵传播了。出现boosting，病毒会感染电脑上其它的Excel文件，然后再通过这些文件传播给其它电脑，被感染的Excel文件打开后会出现安全警告或者宏已被禁用的提示的。该病毒为了提高自身隐蔽性，特别的狡猾，会在暗暗刷流量前还会检测IE浏览器的进程是否存在，如果不存在就会先启动微软的office官方页面再进行处理和入侵。

两种不同的集成算法，Bagging采用重复取样:boostrap 每个个体分类器所采用的训练样本都是从训练集中按等概率抽取的，因此Bagging的各子网能够很好的覆盖训练样本空间，从而有着良好的稳定性。而Boosting注重分类错误的样本，将个体子网分类错误的训练样本的权重提高，降低分类错误的样本权重，并依据修改后的样本权重来生成新的训练样本空间并用来训练下一个个体分类器。然而，由于Boosting算法可能会将噪声样本或分类边界样本的权重过分累积，因此Boosting很不稳定，但其在通常情况下，其泛化能力是最理想的集成算法之一。你得自己去查文献，别来这问，这没人做学术的，我也是偶尔看到你的提问。

Bagging算法所利用的预测数据就是通过Bootstrap方法得到的，Bootstrap方法是非参数统计上的一种抽样方法，实质就是对观测数据进行抽样，通过新抽样样本对总体分布特征进行推断。例如我们熟知的随机森林算法中不同的分类回归树，所利用的数据集就是通过Boostrap方法重抽样得到的。而利用Boostrap方法所做的好处是避免了做交叉验证时的样本量少的问题。同时重抽样后的数据可以得到相较于原观测数据少的噪声点，所以更能获得好的分类器。 Boostrap步骤： 当然Bootstrap方法适合于小样本，难以有效划分训练集和测试集时很有用，在做集成学习中，样本集往往通过Bootstrap方法来获取，倘若样本足够多，那么交叉验证会比Bootstrap更好。 在理解了Bootsrap抽样方法后，Bagging实际就是对重抽样的多个样本集，分别建立一个分类器，进行并行模型训练。由于每个分类器之间相互独立，所以Bagging与只训练一个弱分类器相比，复杂度是相同的，所以这是一个高效的集成算法！利用Bagging的好处是它能在提高准确率、稳定性的同时，通过降低结果的方差，避免过拟合的发生。并且由于利用的Boostrap方法，所以能减少噪音的影响，体现样本真实的分布情况。 Bagging的算法流程为： 通过这个流程可以看出，由于是投票选出最终的预测结果，从而可以获得很高的精度，降低泛化误差，但是弊端就是如果对于某一块，大多数分类器给出了一个错误分类，最终分类的结果也会错误。所以Bagging就没有考虑到对于分类器错分类，或者说性能差的地方做出调整。 那我们在什么时候会利用到Bagging呢？ 学习算法不稳定的时候，例如神经网络、kNN算法、线性回归子集选取等，这些都是不稳定的（弱学习算法），如果利用Bagging，则可以增强原算法，倘若原算法本身就有很高的稳定性，使用Bagging可能会适得其反。 随机森林（Random Forest）就是一个很好的利用Bagging的模型，他采用的弱分类器是决策树算法，在此基础上，引入了一个随机属性选择，这使得每个分类器的差异度增加，进而提升集成后的模型泛化能力。这里不对RF展开叙述，读者可参看以下相关参考。 相关参考： 与Bagging一样，Boosting也是集成算法中重要的算法，他与Bagging不同的是，Bagging采取的是并行计算，而Boosting是串行计算，对多个模型预测结果相加得到最终的结果。 在之前我们也说过，Bagging没有考虑在基学习器性能差的地方做出调整，所以Boosting在整个运行机制上做出了改进，具体可描述为：先用基学习器在初始训练集中训练，再根据基学习器表现对预测错的样本赋予更大的权值，从而在后续的学习器训练中受到更多的关注。这样根据基学习器对样本分布做出调整后，再将其训练下一个基学习器，反复分布迭代，从而达到指定值。所以Boosting是基于权值的弱分类器集成！ Boosting的算法流程： 在Boosting的框架基础上，还提出了AdaBoost (Adaptive Boosting), GBDT（Gradient Boosting Decision Tree）, XGBoost（eXtreme Gradient Boosting），lightGBM（Light Gradient Boosting Machine）等。其中最具代表性的算法是AdaBoost，结合Boosting的算法流程，Adaboost主要是通过对迭代后的分类器权值与分类器的线性组合作为最终的分类器。其中最关键的就是如何得到权值的更新公式，而这是通过最小化AdaBoost的基本分类器的损失函数得到的。 下面对权值的更新进行推导： AdaBoost的算法流程： AdaBoost系列主要解决了: 两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题等,并且在实现过程中简单高效，没有超参数调节，但是Adaboost对于噪音数据和异常数据十分敏感，这种异常样本在迭代中可能会获得较高的权重，影响预测结果。此外，当其中的基分类器是分类回归树时，此时就变成了提升树，这里不阐述。 相关参考： Bagging和Boosting都是集成学习的两种主流方法，都是由弱分类器融合成强分类器。

Bootstrap重采样方法主要用于统计量的估计;boosting方法则主要用于多个子分类器的组合。首先我们来了解一下bootstrap：估计统计量的重采样方法。Bootstrap方法是从小到大为N的原始训练数据集DD中随机选择N个样本点组成一个新的训练集，这个选择过程独立重复B次，然后用这B个数据集对模型统计量进行估计，由于原始数据集的大小就是N，所以这B个的训练集中不可避免的会存在重复的样本。接下来我们再来学习一下boosting，依次训练K个子分类器，最终的分类结果由这些子分类器投票决定。首先从大小为N的原始训练数据集中随机选取N1N1个样本训练出第一个分类器，记为C1C1，然后构造第二个分类器C2C2的训练集D2D2。要求：D2D2中一半样本能被C1C1正确分类，而另一半样本被C1C1错分。接着继续构造第三个分类器C3C3的训练集D3D3，要求：C1C1、C2C2对D3D3中样本的分类结果不同，剩下的子分类器按照类似的思路进行训练。Boosting构造新训练集的主要原则就是使用最富信息的样本。

bagging和boosting的区别如下：区别：含义不同、用法不同。bagging作为bag的现在分词,是动词,含义为把…装进袋子、捕获、得分；boosting作为boost的现在分词；是动词，含义为使增长、使兴旺、偷窃。Bagging：训练集是碧拍在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权裂慧誉重发生变化。而权值是根据上一轮的分类结果进行调整。样例权重：Bagging：使用肆段均匀取样，每个样例的权重相等。Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。预测函数：Bagging：所有预测函数的权重相等。Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。Bagging：1、抽样：抽取训练集中的样本，以构建一组新的训练集。例句：“He used bagging to sample the data set, creating 75 different models.”（他使用抽样从数据集中抽取样本，创建75个不同的模型。）2、并行：多个模型同时运行，完成训练。例句：“The bagging algorithm ran concurrently, creating 10 models in 10 minutes.”（该bagging算法并行运行，在10分钟内创建10个模型。）3、聚合：将多个模型的输出结果进行融合，以获得更好的性能。例句：“He used bagging to aggregate the models,improving the accuracy of the prediction.”（他使用bagging对模型进行聚合，提高预测的准确性。）

　　详细解释下,boosting中最基本的是adaboost,你要是弄清楚这个算法其他主要原理都差不多,只是实现手段或者说采用的数学公式不同.它是这样的：先对所有样本辅以一个抽样权重（一般开始的时候权重都一样即认为均匀分布）,在此样本上训练一个分类器对样本分类,这样可以得到这个分类器的误差率,我们根据它的误差率赋以一个权重,大体是误差越大权重就越小,针对这次分错的样本我们增大它的抽样权重,这样训练的下一个分类器就会侧重这些分错的样本,然后有根据它的误差率又计算权重,就这样依次迭代,最后我们得到的强分类器就是多个弱分类器的加权和.我们可以看出性能好的分类器权重大一些,这就体现了boosting的精髓.

【机器学习】Boosting和Bagging的差别boosting和bagging的差别：bagging中的模型是强模型，偏差低，方差高。目标是降低方差。在bagging中，每个模型的bias和variance近似相同，但是互相相关性不太高，因此一般不能降低Bias，而一定程度上能降低variance。典型的bagging是random forest。boosting中每个模型是弱模型，偏差高，方差低。目标是通过平均降低偏差。boosting的基本思想就是用贪心法最小化损失函数，显然能降低偏差，但是通常模型的相关性很强，因此不能显著降低variance。典型的Boosting是adaboost，另外一个常用的并行Boosting算法是GBDT（gradient boosting decision tree）。这一类算法通常不容易出现过拟合。过拟合的模型，通常variance比较大，这时应该用bagging对其进行修正。欠拟合的模型，通常Bias比较大，这时应该可以用boosting进行修正。使用boosting时， 每一个模型可以简单一些。金融常见的问题，是只用linear regression，这样一般来讲是欠拟合的，因此需要引入一些非线性的特征，欠拟合的模型可以先使用boosting尝试一下，如果效果不好，再使用其他的方法。过拟合的方法，通常使用bagging是会有一定的作用的。

详细解释下，boosting中最基本的是adaboost，你要是弄清楚这个算法其他主要原理都差不多，只是实现手段或者说采用的数学公式不同。它是这样的：先对所有样本辅以一个抽样权重（一般开始的时候权重都一样即认为均匀分布），在此样本上训练一个分类器对样本分类，这样可以得到这个分类器的误差率，我们根据它的误差率赋以一个权重，大体是误差越大权重就越小，针对这次分错的样本我们增大它的抽样权重，这样训练的下一个分类器就会侧重这些分错的样本，然后有根据它的误差率又计算权重，就这样依次迭代，最后我们得到的强分类器就是多个弱分类器的加权和。我们可以看出性能好的分类器权重大一些，这就体现了boosting的精髓。

提升(Boosting)