有pc网站,龙岗公司网站建设,企业网站如何建设,昆明网站建设高端定制1. 回归问题如何降低方差 以随机森林为例#xff0c;假设随机森林中含有n个弱评估器#xff0c;由于子样本集的相似性以及使用的是同种模型#xff0c;因此各模型有近似相等的方差和偏差#xff0c;因此假设任意弱评估器上输出结果为,方差均为#xff0c;则随机森林的输出…1. 回归问题如何降低方差 以随机森林为例假设随机森林中含有n个弱评估器由于子样本集的相似性以及使用的是同种模型因此各模型有近似相等的方差和偏差因此假设任意弱评估器上输出结果为,方差均为则随机森林的输出结果为当各棵树相互独立时有如下关系 由上述公式可知随机森林在经过Bagging之后的方差一定小于单个评估器的方差这也是随机森林的泛化能力总是强于单一决策树的根本原因。其中泛化误差为模型在测试集上的误差有如下关系 2. 分类问题如何降低方差 Bagging在执行分类任务时总是遵循少数服从多数的原则同样可以通过回归器进行预测只是在回归的基础上套上sigmoid函数以0.5为阈值进行划分即能将回归转化为分类。其中sigmoid函数如下 由于sigmoid函数是二阶可导函数根据泰勒展开以及方差的运算性质有如下关系 一阶导后平方的sigmoid函数值域为[0,0.0625]因此在分类问题上Bagging算法也是能降低方差的。
3. Bagging有效的条件 由于Bagging不能降低偏差因此要求弱评估器的偏差较低准确率至少在50%以上由于方差降低的必要条件是各个弱评估器之间相互独立因此要求弱评估器之间的相关性尽可能弱可以通过随机采样来降低相关性。其中ESLp588教材有如下公式。由此可知弱评估器的相关性越强随机森林输出结果的方差就越大。
