梯度提升树 - 版本历史

2024年1月19日 (五) 11:28 Zeroclanzhang

2024-01-19T11:28:32Z

←上一版本		2024年1月19日 (五) 19:28的版本
第7行：		第7行：
	\|productionstate={{图标文件\|Win}} / {{图标文件\|W10}} Win10及以上可用		\|productionstate={{图标文件\|Win}} / {{图标文件\|W10}} Win10及以上可用
	\|productionstatedesc=在[[Update:DecisionLinnc 1.0.0.8\|V1.0]]部署		\|productionstatedesc=在[[Update:DecisionLinnc 1.0.0.8\|V1.0]]部署
	\|nodeenglishname=~~[[Has english name::~~Boosting_GBDT]]		\|nodeenglishname=Boosting_GBDT
	\|abbreviation=~~[[Has abbreviation::~~GBDT]]		\|abbreviation=GBDT
	\|funcmaincategory=机器学习		\|funcmaincategory=机器学习
	\|funcsubcategory=[[DataML Lv1 Cat::分类训练器]]		\|funcsubcategory=[[DataML Lv1 Cat::分类训练器]]

2024年1月18日 (四) 09:43 Zeroclanzhang

2024-01-18T09:43:40Z

←上一版本		2024年1月18日 (四) 17:43的版本
第5行：		第5行：
	\|simpleicon=Boosting_GBDT_Pure.svg		\|simpleicon=Boosting_GBDT_Pure.svg
	\|developer=Dev.Team-DPS		\|developer=Dev.Team-DPS
	\|productionstate=~~PC可用~~		\|productionstate={{图标文件\|Win}} / {{图标文件\|W10}} Win10及以上可用
	\|productionstatedesc=在[[DecisionLinnc \| V1.0]]部署		\|productionstatedesc=在[[Update:DecisionLinnc 1.0.0.8\|V1.0]]部署
	\|nodeenglishname=[[Has english name::Boosting_GBDT]]		\|nodeenglishname=[[Has english name::Boosting_GBDT]]
	\|abbreviation=[[Has abbreviation::GBDT]]		\|abbreviation=[[Has abbreviation::GBDT]]
第20行：		第20行：
	\|nodeavailableplotlist=nodenoplotoutput		\|nodeavailableplotlist=nodenoplotoutput
	\|nodeavailabletablelist=Table_For_Downstream		\|nodeavailabletablelist=Table_For_Downstream
	\|nodeconfiguration=VariableList;~~DropManu~~;Text		\|nodeconfiguration=VariableList;DropMenu;Text
	\|nodeinputports=WorkFlow-Control ➤;Transfer-Table ■		\|nodeinputports=WorkFlow-Control ➤;Transfer-Table ■
	\|nodeoutputports=WorkFlow-Control ➤;Transfer-Model ▶;Transfer-Table ■		\|nodeoutputports=WorkFlow-Control ➤;Transfer-Model ▶;Transfer-Table ■
第27行：		第27行：
	\|nextnode=[[AdaBoost]]		\|nextnode=[[AdaBoost]]
	}}		}}

	==算法概述==		==算法概述==
	Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树<ref>{{cite journal \|title=Data analytics in asset management: Cost-effective prediction of the pavement condition index \|author=Piryonesi, S. Madeh and El-Diraby, Tamer E. \|journal=Journal of Infrastructure Systems \|volume=26 \|issue=1 \|pages=04019036 \|year=2020 \|publisher=American Society of Civil Engineers}}</ref><ref>{{cite book \|title=The elements of statistical learning: data mining, inference, and prediction \|author=Hastie, Trevor and Tibshirani, Robert and Friedman, Jerome \|pages=337–387 \|year=2009 \|publisher=Springer}}</ref>。当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林<ref>{{cite web		Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树<ref>{{cite journal \|title=Data analytics in asset management: Cost-effective prediction of the pavement condition index \|author=Piryonesi, S. Madeh and El-Diraby, Tamer E. \|journal=Journal of Infrastructure Systems \|volume=26 \|issue=1 \|pages=04019036 \|year=2020 \|publisher=American Society of Civil Engineers}}</ref><ref>{{cite book \|title=The elements of statistical learning: data mining, inference, and prediction \|author=Hastie, Trevor and Tibshirani, Robert and Friedman, Jerome \|pages=337–387 \|year=2009 \|publisher=Springer}}</ref>。当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林<ref>{{cite web
第84行：		第83行：
	== 参考文献 ==		== 参考文献 ==
	{{reflist}}		{{reflist}}


	{{Navplate AlgorithmNodeList}}		{{Navplate AlgorithmNodeList}}

	[[Category:分类训练器]]		[[Category:分类训练器]]

Wurong：/* 节点使用指南 */

2024-01-18T01:56:24Z

节点使用指南

←上一版本		2024年1月18日 (四) 09:56的版本
第61行：		第61行：
	===参数配置===		===参数配置===
	* 设置随机数：控制模型的随机性。		* 设置随机数：控制模型的随机性。
	* ~~基础估计器选择：构建增强整体的基本估计器。默认基本估计器用决策树分类估计器，初始化最大深度为1。~~		* 拆分质量评估方法选择：
	** ~~决策树，~~		** 'friedman mse',
	** ~~支持向量机。~~		** 'squared error'。
	* ~~估计器数量：默认为100。~~		* 学习率：算法通过学习率缩小每棵树的贡献差距。默认值为0.1。
	* ~~Boosting算法选择：SAMME~~.~~R 算法通常比 SAMME 收敛得更快，从而通过更少的提升迭代实现更低的测试误差。~~		* Boosting次数：执行boosting算法的次数。梯度增强对于过度拟合是相当稳健的，因此大量通常会带来更好的性能。
	** ~~SAMME：离散增强算法。~~		* 子样本分数：用于拟合各个基础学习器的样本比例。如果小于 1.0，则会导致随机梯度提升。选择会导致方差减少和偏差增加。值必须在范围内。子样本分数取值范围(0.0, 1.0]。
	** ~~SAMME.R：真实增强算法。~~		* 损失函数算法选择：衡量分割质量的函数。支持的算法为
	* ~~学习率：在每次迭代时应用于每个分类器的权重。较高的学习率会增加每个分类器的贡献。~~		** 'exponential'，
			** 'log_loss'。
			* 最大深度：树的最大深度。如果没有，则扩展节点，直到所有叶子都是纯的或直到所有叶子包含少于"最小拆分样本数"的样本。
			* 最小拆分样本数：分裂内部节点所需的最小样本数。
			* 叶节点最小样本数：叶节点所需的最小样本数。该参数仅当任何深度的分割点在左右分支中至少留下训练样本时，才会被考虑。这可能具有使模型平滑的效果，尤其是在回归中。
			* 最大特征数：寻找最佳分割时要考虑的特征数量。
			* 最大叶节点数：以最佳优先的方式种植一棵树。最佳节点定义为杂质的相对减少。如果没有，则叶节点数量不受限制。
			* 最小不纯度衰减阈值：如果分裂导致杂质减少大于或等于该值，则节点将被分裂。

	===注意事项===		===注意事项===

Wurong：/* 算法概述 */

2024-01-18T01:41:38Z

算法概述

←上一版本		2024年1月18日 (四) 09:41的版本
第29行：		第29行：

	==算法概述==		==算法概述==
	Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树。<ref>{{cite journal \|title=Data analytics in asset management: Cost-effective prediction of the pavement condition index \|author=Piryonesi, S. Madeh and El-Diraby, Tamer E. \|journal=Journal of Infrastructure Systems \|volume=26 \|issue=1 \|pages=04019036 \|year=2020 \|publisher=American Society of Civil Engineers}}</ref><ref>{{cite book \|title=The elements of statistical learning: data mining, inference, and prediction \|author=Hastie, Trevor and Tibshirani, Robert and Friedman, Jerome \|pages=337–387 \|year=2009 \|publisher=Springer}}</ref>~~当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林。~~<ref>{{cite web		Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树<ref>{{cite journal \|title=Data analytics in asset management: Cost-effective prediction of the pavement condition index \|author=Piryonesi, S. Madeh and El-Diraby, Tamer E. \|journal=Journal of Infrastructure Systems \|volume=26 \|issue=1 \|pages=04019036 \|year=2020 \|publisher=American Society of Civil Engineers}}</ref><ref>{{cite book \|title=The elements of statistical learning: data mining, inference, and prediction \|author=Hastie, Trevor and Tibshirani, Robert and Friedman, Jerome \|pages=337–387 \|year=2009 \|publisher=Springer}}</ref>。当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林<ref>{{cite web
	\|title=Gradient Boosting		\|title=Gradient Boosting
	\|url=https://en.wikipedia.org/wiki/Gradient_boosting		\|url=https://en.wikipedia.org/wiki/Gradient_boosting
	\|website=Wikipedia		\|website=Wikipedia
	\|access-date=2024-01-18		\|access-date=2024-01-18
	}}</ref>~~与其他Boosting方法一样，梯度提升树模型是以分阶段的方式构建的，但它通过允许优化任意可微损失函数来推广其他方法。~~		}}</ref>。与其他Boosting方法一样，梯度提升树模型是以分阶段的方式构建的，但它通过允许优化任意可微损失函数来推广其他方法。

	==示例代码-梯度提升树分类节点==		==示例代码-梯度提升树分类节点==

Wurong：/* 算法概述 */

2024-01-18T01:41:14Z

算法概述

←上一版本		2024年1月18日 (四) 09:41的版本
第29行：		第29行：

	==算法概述==		==算法概述==
	Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树。<ref></ref>当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林。<ref></ref>与其他Boosting方法一样，梯度提升树模型是以分阶段的方式构建的，但它通过允许优化任意可微损失函数来推广其他方法。		Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树。<ref>{{cite journal \|title=Data analytics in asset management: Cost-effective prediction of the pavement condition index \|author=Piryonesi, S. Madeh and El-Diraby, Tamer E. \|journal=Journal of Infrastructure Systems \|volume=26 \|issue=1 \|pages=04019036 \|year=2020 \|publisher=American Society of Civil Engineers}}</ref><ref>{{cite book \|title=The elements of statistical learning: data mining, inference, and prediction \|author=Hastie, Trevor and Tibshirani, Robert and Friedman, Jerome \|pages=337–387 \|year=2009 \|publisher=Springer}}</ref>当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林。<ref>{{cite web
			\|title=Gradient Boosting
			\|url=https://en.wikipedia.org/wiki/Gradient_boosting
			\|website=Wikipedia
			\|access-date=2024-01-18
			}}</ref>与其他Boosting方法一样，梯度提升树模型是以分阶段的方式构建的，但它通过允许优化任意可微损失函数来推广其他方法。

	==示例代码-梯度提升树分类节点==		==示例代码-梯度提升树分类节点==

Wurong：/* 示例代码-梯度提升书分类节点 */

2024-01-18T01:35:46Z

示例代码-梯度提升书分类节点

←上一版本		2024年1月18日 (四) 09:35的版本
第31行：		第31行：
	Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树。<ref></ref>当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林。<ref></ref>与其他Boosting方法一样，梯度提升树模型是以分阶段的方式构建的，但它通过允许优化任意可微损失函数来推广其他方法。		Gradient Boosting是一种基于函数空间（functional space）中增强的机器学习方法，其中目标函数是伪残差（pseudo-residuals），而不是传统增强中使用的典型残差。它给出了弱学习模型进行集成后的预测模型，即对数据进行很少的假设的模型，这些模型通常是简单的决策树。<ref></ref>当决策树是弱学习器时，所得到的算法被称为梯度增强树；它通常优于随机森林。<ref></ref>与其他Boosting方法一样，梯度提升树模型是以分阶段的方式构建的，但它通过允许优化任意可微损失函数来推广其他方法。

	==示例代码-~~梯度提升书分类节点~~==		==示例代码-梯度提升树分类节点==
	该节点使用Python编写，调用scikit-learn包<ref>{{cite journal \|author=Kramer, Oliver \|title=Scikit-learn \|journal=Machine learning for evolution strategies \|pages=45--53 \|year=2016 \|publisher=Springer }}</ref>。以下为示例代码：		该节点使用Python编写，调用scikit-learn包<ref>{{cite journal \|author=Kramer, Oliver \|title=Scikit-learn \|journal=Machine learning for evolution strategies \|pages=45--53 \|year=2016 \|publisher=Springer }}</ref>。以下为示例代码：
	<syntaxhighlight lang="Python">		<syntaxhighlight lang="Python">

2024年1月18日 (四) 01:34 Wurong

2024-01-18T01:34:20Z

@@ 第28行： / 第28行： @@
 }}
-[math]f_{\left.X\right|^{Y}}\left(x \mid C_{1}\right)=f_{X 1 X|Y| Y}\left(x_{1}, x_{2} \mid C_{1}\right)=f_{X \mid Y}\left(x_{1} \mid C_{1}\right) \cdot f_{X 2 \mid Y}\left(x_{2} \mid C_{1}\right)[/math]
+==算法概述==
-[math]\left\{\begin{array}{l}f_{X 1, X \mid Y}\left(x_{1}, x_{2} \mid C_{2}\right)=f_{X \mid Y}\left(x_{1} \mid C_{2}\right) \cdot f_{X 2 \mid Y}\left(x_{2} \mid C_{2}\right) \\ f_{X 1, X \mid Y}\left(x_{1}, x_{2} \mid C_{3}\right)=f_{X|Y|}\left(x_{1} \mid C_{3}\right) \cdot f_{X 2 \mid Y}\left(x_{2} \mid C_{3}\right)\end{array}\right.[/math]
+==示例代码-梯度提升书分类节点==
 {{Navplate AlgorithmNodeList}}
 [[Category:分类训练器]]

2023年12月27日 (三) 10:33 Zeroclanzhang

2023-12-27T10:33:27Z

←上一版本		2023年12月27日 (三) 18:33的版本
第29行：		第29行：

	[math]f_{\left.X\right\|^{Y}}\left(x \mid C_{1}\right)=f_{X 1 X\|Y\| Y}\left(x_{1}, x_{2} \mid C_{1}\right)=f_{X \mid Y}\left(x_{1} \mid C_{1}\right) \cdot f_{X 2 \mid Y}\left(x_{2} \mid C_{1}\right)[/math]		[math]f_{\left.X\right\|^{Y}}\left(x \mid C_{1}\right)=f_{X 1 X\|Y\| Y}\left(x_{1}, x_{2} \mid C_{1}\right)=f_{X \mid Y}\left(x_{1} \mid C_{1}\right) \cdot f_{X 2 \mid Y}\left(x_{2} \mid C_{1}\right)[/math]

			[math]\left\{\begin{array}{l}f_{X 1, X \mid Y}\left(x_{1}, x_{2} \mid C_{2}\right)=f_{X \mid Y}\left(x_{1} \mid C_{2}\right) \cdot f_{X 2 \mid Y}\left(x_{2} \mid C_{2}\right) \\ f_{X 1, X \mid Y}\left(x_{1}, x_{2} \mid C_{3}\right)=f_{X\|Y\|}\left(x_{1} \mid C_{3}\right) \cdot f_{X 2 \mid Y}\left(x_{2} \mid C_{3}\right)\end{array}\right.[/math]

	{{Navplate AlgorithmNodeList}}		{{Navplate AlgorithmNodeList}}

	[[Category:分类训练器]]		[[Category:分类训练器]]

2023年12月27日 (三) 10:29 Zeroclanzhang

2023-12-27T10:29:57Z

显示更改

2023年12月27日 (三) 10:27 Zeroclanzhang

2023-12-27T10:27:29Z

@@ 第28行： / 第28行： @@
 }}
+<math xmlns="http://www.w3.org/1998/Math/MathML">
 {{Navplate AlgorithmNodeList}}
 [[Category:分类训练器]]

梯度提升树 - 版本历史

2024年1月19日 (五) 11:28 Zeroclanzhang

2024年1月18日 (四) 09:43 Zeroclanzhang

Wurong：​/* 节点使用指南 */

Wurong：​/* 算法概述 */

Wurong：​/* 算法概述 */

Wurong：​/* 示例代码-梯度提升书分类节点 */

2024年1月18日 (四) 01:34 Wurong

2023年12月27日 (三) 10:33 Zeroclanzhang

2023年12月27日 (三) 10:29 Zeroclanzhang

2023年12月27日 (三) 10:27 Zeroclanzhang

Wurong：/* 节点使用指南 */

Wurong：/* 算法概述 */

Wurong：/* 算法概述 */

Wurong：/* 示例代码-梯度提升书分类节点 */