AdaBoost：修订间差异

来自决策链云智库
无编辑摘要
无编辑摘要
第28行： 第28行：
}}
}}


==算法概述==


==示例代码-决策树分类节点==
该节点使用Python编写，调用scikit-learn包<ref>{{cite journal |author=Kramer, Oliver |title=Scikit-learn |journal=Machine learning for evolution strategies |pages=45--53 |year=2016 |publisher=Springer }}</ref>。以下为示例代码：
<syntaxhighlight lang="Python">
from sklearn import tree
X = [[0, 0], [1, 1]]
Y = [0, 1]
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X, Y)
</syntaxhighlight>
拟合后，模型可以用于预测样本的类别，可以在[[通用预测模块]]实现内外部测试集的预测。
=='''节点使用指南'''==
* 最适用的场景：决策树可用于解决分类问题，其中目标是将数据分为不同的类别或预测数据的类别。
* 处理的数据类型：结局变量为二分类，特征变量大多数为连续型的变量。
===变量配置===
* 选择特征变量：作为特征进行学习的变量（X），多选。
* 选择目标变量：作为结局的二分类变量（y），单选。
===参数配置===
* 设置随机数：控制模型的随机性。
* 拆分策略：用于在每个节点选择分裂的策略，包含最佳分割和随机分割。
* 损失函数算法选择：衡量分割质量的函数。支持的标准为
** 'gini'：基尼纯度（Gini impurity），
** 'log_loss'，
** 'entropy'：信息熵。
* 最大深度：树的最大深度。如果没有，则扩展节点，直到所有叶子都是纯的或直到所有叶子包含少于"最小拆分样本数"的样本。
* 最小拆分样本数：分裂内部节点所需的最小样本数。
* 叶节点最小样本数：叶节点所需的最小样本数。该参数仅当任何深度的分割点在左右分支中至少留下训练样本时，才会被考虑。这可能具有使模型平滑的效果，尤其是在回归中。
* 最大特征数：寻找最佳分割时要考虑的特征数量。
* 最大叶节点数：以最佳优先的方式种植一棵树。最佳节点定义为杂质的相对减少。如果没有，则叶节点数量不受限制。
* 最小不纯度衰减阈值：如果分裂导致杂质减少大于或等于该值，则节点将被分裂。
===注意事项===
* 不支持带空值运算，用[[多重插补]]或[[插补空值]]进行插补，
* 节点不出图，
* 导入该节点的数据端口为训练数据集，导入前注意转换。
== 参考文献 ==
{{reflist}}


{{Navplate AlgorithmNodeList}}
{{Navplate AlgorithmNodeList}}


[[Category:分类训练器]]
[[Category:分类训练器]]

2024年1月17日 (三) 16:36的版本

Boosting AdaBoost.png
节点状态
PC可用
在 V1.0部署
AdaBoostBoosting AdaBoost.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名AdaBoost
功能主类别机器学习
英文缩写AdaBoost
功能亚类别分类训练器
节点类型数据挖掘
开发语言Python
节点简介

AdaBoost（Adaptive Boosting）是一种集成学习算法，通过迭代地训练一系列的弱学习器（通常是决策树），并将它们组合成一个强大的预测模型。

与其他集成学习方法不同，AdaBoost通过调整样本权重来适应先前弱学习器的错误，从而提高整体模型的准确性。

端口数量与逻辑控制(PC)
Input-入口2个
Output-出口3个
Loop-支持循环否
If/Switch-支持逻辑判断否
输入输出
可生成图片类型（推荐）
可生成数据表类型（推荐）
相关节点
上一节点梯度提升树
下一节点XGBoost
WikimediaUI-Globe.svg相关网站




算法概述

示例代码-决策树分类节点

该节点使用Python编写，调用scikit-learn包[1]。以下为示例代码： 

from sklearn import tree
X = [[0, 0], [1, 1]]
Y = [0, 1]
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X, Y)

拟合后，模型可以用于预测样本的类别，可以在通用预测模块实现内外部测试集的预测。

节点使用指南

  • 最适用的场景：决策树可用于解决分类问题，其中目标是将数据分为不同的类别或预测数据的类别。
  • 处理的数据类型：结局变量为二分类，特征变量大多数为连续型的变量。

变量配置

  • 选择特征变量：作为特征进行学习的变量（X），多选。
  • 选择目标变量：作为结局的二分类变量（y），单选。

参数配置

  • 设置随机数：控制模型的随机性。
  • 拆分策略：用于在每个节点选择分裂的策略，包含最佳分割和随机分割。
  • 损失函数算法选择：衡量分割质量的函数。支持的标准为
    • 'gini'：基尼纯度（Gini impurity），
    • 'log_loss'，
    • 'entropy'：信息熵。
  • 最大深度：树的最大深度。如果没有，则扩展节点，直到所有叶子都是纯的或直到所有叶子包含少于"最小拆分样本数"的样本。
  • 最小拆分样本数：分裂内部节点所需的最小样本数。
  • 叶节点最小样本数：叶节点所需的最小样本数。该参数仅当任何深度的分割点在左右分支中至少留下训练样本时，才会被考虑。这可能具有使模型平滑的效果，尤其是在回归中。
  • 最大特征数：寻找最佳分割时要考虑的特征数量。
  • 最大叶节点数：以最佳优先的方式种植一棵树。最佳节点定义为杂质的相对减少。如果没有，则叶节点数量不受限制。
  • 最小不纯度衰减阈值：如果分裂导致杂质减少大于或等于该值，则节点将被分裂。

注意事项

  • 不支持带空值运算，用多重插补或插补空值进行插补，
  • 节点不出图，
  • 导入该节点的数据端口为训练数据集，导入前注意转换。

参考文献

  1. ↑ Kramer, Oliver (2016). "Scikit-learn". Machine learning for evolution strategies. Springer: 45--53.

查找其他类别的节点，请参考以下列表

取自“https://wiki.statsape.com/index.php?title=AdaBoost&oldid=4758”
最近修改
此页面最后编辑于2024年1月17日 (星期三) 16:36。
版权
DecisionLinnc Wiki (决策链云智库) © 2024 by Statsape is licensed under Attribution-NonCommercial-ShareAlike 4.0 International. To view a copy of this license, visit [http://creativecommons.org/licenses/by-nc-sa/4.0/| CreativeCommons-Licenses-4.0].