可生成图片类型（推荐）
可生成数据表类型（推荐）
（→节点使用指南） |
无编辑摘要 |
||
| 第47行： | 第47行： | ||
# 有些概念很难学习，因为决策树不容易表达它们，例如异或、奇偶校验或多路复用器问题。 | # 有些概念很难学习，因为决策树不容易表达它们，例如异或、奇偶校验或多路复用器问题。 | ||
# 如果某些类占主导地位，决策树学习器会创建有偏差的树。因此，建议在拟合决策树之前平衡数据集。 | # 如果某些类占主导地位，决策树学习器会创建有偏差的树。因此，建议在拟合决策树之前平衡数据集。 | ||
=== 参考文献 === | |||
{{reflist}} | |||
==示例代码-决策树分类节点== | ==示例代码-决策树分类节点== | ||
| 第78行： | 第81行： | ||
* 最大叶节点数：以最佳优先的方式种植一棵树。最佳节点定义为杂质的相对减少。如果没有，则叶节点数量不受限制。 | * 最大叶节点数：以最佳优先的方式种植一棵树。最佳节点定义为杂质的相对减少。如果没有，则叶节点数量不受限制。 | ||
* 最小不纯度衰减阈值：如果分裂导致杂质减少大于或等于该值，则节点将被分裂。 | * 最小不纯度衰减阈值：如果分裂导致杂质减少大于或等于该值，则节点将被分裂。 | ||
{{Navplate AlgorithmNodeList}} | {{Navplate AlgorithmNodeList}} | ||
[[Category:分类训练器]] | [[Category:分类训练器]] | ||
2024年1月17日 (三) 14:10的版本
 | |
| 节点状态 | PC可用
在 V1.0部署
|
|---|---|
决策树  | |
| 节点开发者 | 决策链算法研发部 (Dev.Team-DPS) |
| 节点英文名 | 决策树 |
| 功能主类别 | 机器学习 |
| 英文缩写 | DT_C45 |
| 功能亚类别 | 分类训练器 |
| 节点类型 | 数据挖掘 |
| 开发语言 | Python |
| 节点简介 | |
决策树算法是一种基于树结构的有监督机器学习算法，用于解决分类和回归问题。它基于一系列的决策规则来学习和预测数据的目标变量。 决策树通过对特征进行逐步分割来构建树结构，每个内部节点表示一个特征，每个叶节点表示一个预测类别或数值。 | |
| 端口数量与逻辑控制(PC) | |
| Input-入口 | 2个 |
| Output-出口 | 3个 |
| Loop-支持循环 | 否 |
| If/Switch-支持逻辑判断 | 否 |
| 输入输出 | |
| 相关节点 | |
| 上一节点 | 导入测试集 |
| 下一节点 | 支持向量机 |
算法概述
决策树通常用于运筹学，特别是决策分析，以帮助确定最有可能达到目标的策略，但也是机器学习中的一种流行工具[1]。机器学习中的决策树是一种用于分类和回归的非参数监督学习方法。目标是创建一个模型，通过学习从数据特征推断出的简单决策规则来预测目标变量的值。树可以看作是分段常数近似。
优缺点
决策树的一些优点是：
- 易于理解和解释。树木可以被形象化。
- 需要很少的数据准备。其他技术通常需要数据标准化、创建虚拟变量并删除空白值。一些树和算法组合支持 缺失值。
- 使用树（即预测数据）的成本是用于训练树的数据点数量的对数。
- 使用白盒模型。如果给定的情况在模型中是可观察到的，则该条件的解释很容易通过布尔逻辑来解释。相比之下，在黑盒模型中（如神经网络），结果可能更难以解释。
- 可以使用统计测试来验证模型。这使得可以解释模型的可靠性。
- 即使生成数据的真实模型在某种程度上违反了其假设，也表现良好。
决策树的缺点包括：
- 决策树学习者可以创建过于复杂的树，而这些树不能很好地概括数据。这称为过度拟合。为了避免这个问题，需要采用剪枝、设置叶节点所需的最小样本数或设置树的最大深度等机制。
- 决策树可能不稳定，因为数据的微小变化可能会导致生成完全不同的树。通过在集成中使用决策树可以缓解这个问题。
- 决策树的预测既不是平滑的也不是连续的，而是分段常数近似，如上图所示。因此，他们不擅长推断。
- 已知学习最优决策树的问题在最优性的几个方面甚至对于简单的概念来说都是 NP 完全的。因此，实用的决策树学习算法基于启发式算法，例如贪婪算法，其中在每个节点做出局部最优决策。此类算法不能保证返回全局最优决策树。这可以通过在集成学习器中训练多个树来缓解，其中特征和样本是通过替换随机采样的。
- 有些概念很难学习，因为决策树不容易表达它们，例如异或、奇偶校验或多路复用器问题。
- 如果某些类占主导地位，决策树学习器会创建有偏差的树。因此，建议在拟合决策树之前平衡数据集。
参考文献
- ↑ De Ville, Barry (2013). "Decision trees". Wiley Interdisciplinary Reviews: Computational Statistics. Wiley Online Library. 5 (6): 448--455.
示例代码-决策树分类节点
该节点使用Python编写，调用scikit-learn包[1]。以下为示例代码：
from sklearn import tree
X = [[0, 0], [1, 1]]
Y = [0, 1]
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X, Y)
拟合后，模型可以用于预测样本的类别，可以在通用预测模块实现内外部测试集的预测。
节点使用指南
变量配置
- 选择特征变量：作为特征进行学习的变量（X），多选。
- 选择目标变量：作为结局的变量（y）。
参数配置
- 设置随机数：控制模型的随机性。
- 拆分策略：用于在每个节点选择分裂的策略，包含最佳分割和随机分割。
- 损失函数算法选择：衡量分割质量的函数。支持的标准为
- 'gini'：基尼纯度（Gini impurity），
- 'log_loss'，
- 'entropy':信息熵。
- 最大深度：树的最大深度。如果没有，则扩展节点，直到所有叶子都是纯的或直到所有叶子包含少于"最小拆分样本数"的样本。
- 最小拆分样本数：分裂内部节点所需的最小样本数。
- 叶节点最小样本数：叶节点所需的最小样本数。该参数仅当任何深度的分割点在左右分支中至少留下训练样本时，才会被考虑。这可能具有使模型平滑的效果，尤其是在回归中。
- 最大特征数：寻找最佳分割时要考虑的特征数量。
- 最大叶节点数：以最佳优先的方式种植一棵树。最佳节点定义为杂质的相对减少。如果没有，则叶节点数量不受限制。
- 最小不纯度衰减阈值：如果分裂导致杂质减少大于或等于该值，则节点将被分裂。
查找其他类别的节点，请参考以下列表
列表
数据处理节点
数据输入
变量处理
行列处理
矩阵处理
表格处理
列表
数据分析节点
描述性统计
统计检验
方差分析
相关分析
回归分析
Lasso回归 二项式Lasso回归 泊松Lasso回归 生存状态Lasso回归 高斯PLS回归Ridge回归 二项式Ridge回归 泊松Ridge回归 生存状态Ridge回归 高斯分位回归多分类逻辑回归多项式回归广义估计方程 伽玛广义估计方程 泊松广义估计方程 负二项广义估计方程 逻辑广义估计方程 高斯广义相加模型 伽玛广义相加模型 泊松广义相加模型 负二项广义相加模型 逻辑广义相加模型 高斯广义相加混合模型 伽玛广义相加混合模型 泊松广义相加混合模型 负二项广义相加混合模型 逻辑广义相加混合模型 高斯广义线性回归 伽玛广义线性回归 泊松广义线性回归 负二项广义线性回归 逆概率加权联合标准差稳健线性回归线性回归逐步回归逻辑回归
时序分析
潜变量分析
生存分析
多元分析
综合分析
列表
机器学习节点
列表
AI和神经网络
环境检测
列表
工具和辅助节点（Utils）
- ↑ Kramer, Oliver (2016). "Scikit-learn". Machine learning for evolution strategies. Springer: 45--53.