拆分训练测试集

来自决策链云智库
Wurong讨论 | 贡献2024年1月24日 (三) 11:46的版本 →‎算法概述
Split Training Test Datasets.png
节点状态
Windows / Windows 10 Win10及以上可用
V1.0部署
拆分训练测试集Split Training Test Datasets.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名Split Training Test Datasets
功能主类别机器学习
英文缩写SliTraTD
功能亚类别数据集拆分
节点类型数据挖掘
开发语言Python
节点简介

拆分训练集和测试集是机器学习和数据分析中常见的数据准备步骤之一。它的主要目的是评估模型的性能和泛化能力。

拆分训练集和测试集的过程涉及将可用的数据集划分为两个独立的子集:

1. 训练集(Training Set):这是用于训练机器学习模型的数据子集。通过在训练集上学习模型,模型可以学习数据中的模式和关联。

2. 测试集(Test Set):这是用于评估模型性能的数据子集。在训练过程结束后,使用测试集来评估模型对未见过的数据的预测能力。测试集应该是与训练集相互独立且代表性的样本。

端口数量与逻辑控制(PC)
Input-入口2个
Output-出口3个
Loop-支持循环
If/Switch-支持逻辑判断
输入输出
可生成图片类型(推荐)
可生成数据表类型(推荐)
相关节点
上一节点多重插补
下一节点导入训练集



算法概述

拆分训练集和测试集是机器学习和数据分析中常见的数据准备步骤之一。它的主要目的是评估模型的性能和泛化能力。

拆分训练集和测试集的过程涉及将可用的数据集划分为两个独立的子集:

  1. 训练集(Training Set):这是用于训练机器学习模型的数据子集。通过在训练集上学习模型,模型可以学习数据中的模式和关联。
  2. 测试集(Test Set):这是用于评估模型性能的数据子集。在训练过程结束后,使用测试集来评估模型对未见过的数据的预测能力。测试集应该是与训练集相互独立且代表性的样本。

示例代码-拆分训练测试集节点

该节点使用Python编写,调用scikit-learn包[1]。以下为示例代码:

import numpy as np
from sklearn.model_selection import train_test_split
X, y = np.arange(10).reshape((5, 2)), range(5)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.33, random_state=42)

拆分后,训练集可以用于生成模型,测试集可以用于预测样本的类别,可以在通用预测模块实现内外部测试集的预测。

节点使用指南

  • 最适用的场景:决策树可用于解决分类问题,其中目标是将数据分为不同的类别或预测数据的类别。
  • 处理的数据类型:结局变量为二分类,特征变量大多数为连续型的变量。

变量配置

  • 选择特征变量:作为特征进行学习的变量(X),多选。
  • 选择目标变量:作为结局的二分类变量(y),单选。

参数配置

  • 设置随机数:控制模型的随机性。
  • 基础估计器选择:构建增强整体的基本估计器。默认基本估计器用决策树分类估计器,初始化最大深度为1。
    • 决策树,
    • 支持向量机。
  • 估计器数量:默认为100。
  • Boosting算法选择:SAMME.R 算法通常比 SAMME 收敛得更快,从而通过更少的提升迭代实现更低的测试误差。
    • SAMME:离散增强算法。
    • SAMME.R:真实增强算法。
  • 学习率:在每次迭代时应用于每个分类器的权重。较高的学习率会增加每个分类器的贡献。

注意事项

  • 不支持带空值运算,用多重插补插补空值进行插补,
  • 节点不出图,
  • 导入该节点的数据端口为训练数据集,导入前注意转换。

参考文献

  1. Kramer, Oliver (2016). "Scikit-learn". Machine learning for evolution strategies. Springer: 45--53.

查找其他类别的节点,请参考以下列表