CatBoost:修订间差异

来自决策链云智库
(撤销Zeroclanzhang讨论)的版本5713)
标签移除重定向 撤销
 
(未显示2个用户的3个中间版本)
第7行: 第7行:
|productionstate={{图标文件|Win}} / {{图标文件|W10}} Win10及以上可用
|productionstate={{图标文件|Win}} / {{图标文件|W10}} Win10及以上可用
|productionstatedesc=在[[Update:DecisionLinnc 1.0.0.8|V1.0]]部署
|productionstatedesc=在[[Update:DecisionLinnc 1.0.0.8|V1.0]]部署
|nodeenglishname=[[Has english name::Boosting_CatBoost]]
|nodeenglishname=Boosting_CatBoost
|abbreviation=[[Has abbreviation::CatBoost]]
|abbreviation=CatBoost
|funcmaincategory=机器学习
|funcmaincategory=机器学习
|funcsubcategory=[[DataML Lv1 Cat::分类训练器]]
|funcsubcategory=[[DataML Lv1 Cat::分类训练器]]
第27行: 第27行:
|nextnode=[[Logistic分类器]]
|nextnode=[[Logistic分类器]]
}}
}}
==算法概述==
==算法概述==
CatBoost是Yandex开发的开源软件库。它提供了一个梯度增强框架,其中尝试使用与经典算法相比的排列驱动替代方案来解决分类特征<ref>Zhang, Yixiao; Zhao, Zhongguo; Zheng, Jianghua (2020). "CatBoost: A new approach for estimating daily reference crop evapotranspiration in arid and semi-arid regions of Northern China." ''Journal of Hydrology'' 588: 125087. Elsevier.</ref>。它适用于Linux、Windows、macOS,并且可用于 Python、R,并且使用 catboost 构建的模型可用于C++、Java、C#、Rust、Core ML中的预测、ONNX和PMML。源代码已根据Apache 许可证获得许可,并可在 GitHub 上获取。
CatBoost是Yandex开发的开源软件库。它提供了一个梯度增强框架,其中尝试使用与经典算法相比的排列驱动替代方案来解决分类特征<ref>Zhang, Yixiao; Zhao, Zhongguo; Zheng, Jianghua (2020). "CatBoost: A new approach for estimating daily reference crop evapotranspiration in arid and semi-arid regions of Northern China." ''Journal of Hydrology'' 588: 125087. Elsevier.</ref>。它适用于Linux、Windows、macOS,并且可用于 Python、R,并且使用 catboost 构建的模型可用于C++、Java、C#、Rust、Core ML中的预测、ONNX和PMML。源代码已根据Apache 许可证获得许可,并可在 GitHub 上获取。
第58行: 第57行:
===参数配置===
===参数配置===
* 设置随机数:控制模型的随机性。
* 设置随机数:控制模型的随机性。
* 基础估计器选择:构建增强整体的基本估计器。默认基本估计器用决策树分类估计器,初始化最大深度为1。
* 评估算法:训练中使用的指标。指定的值还决定了要解决的机器学习问题。可选Logloss, 交叉熵, Precision, Recall, F1, MCC。
** 决策树,
* 树深:树的最大深度。
** 支持向量机。
* 迭代次数:使用CatBoost解决机器学习问题时可以构建的最大迭代次数。
* 估计器数量:默认为100。
* 学习率:默认0.1。
* Boosting算法选择:SAMME.R 算法通常比 SAMME 收敛得更快,从而通过更少的提升迭代实现更低的测试误差。
** SAMME:离散增强算法。
** SAMME.R:真实增强算法。
* 学习率:在每次迭代时应用于每个分类器的权重。较高的学习率会增加每个分类器的贡献。


===注意事项===
===注意事项===
第74行: 第69行:
== 参考文献 ==
== 参考文献 ==
{{reflist}}
{{reflist}}


{{Navplate AlgorithmNodeList}}
{{Navplate AlgorithmNodeList}}


[[Category:分类训练器]]
[[Category:分类训练器]]

2024年1月22日 (一) 10:20的最新版本

Boosting CatBoost.png
节点状态
Windows / Windows 10 Win10及以上可用
V1.0部署
CatBoostBoosting CatBoost.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名Boosting_CatBoost
功能主类别机器学习
英文缩写CatBoost
功能亚类别分类训练器
节点类型数据挖掘
开发语言Python
节点简介

CatBoost是一种基于梯度提升树的机器学习算法,由Yandex开发。它专门用于处理分类问题,并具有许多独特的特性和优势。

CatBoost旨在提供高性能、可扩展且易于使用的机器学习解决方案。

端口数量与逻辑控制(PC)
Input-入口2个
Output-出口3个
Loop-支持循环
If/Switch-支持逻辑判断
输入输出
可生成图片类型(推荐)
可生成数据表类型(推荐)
相关节点
上一节点XGBoost
下一节点Logistic分类器



算法概述

CatBoost是Yandex开发的开源软件库。它提供了一个梯度增强框架,其中尝试使用与经典算法相比的排列驱动替代方案来解决分类特征[1]。它适用于Linux、Windows、macOS,并且可用于 Python、R,并且使用 catboost 构建的模型可用于C++、Java、C#、Rust、Core ML中的预测、ONNX和PMML。源代码已根据Apache 许可证获得许可,并可在 GitHub 上获取。

示例代码-CatBoost分类节点

该节点使用Python编写,调用catboost包[2]。以下为示例代码:

from catboost import CatBoostClassifier
model = CatBoostClassifier(
    iterations=15,
    verbose=3
)
model.fit(
    X_train, y_train,
    cat_features=cat_features,
    eval_set=(X_validation, y_validation),
)

如果想使用完全代码请参考:https://github.com/catboost/tutorials/

拟合后,模型可以用于预测样本的类别,可以在通用预测模块实现内外部测试集的预测。

节点使用指南

  • 最适用的场景:决策树可用于解决分类问题,其中目标是将数据分为不同的类别或预测数据的类别。
  • 处理的数据类型:结局变量为二分类,特征变量大多数为连续型的变量。

变量配置

  • 选择特征变量:作为特征进行学习的变量(X),多选。
  • 选择目标变量:作为结局的二分类变量(y),单选。

参数配置

  • 设置随机数:控制模型的随机性。
  • 评估算法:训练中使用的指标。指定的值还决定了要解决的机器学习问题。可选Logloss, 交叉熵, Precision, Recall, F1, MCC。
  • 树深:树的最大深度。
  • 迭代次数:使用CatBoost解决机器学习问题时可以构建的最大迭代次数。
  • 学习率:默认0.1。

注意事项

  • 不支持带空值运算,用多重插补插补空值进行插补,
  • 节点不出图,
  • 导入该节点的数据端口为训练数据集,导入前注意转换。

参考文献

  1. Zhang, Yixiao; Zhao, Zhongguo; Zheng, Jianghua (2020). "CatBoost: A new approach for estimating daily reference crop evapotranspiration in arid and semi-arid regions of Northern China." Journal of Hydrology 588: 125087. Elsevier.
  2. Hancock, John T.; Khoshgoftaar, Taghi M. (2020). "CatBoost for big data: an interdisciplinary review." Journal of big data 7(1): 1-45.


查找其他类别的节点,请参考以下列表