CatBoost：修订间差异

来自决策链云智库
第29行： 第29行：


==算法概述==
==算法概述==
AdaBoost是Adaptive Boosting的缩写，是Yoav Freund和Robert Schapire于1995年制定的一种统计分类元算法<ref>{{cite book |author1=Freund, Yoav |author2=Schapire, Robert E. |title=A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting |publisher=Springer Berlin Heidelberg |location=Berlin, Heidelberg |year=1995 |pages=23–37 |doi=10.1007/3-540-59119-2_166 |isbn=978-3-540-59119-1}}</ref>，他们的工作获得了2003年哥德尔奖。它可以与许多其他类型的学习算法结合使用，以提高性能。其他学习算法（“基础估计器”）的输出被组合成表示增强分类器的最终输出的加权和。通常，AdaBoost是用于二进制分类的，尽管它可以推广到多个类上的有界区间。AdaBoost首先在原始数据集上拟合分类模型，然后在同一数据集上匹配分类模型的附加副本，但其中调整了错误分类实例的权重，使后续分类器更多地关注被错误分类的情况。<ref>{{cite journal |author1=Hastie, Trevor |author2=Rosset, Saharon |author3=Zhu, Ji |author4=Zou, Hui |title=Multi-class AdaBoost |journal=Statistics and Its Interface |volume=2 |issue=3 |year=2009 |pages=349–360}}</ref>
CatBoost是Yandex开发的开源软件库。它提供了一个梯度增强框架，其中尝试使用与经典算法相比的排列驱动替代方案来解决分类特征<ref>Zhang, Yixiao; Zhao, Zhongguo; Zheng, Jianghua (2020). "CatBoost: A new approach for estimating daily reference crop evapotranspiration in arid and semi-arid regions of Northern China." ''Journal of Hydrology'' 588: 125087. Elsevier.</ref>。它适用于Linux、Windows、macOS，并且可用于 Python、R，并且使用 catboost 构建的模型可用于C++、Java、C#、Rust、Core ML中的预测、ONNX和PMML。源代码已根据Apache 许可证获得许可，并可在 GitHub 上获取。


==示例代码-CatBoost分类节点==
==示例代码-CatBoost分类节点==

2024年1月19日 (五) 11:18的版本

Boosting CatBoost.png
节点状态
Windows / Windows 10 Win10及以上可用
在V1.0部署
CatBoostBoosting CatBoost.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名CatBoost
功能主类别机器学习
英文缩写CatBoost
功能亚类别分类训练器
节点类型数据挖掘
开发语言Python
节点简介

CatBoost是一种基于梯度提升树的机器学习算法，由Yandex开发。它专门用于处理分类问题，并具有许多独特的特性和优势。

CatBoost旨在提供高性能、可扩展且易于使用的机器学习解决方案。

端口数量与逻辑控制(PC)
Input-入口2个
Output-出口3个
Loop-支持循环否
If/Switch-支持逻辑判断否
输入输出
可生成图片类型（推荐）
可生成数据表类型（推荐）
相关节点
上一节点XGBoost
下一节点Logistic分类器
WikimediaUI-Globe.svg相关网站




算法概述

CatBoost是Yandex开发的开源软件库。它提供了一个梯度增强框架，其中尝试使用与经典算法相比的排列驱动替代方案来解决分类特征[1]。它适用于Linux、Windows、macOS，并且可用于 Python、R，并且使用 catboost 构建的模型可用于C++、Java、C#、Rust、Core ML中的预测、ONNX和PMML。源代码已根据Apache 许可证获得许可，并可在 GitHub 上获取。

示例代码-CatBoost分类节点

该节点使用Python编写，调用catboost包[2]。以下为示例代码： 

from catboost import CatBoostClassifier
model = CatBoostClassifier(
    iterations=15,
    verbose=3
)
model.fit(
    X_train, y_train,
    cat_features=cat_features,
    eval_set=(X_validation, y_validation),
)

如果想使用完全代码请参考：https://github.com/catboost/tutorials/

拟合后，模型可以用于预测样本的类别，可以在通用预测模块实现内外部测试集的预测。

节点使用指南

  • 最适用的场景：决策树可用于解决分类问题，其中目标是将数据分为不同的类别或预测数据的类别。
  • 处理的数据类型：结局变量为二分类，特征变量大多数为连续型的变量。

变量配置

  • 选择特征变量：作为特征进行学习的变量（X），多选。
  • 选择目标变量：作为结局的二分类变量（y），单选。

参数配置

  • 设置随机数：控制模型的随机性。
  • 基础估计器选择：构建增强整体的基本估计器。默认基本估计器用决策树分类估计器，初始化最大深度为1。
    • 决策树，
    • 支持向量机。
  • 估计器数量：默认为100。
  • Boosting算法选择：SAMME.R 算法通常比 SAMME 收敛得更快，从而通过更少的提升迭代实现更低的测试误差。
    • SAMME：离散增强算法。
    • SAMME.R：真实增强算法。
  • 学习率：在每次迭代时应用于每个分类器的权重。较高的学习率会增加每个分类器的贡献。

注意事项

  • 不支持带空值运算，用多重插补或插补空值进行插补，
  • 节点不出图，
  • 导入该节点的数据端口为训练数据集，导入前注意转换。

参考文献

  1. ↑ Zhang, Yixiao; Zhao, Zhongguo; Zheng, Jianghua (2020). "CatBoost: A new approach for estimating daily reference crop evapotranspiration in arid and semi-arid regions of Northern China." Journal of Hydrology 588: 125087. Elsevier.
  2. ↑ Hancock, John T.; Khoshgoftaar, Taghi M. (2020). "CatBoost for big data: an interdisciplinary review." Journal of big data 7(1): 1-45.

查找其他类别的节点，请参考以下列表

取自“https://wiki.statsape.com/index.php?title=CatBoost&oldid=5464”
最近修改
此页面最后编辑于2024年1月19日 (星期五) 11:18。
版权
DecisionLinnc Wiki (决策链云智库) © 2024 by Statsape is licensed under Attribution-NonCommercial-ShareAlike 4.0 International. To view a copy of this license, visit [http://creativecommons.org/licenses/by-nc-sa/4.0/| CreativeCommons-Licenses-4.0].