朴素贝叶斯

来自决策链云智库
Wurong讨论 | 贡献2024年1月19日 (五) 10:36的版本 →‎参数配置
Naïve Bayes.png
节点状态
Windows / Windows 10 Win10及以上可用
V1.0部署
朴素贝叶斯Naïve Bayes.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名朴素贝叶斯
功能主类别机器学习
英文缩写朴素贝叶斯
功能亚类别分类训练器
节点类型数据挖掘
开发语言Python
节点简介

朴素贝叶斯(Naive Bayes)是一种基于贝叶斯定理的机器学习算法,常用于解决分类问题。它假设特征之间是相互独立的(朴素假设),并利用贝叶斯定理计算后验概率,从而进行分类预测。/p>

端口数量与逻辑控制(PC)
Input-入口2个
Output-出口3个
Loop-支持循环
If/Switch-支持逻辑判断
输入输出
可生成图片类型(推荐)
可生成数据表类型(推荐)
相关节点
上一节点随机森林
下一节点通用预测模块



算法概述

在统计学中,朴素贝叶斯分类器是一类线性“概率分类器”,它假设给定目标类别的特征是条件独立的。这个假设的强度(naivity)就是分类器名称的由来。这些分类器是最简单的贝叶斯网络模型之一 [1]

朴素贝叶斯分类器具有高度的可扩展性,在学习问题中需要许多变量(特征因子)数量呈线性的参数。最大似然训练(Maximum-likelihood training)可以通过评估闭式表达式(closed-form expression)[2]来完成。这需要线性时间而不是像用于许多其他类型的分类器那样通过昂贵的迭代近似。在统计学文献中,朴素贝叶斯模型有多种名称,包括简单贝叶斯(simple Bayes)和独立贝叶斯(independent Bayes)。所有这些名称都引用了贝叶斯定理在分类器决策规则中的使用,但朴素贝叶斯(Naive Bayes)不是贝叶斯方法(Bayes Method)。

示例代码-朴素贝叶斯分类节点

该节点使用Python编写,调用scikit-learn包 [3]。以下为示例代码:

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
X, y = load_iris(return_X_y=True)
clf = LogisticRegression(random_state=0).fit(X, y)
clf.predict(X[:2, :])
clf.predict_proba(X[:2, :])
clf.score(X, y)

拟合后,模型可以用于预测样本的类别,可以在通用预测模块实现内外部测试集的预测。

节点使用指南

  • 最适用的场景:决策树可用于解决分类问题,其中目标是将数据分为不同的类别或预测数据的类别。
  • 处理的数据类型:结局变量为二分类,特征变量大多数为连续型的变量。

变量配置

  • 选择特征变量:作为特征进行学习的变量(X),多选。
  • 选择目标变量:作为结局的二分类变量(y),单选。

参数配置

  • 方法选择:
    • Multinomial(多项式朴素贝叶斯):适用于多分类问题,特征是描述文本或计数数据的离散值。它假设特征的概率分布服从多项式分布,通常用于文本分类任务,如垃圾邮件过滤和情感分析。
    • Bernoulli(伯努利朴素贝叶斯):适用于二分类问题,特征是描述是否发生的二元离散值(如出现或未出现)。它假设特征的概率分布服从伯努利分布,通常用于处理二进制特征的文本分类问题。
    • Categorical(分类朴素贝叶斯):适用于多分类问题,特征是描述离散值的离散值,但与Multinomial朴素贝叶斯不同,它不计算特征出现的次数,而是考虑特征之间的相等性。它适用于具有有限离散特征的分类问题。
    • Complement(补充朴素贝叶斯):适用于不平衡数据集的多分类问题。与其他朴素贝叶斯变种不同,Complement朴素贝叶斯使用补充概率估计,通过考虑非目标类别的信息来提高目标类别的分类性能。
    • Gaussian(高斯朴素贝叶斯):适用于连续特征的分类问题,假设特征的概率分布服从高斯分布(正态分布)。它通过计算每个类别在每个特征上的均值和方差来估计概率分布,然后使用贝叶斯定理进行分类。高斯朴素贝叶斯常用于处理实数特征的问题。

注意事项

  • 不支持带空值运算,用多重插补插补空值进行插补,
  • 节点不出图,
  • 导入该节点的数据端口为训练数据集,导入前注意转换。
  • Logistic回归是具有二项式/伯努利条件分布和Logit link的广义线性模型(GLM)的一个特例。逻辑回归的数字输出,即预测概率,可以通过应用阈值(默认为0.5)作为分类器。这就是它在决策链中的实现方式,因此它需要有一个分类的结局变量,使逻辑回归成为分类器。

参考文献

  1. "Naive Bayes Classifier". Wikipedia. Retrieved 2024-01-19.
  2. Russell, Stuart; Norvig, Peter (2003) [1995]. Artificial Intelligence: A Modern Approach (2nd ed.). Prentice Hall. ISBN 978-0137903955.
  3. Kramer, Oliver (2016). "Scikit-learn". Machine learning for evolution strategies. Springer: 45--53.

查找其他类别的节点,请参考以下列表