符号检验

来自决策链云智库
RainW讨论 | 贡献2024年1月24日 (三) 13:42的版本
Sign Test.png
节点状态
Windows / Windows 10 Win10及以上可用
V1.0.2部署
符号检验Sign Test.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名Sign Test
功能主类别数据分析
英文缩写SigT
功能亚类别非参数检验
节点类型数据挖掘
开发语言R
节点简介

符号检验是一种非参数检验方法。通过两个相关样本的每对数据之差的符号进行检验,从而比较两个样本的显著性。如果两个配对的样本实际没差别,则样本相减的差值应当大致一半正一半负。样本总体不受分布限制,可以不满足正态分布。

用途:用于检验两组配对观测值或者一组观测值与一个固定值比较时的差异性。

参数:选择连续型数值变量和分类分组变量。

端口数量与逻辑控制(PC)
Input-入口4个
Output-出口3个
Loop-支持循环
If/Switch-支持逻辑判断
输入输出
可生成图片类型(推荐)
可生成数据表类型(推荐)
相关节点
上一节点Ridit分析
下一节点游程检验



符号检验是一种统计方法,用于检验观察对之间的一致性差异,例如治疗前后受试者的体重。对于每个受试者给定的观察对(如治疗前后的体重),符号检验确定成对中的一个成员(如治疗前)是否倾向于大于(或小于)另一个成员(如治疗后)。

成对观察可以指定为xy。对于成对观察(x,y)的比较,如果比较只能表达为x > yx = yx < y,那么符号检验最有用。如果相反,观察可以表示为数字量(x = 7,y = 18),或作为等级(x的排名 = 第1位,y的排名 = 第8位),那么成对的t检验[1]Wilcoxon符号秩检验[2]通常比符号检验更有力量检测一致性差异。

如果X和Y是定量变量,符号检验可用于检验假设XY之间的差异中位数为零,假设两个随机变量XY有连续的分布,在我们可以从XY中抽取成对样本的情况下。[3]

符号检验还可以检验一组数字的中位数是否显著大于或小于特定值。例如,给定一个班级中学生的成绩列表,符号检验可以确定中位成绩是否与75分(满分100分)显著不同。

符号检验是一种非参数检验,对测试中的分布性质几乎没有假设——这意味着它具有非常广泛的适用性,但可能缺乏替代检验的统计功效

成对样本符号检验的两个条件是样本必须从每个总体中随机选取,且样本必须是依赖的,或成对的。 独立样本无法有意义地成对。由于检验是非参数的,样本不必来自正态分布的总体。此外,该检验适用于左尾、右尾和双尾检验。

方法

p = Pr(X > Y),然后检验零假设 H0: p = 0.50。换句话说,零假设表明,给定一对随机测量值(xiyi),那么xiyi有同等可能性比另一个更大。

为了检验零假设,从总体中收集独立对的样本数据{(x1y1),(x2y2),...,(xnyn)}。对于没有差异的对将被省略,因此可能会有一个减少的m对样本。[4]

然后设Wyi − xi > 0的对数。假设H0为真,则W遵循二项分布W ~ b(m, 0.5)。

假设

Zi = Yi − Xi,对于i = 1,..., n

  1. 假设差异Zi是独立的。
  2. 每个Zi来自相同的连续总体。
  3. XiYi代表的值是有序的(至少是序数尺度),因此比较“大于”、“小于”和“等于”是有意义的。

显著性检验

由于预期检验统计量遵循二项分布,因此使用标准二项检验来计算显著性。对于大样本量(m > 25),可以使用二项分布的正态近似[4]

左尾值由Pr(Ww)计算,这是替代假设H1: p < 0.50的p值。这种替代意味着X的测量值倾向于更高。

右尾值由Pr(Ww)计算,这是替代假设H1: p > 0.50的p值。这种替代意味着Y的测量值倾向于更高。

对于双侧替代H1,p值是两个较小尾值的两倍。

配对样本的双侧符号检验示例

Zar给出了配对样本的符号检验的以下示例。收集了10只鹿的左后腿和左前腿的长度数据。[5]

鹿 后腿长度 (厘米) 前腿长度 (厘米) 差异
1 142 138 +
2 140 136 +
3 144 147
4 144 139 +
5 142 143
6 146 141 +
7 149 143 +
8 150 145 +
9 142 136 +
10 148 146 +

原假设是鹿的后腿长度和前腿长度之间没有差异。备择假设是后腿长度与前腿长度之间存在差异。这是一个双侧检验,而不是单侧检验。对于双侧检验,备择假设是后腿长度可能大于或小于前腿长度。单侧检验可能是后腿长度大于前腿长度,因此差异只能朝一个方向(大于)。

有n=10只鹿。有8个正差异和2个负差异。如果原假设成立,即后腿和前腿长度之间没有差异,那么预期的正差异数量是10中的5。如果后腿和前腿长度没有差异,观察到8个正差异或更极端结果的概率是多少?

因为检验是双侧的,与8个正差异一样极端或更极端的结果包括8、9或10个正差异,以及0、1或2个正差异的结果。在10只鹿中有8个或更多正差异或2个或更少正差异的概率与在公平硬币抛掷10次中出现8个或更多正面或2个或更少正面的概率相同。可以使用二项式检验计算这些概率,正面的概率 = 反面的概率 = 0.5。

  • 公平硬币抛掷10次中出现0个正面的概率 = 0.00098
  • 公平硬币抛掷10次中出现1个正面的概率 = 0.00977
  • 公平硬币抛掷10次中出现2个正面的概率 = 0.04395
  • 公平硬币抛掷10次中出现8个正面的概率 = 0.04395
  • 公平硬币抛掷10次中出现9个正面的概率 = 0.00977
  • 公平硬币抛掷10次中出现10个正面的概率 = 0.00098

10次中出现8个正差异的双侧概率是这些概率之和:

0.00098 + 0.00977 + 0.04395 + 0.04395 + 0.00977 + 0.00098 = 0.109375。

因此,如果后腿和前腿长度没有差异,观察到10次中8个正差异的概率是p = 0.109375。在p = 0.05的显著性水平下,原假设不被拒绝。如果样本量更大,可能有足够的证据拒绝原假设。

由于观察值可以表示为数字量(实际腿长),配对t检验或Wilcoxon符号秩检验通常比符号检验具有更大的功效来检测一致的差异。对于这个示例,配对t检验的差异表明后腿长度和前腿长度存在显著差异(p = 0.007)。

如果观察到的结果是10次比较中有9个正差异,符号检验将是显著的。只有0、1、9或10个正面的硬币抛掷结果才与观察结果一样极端或更极端。

  • 公平硬币抛掷10次中出现0个正面的概率 = 0.00098
  • 公平硬币抛掷10次中出现1个正面的概率 = 0.00977
  • 公平硬币抛掷10次中出现9个正面的概率 = 0.00977
  • 公平硬币抛掷10次中出现10个正面的概率 = 0.00098

10次中出现9个正差异的概率是这些概率之和:

0.00098 + 0.00977 + 0.00977 + 0.00098 = 0.0215。

一般来说,10次中有8个正差异不显著(p = 0.11),但10次中有9个正差异是显著的(p = 0.0215)。

示例

配对样本的单侧符号检验示例

Conover[6]使用配对样本的单侧符号检验给出以下示例。一家制造商生产两种产品,A和B。制造商希望知道消费者是否更喜欢产品B而非产品A。抽取了10名消费者,每人分别给予产品A和产品B,并询问他们更喜欢哪种产品。

原假设是消费者不偏好产品B超过产品A。备择假设是消费者更喜欢产品B。这是一个单侧(定向)检验。

研究结束时,8名消费者更喜欢产品B,1名消费者更喜欢产品A,还有一名报告无偏好。

  • 正数(偏好B)= 8
  • 负数(偏好A)= 1
  • 平局(无偏好)= 1

将平局排除在分析之外,给出n = 正数和负数的数量 = 8 + 1 = 9。

如果原假设成立,即消费者对B和A没有偏好,那么9对中有8个正面结果的概率是多少?这是公平硬币抛掷9次中出现8个或更多正面的概率,可以使用二项分布计算,p(正面) = p(反面) = 0.5。

公平硬币抛掷9次中出现8或9个正面的概率 = 0.0195。原假设被拒绝,制造商得出结论,消费者更喜欢产品B而非产品A。

用于单样本中位数的符号检验示例

Sprent [7] 提供了以下用于中位数的符号检验示例。在一项临床试验中,收集了10名非霍奇金淋巴瘤患者的存活时间(周)。一名受试者在研究结束时仍存活超过362周,其确切存活时间未知。受试者的存活时间分别为:

49, 58, 75, 110, 112, 132, 151, 276, 281, 362+

加号表示研究结束时仍存活的受试者。研究者希望确定中位存活时间是少于还是超过200周。

零假设是中位存活时间为200周。 备选假设是中位存活时间不为200周。这是一个双侧检验:备选中位数可能大于或小于200周。

如果零假设成立,即中位存活时间为200周,那么在随机样本中大约有一半的受试者存活时间少于200周,另一半超过200周。低于200的观测值被赋予负号(−),高于200的观测值被赋予正号(+)。对于这10名受试者的存活时间,有7个观测值低于200周(−),3个观测值超过200周(+)。

由于任何一个观测值都同样可能高于或低于人群中位数,因此正号得分的数量将呈二项分布,平均值 = 0.5。那么在10名受试者中有7人低于中位数的结果概率是多少?这与在10次公平硬币投掷中出现7次正面的概率完全相同。由于这是一个双侧检验,极端结果可以是三次或更少的正面,或七次或更多的正面。

在10次公平硬币投掷中观察到k次正面的概率,其中p(正面) = 0.5,由二项式公式给出:

Pr(正面次数 = k) = Choose(10, k) × 0.510

下表给出了各个k值的概率。

k 0 1 2 3 4 5 6 7 8 9 10
Pr 0.0010 0.0098 0.0439 0.1172 0.2051 0.2461 0.2051 0.1172 0.0439 0.0098 0.0010

在10次投掷中出现0、1、2、3、7、8、9或10次正面的概率是它们各自概率的总和:

0.0010 + 0.0098 + 0.0439 + 0.1172 + 0.1172 + 0.0439 + 0.0098 + 0.0010 = 0.3438。

因此,如果中位存活时间为200周,则观察到3次或更少正号或7次或更多正号的概率为0.3438。如果零假设成立,预期的正号数量为5。观察到3次或更少,或7次或更多正号与5次没有显著差异。零假设未被拒绝。由于样本量极小,此样本检测差异的能力较低。

历史

康诺佛(Conover)[6] 和斯普伦特(Sprent)[7] 描述了约翰·阿布纳特(John Arbuthnot)在1710年使用符号检验的情况。阿布纳特检查了从1629年到1710年的82年间伦敦的出生记录。在这每一年中,伦敦出生的男性数量都超过了女性数量。如果出生数量相等的零假设为真,那么观察到的结果概率为1/282,这使阿布纳特得出结论,男女出生的概率并不完全相等。

由于他在1692年和1710年的出版物,《阿布纳特被认为是“……第一次使用显著性检验……”[8],关于统计显著性和道德确定性的推理的第一个例子,[9] 和“……可能是第一个发布的非参数检验的报告……”。[6]

哈尔德(Hald)[9] 进一步描述了阿布纳特研究的影响。

“尼古拉斯·伯努利(Nicholas Bernoulli)(1710–1713)通过表明,每年男性出生数的大部分变化可以解释为二项式,其中p = 18/35,完成了对阿布纳特数据的分析。这是第一个将二项式拟合到数据的例子。因此,我们在这里有一个拒绝假设 p = 0.5 的显著性检验,接着是对p的估计和对拟合优度的讨论”

节点使用的R语言示例代码

符号检验

binom.test(x, n, p = 0.5,
           alternative = c("two.sided", "less", "greater"),
           conf.level = 0.95)

节点使用指南

  • 一种非参数(non-parametric)统计检验方法
  • 用于比较两个匹配样本或重复测量的中位数是否存在显著差异
  • 统计正差异和负差异的数量,即计数差异大于零和小于零的次数

方法选择

  • 无方法选择

参数配置

  • 分组变量:选择二分类分组变量
  • 统计变量:选择一个或多个连续型数值变量,每个变量与分组变量做一次符号检验
  • 置信区间百分比:输入百分比,95%置信区间就是0.95
  • 检验方向: 双侧检验和单侧检验。单侧检验又分为左侧检验和右侧检验
  • 筛选阈值:选择需要的P值阈值,节点会自动将满足阈值的变量筛选出,数据集也会同步筛选出满足的变量。
  • 分组变量和统计变量要规避复用
  • 此算法兼容空值

注意事项

  • 分组变量必须是二分类
  • 有一对匹配的样本或者一组受试对象的重复测量数据

引用

  1. Baguley, Thomas (2012), Serious Stats: A Guide to Advanced Statistics for the Behavioral Sciences, Palgrave Macmillan, p. 281, ISBN 9780230363557.
  2. Corder, Gregory W.; Foreman, Dale I. (2014), "3.6 Statistical Power", Nonparametric Statistics: A Step-by-Step Approach (2nd ed.), John Wiley & Sons, ISBN 9781118840429.
  3. 中位数的符号检验 // STAT 415 Intro Mathematical Statistics. 宾夕法尼亚州立大学.
  4. 4.0 4.1 Mendenhall W, Wackerly DD, Scheaffer RL (1989), "15: 非参数统计", Mathematical statistics with applications (Fourth ed.), PWS-Kent, pp. 674–679, ISBN 0-534-92026-8
  5. Zar, Jerold H. (1999), "Chapter 24: More on Dichotomous Variables", Biostatistical Analysis (Fourth ed.), Prentice-Hall, pp. 516–570, ISBN 0-13-081542-X
  6. 6.0 6.1 6.2 Conover, W.J. (1999), "第3.4章:符号检验", Practical Nonparametric Statistics (Third ed.), Wiley, pp. 157–176, ISBN 0-471-16068-7
  7. 7.0 7.1 Sprent, P. (1989), Applied Nonparametric Statistical Methods (Second ed.), Chapman & Hall, ISBN 0-412-44980-3
  8. Bellhouse, P. (2001), "约翰·阿布纳特", in Statisticians of the Centuries by C.C. Heyde and E. Seneta, Springer, pp. 39–42, ISBN 0-387-95329-9
  9. 9.0 9.1 Hald, Anders (1998), "第4章:偶然还是设计:显著性检验", A History of Mathematical Statistics from 1750 to 1930, Wiley, p. 65

查找其他类别的节点,请参考以下列表