Welch检验

来自决策链云智库
RainW讨论 | 贡献2024年2月9日 (五) 09:52的版本
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
Welch Test.png
节点状态
Windows / Windows 10 Win10及以上可用
V1.0部署
Welch检验Welch Test.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名Welch Test
功能主类别数据分析
英文缩写WlcTest
功能亚类别方差分析
节点类型数据挖掘
开发语言R
节点简介

Welch检验是指采用Welch分布的统计量检验各组均值是否相等。Welch分布近似于F分布,采用Welch检验对方差齐性没有要求,所以当数据的分布不满足方差齐性的要求时,采用Welch检验比F检验更稳妥。

用途:假设各组方差不等的情况下,用于检验两个或多个总体均值是否存在显著差异。

参数:选择连续型数值变量和分类分组变量

端口数量与逻辑控制(PC)
Input-入口4个
Output-出口3个
Loop-支持循环
If/Switch-支持逻辑判断
输入输出
可生成图片类型(推荐)
可生成数据表类型(推荐)
相关节点
上一节点方差齐性检验
下一节点球形检验



统计学中,韦尔奇的t检验,或称不等方差t检验,是一种两样本位置检验,用于检验两个总体均值是否相等的(零)假设。它以其创造者伯纳德·刘易斯·韦尔奇的名字命名,是学生t检验的一个适应性改进[1],当两个样本具有不等方差甚至可能不等样本量时更为可靠。[2][3] 这些检验通常被称为“非配对的”或“独立样本的”t检验,因为它们通常应用于两个被比较样本的统计单位不重叠的情况。鉴于韦尔奇的t检验不如学生的t检验流行[2],且可能对读者来说不太熟悉,一个更具信息性的名称是“韦尔奇的不等方差t检验”——或简称“不等方差t检验”。[3]

假设

学生的t检验假设两个总体的样本均值呈正态分布,并且这些总体具有相等的方差。韦尔奇的t检验则是为不等总体方差设计的,但仍维持正态分布的假设。[1] 韦尔奇的t检验是贝伦斯-费舍尔问题的一个近似解决方案。

计算

韦尔奇的t检验通过以下公式定义统计量t

[math]t = \frac{\Delta\overline{X}}{s_{\Delta\bar{X}}} = \frac{\overline{X}_1 - \overline{X}_2}{\sqrt{ {s_{\bar{X}_1}^2} + {s_{\bar{X}_2}^2} }}\,[/math]
[math]s_{\bar{X}_i} = {s_i \over \sqrt{N_i}} \,[/math]

其中[math]\overline{X}_i[/math]和[math]s_{\bar{X}_i}[/math]分别是第[math]i^\text{th}[/math]个样本均值及其标准误差,[math]s_i[/math]表示校正的样本标准差样本量为[math]N_i[/math]。与学生的t检验不同,分母并非基于合并方差估计。

与这种方差估计相关的自由度[math]\nu[/math] 是使用韦尔奇-萨特思韦特方程近似计算的:[4]

[math]\nu \approx \frac{\left(\frac{s_{1}^{2}}{N_{1}}+\frac{s_{2}^{2}}{N_{2}}\right)^{2}}{\frac{s_{1}^{4}}{N_{1}^{2} \nu_{1}}+\frac{s_{2}^{4}}{N_{2}^{2} \nu_{2}}} .[/math]

当[math]N_1 = N_2[/math]时,这个表达式可以简化为:

[math]\nu \approx \frac{s_{\Delta \bar{X}}^{4}}{\nu_{1}^{-1} s_{\bar{X}_{1}}^{4}+\nu_{2}^{-1} s_{\bar{X}_{2}}^{4}}[/math]

此处,[math]\nu_i = N_i-1[/math]是与第i个方差估计相关的自由度。

由于我们有卡方分布的近似,所以该统计量大致符合t分布。当[math]N_1[/math]和[math]N_2[/math]都大于5时,这种近似更为准确。[5][6]

统计检验

一旦计算出t[math]\nu[/math],这些统计量可以与t分布一起使用来检验两种可能的零假设之一:

  • 两个总体均值相等,此时应用双尾检验;或
  • 其中一个总体均值大于或等于另一个,此时应用单尾检验

这些近似自由度是实数[math]\left(\nu\in\mathbb{R}^+\right)[/math],在面向统计的软件中就是这样使用的,而在电子表格中则向下舍入到最接近的整数。

优势与局限性

韦尔奇的t检验比学生t检验更为稳健,能够在方差不等和样本量不等的情况下,保持第一类和第二类错误率接近名义水平。此外,即使在总体方差相等且样本量均衡的情况下,韦尔奇的t检验的功效也接近学生t检验的功效。[2] 韦尔奇的t检验可以推广到2个以上的样本,[7] 这比one-way analysis of variance (ANOVA)更为稳健。

不推荐先进行方差相等的预检验,然后在学生t检验和韦尔奇t检验之间选择。[8] 相反,如上所述,可以直接应用韦尔奇的t检验,而没有对学生t检验的任何实质性不利影响。韦尔奇的t检验对于偏态分布和大样本量仍然稳健。[9] 对于偏态分布和较小的样本量,其可靠性会降低,在这种情况下可以考虑执行韦尔奇的t检验。[10]

示例

以下三个示例比较了韦尔奇的t检验和学生t检验。样本来自使用R编程语言的随机正态分布。

对于所有三个示例,总体均值为[math]\mu_1 = 20[/math]和[math]\mu_2 = 22[/math]。

第一个示例是对于不等但接近的方差([math]\sigma_1^2 = 7.9[/math],[math]\sigma_2^2 = 3.8[/math])和相等的样本量([math]N_1 = N_2 = 15[/math])。让A1和A2表示两个随机样本:

[math]A_1 = \{27.5, 21.0, 19.0, 23.6, 17.0, 17.9, 16.9, 20.1, 21.9, 22.6, 23.1, 19.6, 19.0, 21.7, 21.4\}[/math]
[math]A_2 = \{27.1, 22.0, 20.8, 23.4, 23.4, 23.5, 25.8, 22.0, 24.8, 20.2, 21.9, 22.1, 22.9, 20.5, 24.4\}[/math]

第二个示例是对于不等的方差([math]\sigma_1^2 = 9.0[/math],[math]\sigma_2^2 = 0.9[/math])和不等的样本量([math]N_1 = 10[/math],[math]N_2 = 20[/math])。较小的样本具有更大的方差:

[math]\begin{align} A_1 &= \{17.2, 20.9, 22.6, 18.1, 21.7, 21.4, 23.5, 24.2, 14.7, 21.8\} \\ A_2 &= \{21.5, 22.8, 21.0, 23.0, 21.6, 23.6, 22.5, 20.7, 23.4, 21.8, 20.7, 21.7, 21.5, 22.5, 23.6, 21.5, 22.5, 23.5, 21.5, 21.8\} \end{align}[/math]

第三个示例是对于不等的方差([math]\sigma_1^2 = 1.4[/math],[math]\sigma_2^2 = 17.1[/math])和不等的样本量([math]N_1 = 10[/math],[math]N_2 = 20[/math])。较大的样本具有更大的方差:

[math]\begin{align} A_1 &= \{19.8, 20.4, 19.6, 17.8, 18.5, 18.9, 18.3, 18.9, 19.5, 22.0\} \\ A_2 &= \{28.2, 26.6, 20.1, 23.3, 25.2, 22.1, 17.7, 27.6, 20.6, 13.7, 23.2, 17.5, 20.6, 18.0, 23.9, 21.6, 24.3, 20.4, 24.0, 13.2\} \end{align}[/math]

通过模拟t统计量的分布来获得参考p值,用于检验总体均值相等的零假设([math]\mu_1 - \mu_2 =0[/math])。结果在下表中总结,显示了双尾p值:

Sample A1 Sample A2 Student's t-test Welch's t-test
Example [math]N_1[/math] [math]\overline{X}_1[/math] [math]s_1^2[/math] [math]N_2[/math] [math]\overline{X}_2[/math] [math]s_2^2[/math] [mathmath>[/math] style="text-align:center;"| [mathmath>[/math] style="text-align:center;"| [mathmath>[/math] style="text-align:center;"| [math]P_\mathrm{sim}[/math] [mathmath>[/math] style="text-align:center;"| [mathmath>[/math] style="text-align:center;"| [mathmath>[/math] style="text-align:center;"| [math]P_\mathrm{sim}[/math]
1 15 20.8 7.9 15 23.0 3.8 −2.46 28 0.021 0.021 −2.46 24.9 0.021 0.017
2 10 20.6 9.0 20 22.1 0.9 −2.10 28 0.045 0.150 −1.57 9.9 0.149 0.144
3 10 19.4 1.4 20 21.6 17.1 −1.64 28 0.110 0.036 −2.22 24.5 0.036 0.042

当两个样本具有相似的方差和样本量时(示例1),韦尔奇的t检验和学生t检验给出了相同的结果。但请注意,即使您从具有相同方差的总体中采样,样本方差也会不同,两个t检验的结果也会有所不同。因此,使用实际数据时,两个检验几乎总是会给出略有不同的结果。

对于不等方差,当较小样本具有较大方差时(示例2),学生t检验给出了低p值;当较大样本具有较大方差时(示例3),学生t检验给出了高p值。对于不等方差,韦尔奇t检验给出的p值接近模拟p值。

节点使用的R语言示例代码

Welch检验

oneway.test(formula, data, subset, na.action, var.equal = FALSE)

节点使用指南

  • 用于确定两个独立样本是否有显著差异的统计检验
  • 适用于当两个群体的方差不相等或样本大小不同的情况
  • Welch检验不要求两个总体具有相同的方差

方法选择

  • 无方法选择

参数配置

  • 统计变量:选择连续型数值变量,每个变量会做一次Welch检验
  • 分组变量:选择一个分类分组变量
  • 筛选阈值:选择需要的P值阈值,节点会自动将满足阈值的变量筛选出,数据集也会同步筛选出满足的变量。
  • 统计变量和分组变量要规避复用
  • 此算法兼容空值

注意事项

  • 确保两个样本是独立的,即一个样本中的观测并不影响另一个样本中的观测
  • 对于极小的样本量,检验的效力会下降,这意味着检验发现实际差异的能力降低

引用

  1. 1.0 1.1 Welch, B. L. (1947). "当涉及到几个不同的总体方差时,"学生"的问题的推广". Biometrika. 34 (1–2): 28–35. doi:10.1093/biomet/34.1-2.28. MR 0019277. PMID 20287819.
  2. 2.0 2.1 2.2 Ruxton, G. D. (2006). "不等方差t检验是学生t检验和Mann–Whitney U检验的一种未被充分利用的替代方案". 行为生态学. 17 (4): 688–690. doi:10.1093/beheco/ark016.
  3. 3.0 3.1 Derrick, B; Toher, D; White, P (2016). "为什么韦尔奇检验在I型错误上是健壮的" (PDF). 心理学的定量方法. 12 (1): 30–38. doi:10.20982/tqmp.12.1.p030.
  4. [ 7.3.1. Do two processes have the same mean?], 工程统计手册, NIST. (2021-07-30访问的在线资源。)
  5. Allwood, Michael (2008). "双样本t检验中自由度的萨特思韦特公式" (PDF). p. 6.
  6. Yates; Moore; Starnes (2008). 统计实践 (第3版 ed.). 纽约: W.H. Freeman and Company. p. 792. ISBN 9780716773092.
  7. Welch, B. L. (1951). "On the Comparison of Several Mean Values: An Alternative Approach". Biometrika. 38 (3/4): 330–336. doi:10.2307/2332579. JSTOR 2332579.
  8. Zimmerman, D. W. (2004). "A note on preliminary tests of equality of variances". British Journal of Mathematical and Statistical Psychology. 57 (Pt 1): 173–181. doi:10.1348/000711004849222. PMID 15171807.
  9. Fagerland, M. W. (2012). "t-tests, non-parametric tests, and large studies—a paradox of statistical practice?". BMC Medical Research Methodology. 12: 78. doi:10.1186/1471-2288-12-78. PMC 3445820. PMID 22697476.
  10. Fagerland, M. W.; Sandvik, L. (2009). "Performance of five two-sample location tests for skewed distributions with unequal variances". Contemporary Clinical Trials. 30 (5): 490–496. doi:10.1016/j.cct.2009.06.007. PMID 19577012.

查找其他类别的节点,请参考以下列表