F检验

来自决策链云智库
RainW（讨论 | 贡献）2024年2月8日 (四) 10:32的版本
F Test.png
节点状态
Windows / Windows 10 Win10及以上可用
在V1.0部署
F检验F Test.svg
节点开发者决策链算法研发部 (Dev.Team-DPS)
节点英文名F_Test
功能主类别数据分析
英文缩写FTest
功能亚类别方差分析
节点类型数据挖掘
开发语言R
节点简介

F检验也称方差比率检验、方差齐性检验。它是一种在零假设（null hypothesis, H0）之下，统计值服从F-分布的检验。主要通过比较两组数据的方差, 以确定两者密度是否有显著性差异, 也是检查多组均值之间的差异。

用途：用于比较两个或多个样本或群体的方差是否显著不同。F检验常常用在方差分析中，以确定不同组别之间是否存在显著差异。

参数：选择连续型数值变量

端口数量与逻辑控制(PC)
Input-入口4个
Output-出口3个
Loop-支持循环是
If/Switch-支持逻辑判断否
输入输出
可生成图片类型（推荐）
可生成数据表类型（推荐）
相关节点
上一节点G检验
下一节点One_Way_ANOVA
WikimediaUI-Globe.svg相关网站




模板:简短描述

文件:F-test plot.svg
自由度为 d1 和 d2 = 10，在显著性水平 0.05 的 f-检验概率密度函数（pdf）。(红色阴影区域表示临界区域)

一个F 检验是用于比较两个样本方差或多个样本方差比的任何统计检验。检验统计量，随机变量 F，用于确定在真实零假设下，测试数据是否符合F 分布，以及误差项（ε）的真实惯常假定。[1] 它最常用于比较统计模型，这些模型已经适应于一个数据集合，以确定最适合从中抽取数据的人群的模型。精确的 "F 检验" 主要出现在使用最小二乘法拟合数据时。这个名称由George W. Snedecor创造，以纪念Ronald Fisher。Fisher 最初在 1920 年代开发了这个统计量作为方差比。[2]

常见例子

F 检验的常见用途包括以下情况的研究： 

 ** 方差分析（ANOVA）的 F 检验遵循三个假设：
 **# 正态性
 **# 方差齐性
 **# 误差独立性 和 随机抽样
  • 假设提出的回归模型很好地拟合了数据。参见缺乏拟合的平方和。
  • 假设在回归分析中的数据集遵循两个提出的线性模型中较简单的一个，这两个模型是嵌套在彼此之内
  • 使用已完成F检验中所需的数据进行多重比较测试，如果F检验导致拒绝零假设且研究的因子对因变量有影响。[1]
 ** "a priori comparisons"/ "planned comparisons" - 一组特定的比较
 ** "pairwise comparisons" - 所有可能的比较
    *** 例如 Fisher's least significant difference (LSD) 测试，Tukey's honestly significant difference (HSD) 测试，Newman Keuls 测试，Ducan 测试
 ** "a posteriori comparisons"/ "post hoc comparisons"/ "exploratory comparisons" - 在检查数据后选择比较
    *** 例如 Scheffé's method

两个方差的等性F检验

WikimediaUI-ArticleDisambiguation-ltr.svg
Main article: F-test of equality of variances

F检验对于非正态性是敏感的。[3][4] 在analysis of variance (ANOVA)中，替代测试包括Levene's test、Bartlett's test和Brown–Forsythe test。然而，当任何这些测试被用来测试homoscedasticity（即方差的同质性）的基本假设作为测试均值效应的初步步骤时，实验整体Type I error率会增加。[5]

公式和计算

大多数F检验是通过考虑数据集中的变异性分解为平方和的形式产生的。F检验中的统计量是反映不同变异性来源的两个标度化平方和的比率。这些平方和的构造是为了当零假设不成立时统计量倾向于更大。为了使统计量在零假设下遵循F分布，这些平方和应该是统计独立的，且每一个都应遵循标度化的χ²分布。后一个条件如果数据值是独立的并且以一个共同的方差正态分布则可以保证。

单因素方差分析

单因素ANOVA F检验统计量的公式是

[math]F = \frac{\text{解释的方差}}{\text{未解释的方差}} ,[/math]

或

[math]F = \frac{\text{组间变异性}}{\text{组内变异性}}.[/math]

"解释的方差"，或"组间变异性"是

[math]

\sum_{i=1}^{K} n_i(\bar{Y}_{i\cdot} - \bar{Y})^2/(K-1) [/math]

其中[math]\bar{Y}_{i\cdot}[/math]表示第i组中的样本均值，[math]n_i[/math]是第i组中的观察数，[math]\bar{Y}[/math]表示数据的总体均值，[math]K[/math]表示组数。

"未解释的方差"，或"组内变异性"是

[math]

\sum_{i=1}^{K}\sum_{j=1}^{n_{i}} \left( Y_{ij}-\bar{Y}_{i\cdot} \right)^2/(N-K), [/math]

其中[math]Y_{ij}[/math]是第i组中第j个观察值，[math]N[/math]是总样本量。这个F统计量在零假设下遵循F分布，自由度为[math]d_1=K-1[/math]和[math]d_2=N-K[/math]。如果组间变异性相对于组内变异性较大，则统计量会很大，这在所有组的总体均值都具有相同值时不太可能发生。

文件:5% F table
F 表：5%的临界值水平，包含分母和分子的自由度范围从1到20

F检验的结果可以通过比较计算出的F值和特定显著性水平（例如，5%）的临界F值来确定。F表作为一个参考指南，包含了在零假设为真的假设下F统计量分布的临界F值。它旨在帮助确定F统计量预计超过控制百分比（例如，5%）的阈值。要在F表中找到临界F值，需要使用相应的自由度。这涉及到识别F表中对应于被测试的显著性水平（例如，5%）的适当行和列。[6]

如何使用临界F值：

如果F统计量 < 临界F值

  • 不能拒绝零假设
  • 拒绝备择假设
  • 样本平均值之间没有显著差异
  • 样本平均值之间观察到的差异可以合理地由随机机会本身引起
  • 结果统计上不显著

如果F统计量 > 临界F值

  • 接受备择假设
  • 拒绝零假设
  • 样本平均值之间存在显著差异
  • 样本平均值之间观察到的差异不可能仅由随机机会本身合理引起
  • 结果统计上显著

请注意，当单向ANOVA的F检验只有两个组时，[math]F = t^{2}[/math]，其中t是学生t统计量。

优点

  • 多组比较效率：便于同时比较多个组，特别是在涉及超过两个组的情况下，提高了效率。
  • 方差比较清晰度：提供了一种直观的解释组间方差差异，有助于清楚理解观察到的数据模式。
  • 跨学科的通用性：在社会科学、自然科学和工程等多个领域展示了广泛的适用性。

缺点

  • 对假设的敏感性：F检验对某些假设，如方差同质性和正态性高度敏感，这可能会影响测试结果的准确性。
  • 限于组间比较的范围：F检验专为比较组间方差而设计，不适合于此特定范围之外的分析。
  • 解释挑战：F检验不能指出具有显著方差差异的特定组对。需要仔细的解释，而且通常需要额外的事后测试，以便更详细地理解组间差异。

多重比较ANOVA问题

单向方差分析（ANOVA）中的F检验用于评估几个预定义组内的量化变量的expected values是否彼此不同。例如，假设一个医学试验比较四种治疗。ANOVA的F检验可以用来评估是否有任何治疗平均上优于或劣于其他治疗，与所有四种治疗产生相同平均反应的零假设相对。这是一个“全面”测试的例子，意味着执行一个测试来检测几个可能的差异。另一种方法，我们可以在治疗之间进行成对测试（例如，在有四种治疗的医学试验示例中，我们可以进行六个治疗对的测试）。ANOVA的F检验的优势在于我们不需要预先指定哪些治疗要比较，并且我们不需要调整以进行multiple comparisons。ANOVA的F检验的缺点是，如果我们拒绝null hypothesis，我们不知道哪些治疗可以说与其他治疗显著不同，也不知道，如果以α水平进行F检验，我们不能说具有最大平均差异的治疗对在α水平上显著不同。

回归问题

WikimediaUI-ArticleDisambiguation-ltr.svg
Further information: Stepwise regression

考虑两个模型，1和2，其中模型1嵌套于模型2中。模型1是受限模型，而模型2是非受限模型。也就是说，模型1有p1参数，而模型2有p2参数，其中p1 < p2，对于模型1中的任何参数选择，通过模型2的某些参数选择可以达到相同的回归曲线。

在这方面的一个常见情境是决定一个模型是否比一个仅有截距项的朴素模型显著更好地拟合数据，朴素模型是受限模型，因为所有潜在解释变量的系数被限制为等于零。

另一个常见情境是决定数据中是否存在结构性断点：这里受限模型使用一次回归处理所有数据，而非受限模型对数据的两个不同子集使用单独的回归。这种使用F检验被称为Chow test。

参数更多的模型总是至少能像参数较少的模型一样好地拟合数据。因此，通常模型2将比模型1更好（即误差更低）地拟合数据。但人们经常想要确定模型2是否显著更好地拟合数据。解决这个问题的一种方法是使用F检验。

如果有n个数据点用来估计两个模型的参数，那么可以计算F统计量，给出

[math]F=\frac{\left(\frac{\text{RSS}_1 - \text{RSS}_2 }{p_2 - p_1}\right)}{\left(\frac{\text{RSS}_2}{n - p_2}\right)} = \frac{\text{RSS}_1 - \text{RSS}_2 }{\text{RSS}_2} \cdot \frac{n - p_2}{p_2 - p_1},[/math]

其中RSSi是模型i的residual sum of squares。如果回归模型是用权重计算的，那么用χ2替换RSSi，即加权残差平方和。在零假设下，即模型2并没有比模型1提供显著更好的拟合，F将服从一个F分布，自由度为(p2−p1, n−p2)。如果从数据计算出的F大于F分布的某个期望的错误拒绝概率（例如0.05）的临界值，则拒绝零假设。由于F是似然比统计量的单调函数，F检验是一个likelihood ratio test。

节点使用的R语言示例代码

F检验

var.test(x, y, ratio = 1,
         alternative = c("two.sided", "less", "greater"),
         conf.level = 0.95, ...)

节点使用指南

  • 用于比较两个样本的方差是否存在显著性差异
  • 如果计算出的F值大于临界F值，则拒绝零假设（即存在方差不等的情况）

方法选择

  • 无方法选择

参数配置

  • 统计变量1：选择一个连续型数值变量
  • 统计变量2：选择一个或多个连续型数值变量，每一个变量将与变量1做一次F检验
  • 置信区间百分比:输入百分比，95%置信区间就是0.95
  • 检验方向: 双侧检验和单侧检验。单侧检验又分为左侧检验和右侧检验
  • 筛选阈值：选择需要的P值阈值，节点会自动将满足阈值的变量筛选出，数据集也会同步筛选出满足的变量。
  • 统计变量1和统计变量2要规避复用
  • 此算法兼容空值

注意事项

  • 当数据严重偏离正态分布时，F检验的结果可能不可靠
  • F检验对于大样本非常敏感，即使是微小的方差差异也可能被检测出来

引用

  1. ↑ 1.0 1.1 Berger, Paul D.; Maurer, Robert E.; Celli, Giovana B. (2018). 实验设计 (in English). Cham: Springer 国际出版社. p. 108. doi:10.1007/978-3-319-64583-4. ISBN 978-3-319-64582-7.
  2. ↑ Lomax, Richard G. (2007). 统计概念：第二课程. p. 10. ISBN 978-0-8058-5850-1.
  3. ↑ Box, G. E. P. (1953). "Non-Normality and Tests on Variances". Biometrika. 40 (3/4): 318–335. doi:10.1093/biomet/40.3-4.318. JSTOR 2333350.
  4. ↑ Markowski, Carol A; Markowski, Edward P. (1990). "Conditions for the Effectiveness of a Preliminary Test of Variance". The American Statistician. 44 (4): 322–326. doi:10.2307/2684360. JSTOR 2684360.
  5. ↑ Sawilowsky, S. (2002). "Fermat, Schubert, Einstein, and Behrens–Fisher: The Probable Difference Between Two Means When σ12 ≠ σ22". Journal of Modern Applied Statistical Methods. 1 (2): 461–472. doi:10.22237/jmasm/1036109940. Archived from the original on 2015-04-03. Retrieved 2015-03-30.
  6. ↑ Siegel, Andrew F. (2016-01-01), Siegel, Andrew F. (ed.), "Chapter 15 - ANOVA: Testing for Differences Among Many Samples and Much More", Practical Business Statistics (Seventh Edition), Academic Press, pp. 469–492, doi:10.1016/b978-0-12-804250-2.00015-8, ISBN 978-0-12-804250-2, retrieved 2023-12-10


查找其他类别的节点，请参考以下列表

取自“https://wiki.statsape.com/index.php?title=F检验&oldid=9174”