行X与卡方检验

来自决策链云智库
RainW讨论 | 贡献2022年10月8日 (六) 13:59的版本
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)

一 行X与卡方检验的概念(英语:Chi-Squared Test)

模板:右侧信息框卡方检验Chi-Squared Test[math]χ^2[/math] Test)是一种统计量的分布在零假设成立时近似服从卡方分布([math]χ^2[/math] 分布)的假设检验。在没有其他的限定条件或说明时,卡方检验一般代指的是皮尔森卡方检定。在卡方检验的一般运用中,研究人员将观察量的值划分成若干互斥的分类,并且使用一套理论(或虚无假说)尝试去说明观察量的值落入不同分类的概率分布的模型。而卡方检验的目的就在于去衡量这个假设对观察结果所反映的程度。

1.1 历史

在十九世纪,统计分析方法主要被用于生物数据分析。当时主流意见认为正态分布普遍适用于此类数据,例如乔治·比德尔·艾里爵士以及梅里曼教授(英语:Mansfield Merriman),而卡尔·皮尔森在他1900年的论文中就针对了他们的研究数据作出了指正。

直到十九世纪末期,皮尔森指出了部分数据具有明显的偏态,正态分布并不是普遍适用。为了更好地对这些观察数据进行建模,皮尔森在1893年至1916年发表的系列文章中提出了一个包含正态分布以及众多偏态分布的连续概率分布族——皮尔森分布族(英语:Pearson Distribution)。同时,他指出数据统计分析的步骤应该是在从皮尔森分布族中选取合适的分布来进行建模后,使用拟合优度检验技术来评价模型和实验数据间的拟合优度。

1.2 皮尔森卡方检验 (Pearson's chi-squared test)

在1900年,皮尔森发表了著名的关于 [math]χ^2[/math] 检验的文章,该文章被认为是现代统计学的基石之一。在该文章中,皮尔森研究了拟合优度检验:

假设实验中从总体中随机取样得到的 [math]n[/math] 个观察值被划分为 [math]k[/math] 个互斥的分类,这样每个分类都有一个对应的实际观察次数 [math]x_{i}[/math] ([math]i[/math]= 1,2,…,[math]k[/math]。研究人员会对实验中各个观察值落入第 [math]i[/math] 个分类的概率 [math]p_{i}[/math] 的分布提出零假设,从而获得了对应所有第 [math]i[/math] 分类的理论期望次数 [math]m_{i}[/math]=[math]np_{i}[/math] 以及限制条件

\begin{align} & \sum^k_{i=1}{p_i} = 1 \\[8pt] & \sum^k_{i=1}{m_i} = \sum^k_{i=1}{x_i} =n \end{align}

皮尔森提出,在上述零假设成立以及 [math]n[/math] 趋向 [math]∞[/math] 的时候,以下统计量的极限分布趋向 [math]χ^2[/math] 分布。

\begin{align} & X^2=\sum^k_{i=1}{\frac{(x_i-m_i)^2}{m_i}}=\sum^k_{i=1}{\frac{x_i^2}{m_i}-n} \end{align}

皮尔森首先讨论零假设中所有分类的理论期望次数 [math]m_{i}[/math] 均为足够大且已知的情况,同时假设各分类的实际观测次数 [math]x_{i}[/math] 均服从正态分布。皮尔森由此得到当样本容量 [math]n[/math] 足够大时,[math]X^2[/math] 趋近服从自由度为 ([math]k-1[/math]) 的 [math]χ^2[/math] 分布

然而,皮尔森在讨论当零假设中的理论期望次数 [math]m_{i}[/math] 未知并依赖于必须由样本去进行估计的若干参数的情况时,记 [math]m_{i}[/math] 为实际的理论期望次数以及 [math]m'_{i}[/math] 为估计的理论期望次数,认为

\begin{align} & X^2-{X'}^2=\sum^k_{i=1}{\frac{x_i^2}{m_i}}-\sum^k_{i=1}{\frac{x_i^2}{m'_i}}\end{align}

的值通常为正且足够小以至于可以忽略。皮尔森总结为,如果我们认为 [math]X'^2[/math] 也服从自由度为 ([math]k-1[/math]) 的 [math]χ^2[/math] 分布,那么由此近似带来的误差通常足够小并不会对实际决策的结论带来实质性的影响。这个结论在应用层面造成了长达20年的争论,直到费歇尔在1922年及1924年的论文发表后才暂告一段落。

1.3 费希尔精确检验 (Fisher's exact test)

费希尔精确检验是用于分析列联表(contingency tables)统计显著性检验方法,它用于检验两个分类的关联(association)。虽然实际中常常使用于小数据情况,但同样适用于大样本的情况。

费舍尔表明,以表格边缘为条件,a 分布为超几何分布,其中 a+c 来自具有 a+b成功和 c+d 失败的总体。获得这样一组值的概率由下式给出:

[math]p = \frac{ \displaystyle{{a+b}\choose{a}} \displaystyle{{c+d}\choose{c}} }{ \displaystyle{{n}\choose{a+c}} } = \frac{ \displaystyle{{a+b}\choose{b}} \displaystyle{{c+d}\choose{d}} }{ \displaystyle{{n}\choose{b+d}} } = \frac{(a+b)!~(c+d)!~(a+c)!~(b+d)!}{a!~~b!~~c!~~d!~~n!} [/math]

其中 [math] \tbinom nk [/math] 是二项式系数和符号 [math]! [/math] 表示阶乘运算符。如果边际总数 (i.e. [math]a+b[/math], [math]c+d[/math], [math]a+c[/math], and [math]b+d[/math]) 是已知的,只剩下一个自由度:例如 [math] a[/math] 足以推导出其他值。

二 在统计猿(Statsape)中的操作指南

2.1 网页端版本

1)点击数据分析板块

2) 分析方法中:

  • 所属模块选择: 频数的比较与检验
  • 直接选择或搜索选择:行X与卡方检验

3)变量选择界面:

  • 列变量:分类型,离散数字或字符串变量. (可选多个变量,每个变量和行变量做一次检验);
  • 行变量:分类型,离散数字或字符串变量. (可选多个变量,每个变量和列变量做一次检验);
  • 列-行变量按序配对分析:点击
  • 选择分层变量:点击开始分解字符串进行计算频数;
  • 检验方法:1. 非配对资料的卡方检验 2. 配对资料的卡方检验 3. Kappa一致性检验

4)提交分析,生成结果压缩包或PDF。

2.2 PC版本

开发中

三 使用建议

建议前往统计员BBS论坛的专题页面获取更多的使用经验。 点此链接