典型相关分析

节点状态	/ Win10及以上可用 在V1.0部署
典型相关分析
节点开发者	决策链算法研发部 (Dev.Team-DPS)
节点英文名	Canonical Correlation Analysis
功能主类别	数据分析
英文缩写	CCA
功能亚类别	相关分析
节点类型	数据挖掘
开发语言	R
节点简介
典型相关分析是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。假设有两组变量，采用类似主成分分析的做法，在每一组变量中选择若干个有代表性的综合指标-变量的线性组合，通过研究两组的综合指标之间的关系来反映两组变量之间的相关关系。原理是首先在变量中找出变量的线性组合，使其具有最大相关性，然后再每组变量中找出第二对线性组合，使其分别与第一对线性组合不相关，而第二对线性组合本身具有最大的相关性，如此继续下去，直到两组变量之间的相关性被提取完毕。 用途：研究两组变量之间的关系， 典型相关分析可以一次性分析多个变量的关系，也可以帮助研究者了解哪些变量在两组数据中有最强的关系。 参数：可以输入多个数值因变量和多个数值自变量。
端口数量与逻辑控制(PC)
Input-入口	4个
Output-出口	2个
Loop-支持循环	是
If/Switch-支持逻辑判断	否
输入输出
可生成图片类型（推荐） 散点图 可生成数据表类型（推荐） 系数值 典型相关系数 可配置参数例型 变量列表 入口类型 控制流程 ➤ 传输变量 ◆ 传输源数据表 ■ 出口类型 控制流程 ➤ 传输源数据表 ■
相关节点
上一节点	一般线性相关分析
下一节点	组内相关系数_随机效应

在统计学中，典型相关分析（CCA），也称为典型变量分析，是一种从交叉协方差矩阵推断信息的方法。如果我们有两个向量X = (X₁, ..., X_n)和Y = (Y₁, ..., Y_m)的随机变量，并且变量之间存在相关性，那么典型相关分析将找到X和Y的线性组合，这些线性组合彼此之间具有最大的相关性。 T. R. Knapp指出，“几乎所有常见的参数检验的显著性都可以视为典型相关分析的特例，这是研究两组变量之间关系的通用程序。” 该方法最初由哈罗德·霍特林在1936年引入， 尽管在平面间角度的数学概念上，乔丹在1875年已经发表了相关论文。

如今，CCA已成为多变量统计和多视图学习的基石，提出了大量的解释和扩展，如概率CCA、稀疏CCA、多视图CCA和深度CCA。不幸的是，也许因为其受欢迎的程度，文献中的符号可能不一致，我们试图在本文中突出这种不一致性，以帮助读者最好地利用现有的文献和可用技术。

像其姐妹方法主成分分析（PCA)一样，CCA可以以群体形式（对应于随机向量及其协方差矩阵）或样本形式（对应于数据集及其样本协方差矩阵）来查看。这两种形式几乎是彼此的精确类似物，这就是为什么它们的区别常常被忽视，但在高维设置中它们的表现可能大不相同。 接下来我们将为群体问题给出明确的数学定义，并突出所谓的典型分解中的不同对象 - 理解这些对象之间的差异对于技术的解释至关重要。

通过相关性定义群体CCA

给定两个列向量 [math]X = (x_1, \dots, x_n)^T[/math] 和 [math]Y = (y_1, \dots, y_m)^T[/math] 的随机变量，它们具有有限的 二阶矩，人们可以定义交叉协方差 [math]\Sigma _{XY} = \operatorname{cov}(X, Y) [/math] 为 [math] n \times m[/math] 矩阵，其 [math](i, j)[/math] 项是协方差 [math]\operatorname{cov}(x_i, y_j)[/math]。在实践中，我们会基于来自 [math]X[/math] 和 [math]Y[/math] 的样本数据（即一对数据矩阵）来估计协方差矩阵。

典型相关分析寻求一系列向量 [math]a_k[/math]（[math]a_k \in\mathbb R^n[/math]）和 [math]b_k[/math]（[math]b_k \in\mathbb R^m[/math]），使得随机变量 [math]a_k^T X[/math] 和 [math]b_k^T Y[/math] 最大化相关性 [math]\rho = \operatorname{corr}(a_k^T X, b_k^T Y)[/math]。标量随机变量 [math]U = a_k^T X[/math] 和 [math]V = b_k^T Y[/math] 是第一对典型变量。然后寻找最大化相同相关性的向量，受到它们必须与第一对典型变量不相关的约束；这就得到了第二对典型变量。这个程序可以继续进行直到 [math]\min\{m,n\}[/math] 次。

[math]\left(a_{k}, b_{k}\right)=\underset{a, b}{\operatorname{argmax}} \operatorname{corr}\left(a^{T} X, b^{T} Y\right) \quad subject to \operatorname{cov}\left(a^{T} X, a_{j}^{T} X\right)=\operatorname{cov}\left(b^{T} Y, b_{j}^{T} Y\right)=0 for j=1, \ldots, k-1[/math]

向量集 [math]a_k, b_k[/math] 被称为典型方向或权重向量或简单地称为权重。'对偶'向量集 [math]\Sigma_{XX}a_k, \Sigma_{YY} b_k[/math] 被称为典型载荷向量或简单地称为载荷；这些通常比权重更容易解释。

计算

推导

设[math]\Sigma _{XY}[/math]为任意一对（向量形状的）随机变量[math]X[/math]和[math]Y[/math]的交协方差矩阵。要最大化的目标函数是

[math]\rho = \frac{a^T \Sigma _{XY} b}{\sqrt{a^T \Sigma _{XX} a} \sqrt{b^T \Sigma _{YY} b}}。[/math]

第一步是定义一个基变换并定义

[math]c = \Sigma _{XX} ^{1/2} a，[/math]

[math]d = \Sigma _{YY} ^{1/2} b，[/math]

其中[math]\Sigma_{XX}^{1/2}[/math]和[math]\Sigma_{YY}^{1/2}[/math]可以通过特征分解（或通过对角化）获得：

[math]\Sigma _{XX} ^{1/2} = V_X D_X^{1/2} V_X^\top，\qquad V_X D_X V_X^\top = \Sigma_{XX}，[/math]

和

[math]\Sigma _{YY} ^{1/2} = V_Y D_Y^{1/2} V_Y^\top，\qquad V_Y D_Y V_Y^\top = \Sigma_{YY}。[/math]

因此 [math]\rho = \frac{c^T \Sigma _{XX} ^{-1/2} \Sigma _{XY} \Sigma _{YY} ^{-1/2} d}{\sqrt{c^Tc} \sqrt{d^Td}}。[/math]

根据柯西-施瓦茨不等式，

[math]\left(c^T \Sigma _{XX} ^{-1/2} \Sigma _{XY} \Sigma _{YY} ^{-1/2} \right) (d) \leq \left(c^T \Sigma _{XX} ^{-1/2} \Sigma _{XY} \Sigma _{YY} ^{-1/2} \Sigma _{YY} ^{-1/2} \Sigma _{YX} \Sigma _{XX} ^{-1/2} c \right)^{1/2} \left(d^T d \right)^{1/2}，[/math]

[math]\rho \leq \frac{\left(c^T \Sigma _{XX}^{-1/2} \Sigma _{XY} \Sigma _{YY}^{-1} \Sigma _{YX} \Sigma_{XX}^{-1/2} c \right)^{1/2}}{\left(c^T c \right)^{1/2}}。[/math]

如果向量[math]d[/math]和[math]\Sigma_{YY}^{-1/2} \Sigma_{YX} \Sigma_{XX}^{-1/2} c[/math]共线，则等式成立。此外，如果[math]c[/math]是矩阵[math]\Sigma_{XX}^{-1/2} \Sigma_{XY} \Sigma_{YY}^{-1} \Sigma_{YX} \Sigma_{XX}^{-1/2}[/math]的最大特征值对应的特征向量（见瑞利商），则可以达到相关性的最大值。通过使用逐渐减小的特征值找到后续对。相关矩阵的对称性保证了正交性。

另一种看待这个计算的方式是，[math]c[/math]和[math]d[/math]是X和Y的相关矩阵对应于最高奇异值的左右奇异向量。

解

因此，解为：

• [math]c[/math]是[math]\Sigma_{XX}^{-1/2} \Sigma_{XY} \Sigma_{YY}^{-1} \Sigma_{YX} \Sigma_{XX}^{-1/2}[/math]的一个特征向量
• [math]d[/math]与[math]\Sigma _{YY}^{-1/2} \Sigma_{YX} \Sigma_{XX}^{-1/2} c[/math]成比例

反之亦然：

• [math]d[/math]是[math]\Sigma_{YY}^{-1/2} \Sigma_{YX} \Sigma_{XX}^{-1} \Sigma_{XY} \Sigma_{YY}^{-1/2}[/math]的一个特征向量
• [math]c[/math]与[math]\Sigma_{XX}^{-1/2} \Sigma_{XY} \Sigma_{YY}^{-1/2} d[/math]成比例

逆转坐标变换，我们有：

• [math]a[/math]是[math]\Sigma_{XX}^{-1} \Sigma_{XY} \Sigma_{YY}^{-1} \Sigma_{YX}[/math]的一个特征向量，
• [math]b[/math]与[math]\Sigma_{YY}^{-1} \Sigma_{YX} a;[/math]成比例
• [math]b[/math]是[math]\Sigma _{YY}^{-1} \Sigma_{YX} \Sigma_{XX}^{-1} \Sigma_{XY},[/math]的一个特征向量，
• [math]a[/math]与[math]\Sigma_{XX}^{-1} \Sigma_{XY} b[/math]成比例。

典型变量由以下定义：

[math]U = c^T \Sigma_{XX}^{-1/2} X = a^T X[/math]

[math]V = d^T \Sigma_{YY}^{-1/2} Y = b^T Y[/math]

实现

可以使用奇异值分解在相关矩阵上计算CCA。 它作为一个函数在

• MATLAB作为[canoncorr]（也在Octave中[1]）
• R作为标准函数[cancor]以及其他几个包，包括[CCA]和[vegan]。[CCP]用于典型相关分析中的统计假设检验。
• SAS作为[proc cancorr]
• Python在scikit-learn库中，作为[Cross decomposition]，在statsmodels中，作为CanCorr。CCA-Zoo库实现了CCA的扩展，如概率CCA、稀疏CCA、多视图CCA和深度CCA。
• SPSS作为随主软件提供的宏CanCorr
• Julia (编程语言)在MultivariateStats.jl包中。

使用奇异值分解在相关矩阵上的CCA计算与扁平间的角度的余弦函数相关。对于小角度，余弦函数是条件不良的，导致在有限精度计算机算术中高度相关的主向量的计算非常不准确。为了解决这个问题，有其他算法可用于

• SciPy 作为 [线性代数函数子空间角度]
• MATLAB 作为 FileExchange函数subspacea

假设检验

每一行都可以用以下方法检验其显著性。由于相关性是排序的，因此说第[math]i[/math]行为零意味着所有后续的相关性也为零。如果我们在样本中有[math]p[/math]个独立观察值，且[math]\widehat{\rho}_i[/math]是对[math]i = 1,\dots, \min\{m,n\}[/math]的估计相关性。对于第[math]i[/math]行，检验统计量为：

[math]\chi^2 = - \left( p - 1 - \frac{1}{2}(m + n + 1)\right) \ln \prod_{j = i}^{\min\{m,n\}} (1 - \widehat{\rho}_j^2),[/math]

该统计量在[math]p[/math]较大时，渐近地服从自由度为[math](m - i + 1)(n - i + 1)[/math]的卡方分布。 由于从[math] \min\{m,n\}[/math]到[math]p[/math]的所有相关性在逻辑上都是零（也以这种方式估计），因此这一点之后的项的乘积是无关紧要的。

注意，在样本量较小的限制下，如果[math]p < n + m[/math]，则我们可以保证前[math]m + n - p[/math]个相关性恒定为1，因此这种检验是无意义的。

实际应用

典型的典型相关性在实验环境中的应用是取两组变量，看看这两组之间有什么共同点。 例如，在心理测试中，可以采取两个成熟的多维人格测试，如明尼苏达多项人格测试(MMPI-2)和NEO。通过观察MMPI-2因素与NEO因素之间的关系，可以洞察测试之间共有的维度以及共享的变异量有多少。例如，可能会发现外向性或神经质维度在两次测试之间共享了大量的变异量。

也可以使用典型相关分析来生成一个模型方程，该方程关联两组变量，例如一组性能度量和一组解释变量，或一组输出和一组输入。可以对这样的模型施加约束限制，以确保它反映理论要求或直观明显的条件。这种类型的模型被称为最大相关模型。

通常通过两组变量的系数的条形图来可视化典型相关的结果，显示出显著相关的典型变量对。一些作者建议，将它们作为圆盘图绘制出来可能是最佳的可视化方式，这是一种圆形格式，带有类似射线的条形，每一半代表两组变量。

例子

设[math]X = x_1[/math]，其期望值为零，即[math]\operatorname{E}(X)=0[/math]。

1. 如果[math]Y = X[/math]，即[math]X[/math]和[math]Y[/math]完全相关，那么，例如，[math]a=1[/math]和[math]b=1[/math]，使得第一对（也是本例中唯一的一对）典型变量为[math]U = X[/math]和[math]V = Y =X[/math]。 2. 如果[math]Y = -X[/math]，即[math]X[/math]和[math]Y[/math]完全反相关，那么，例如，[math]a=1[/math]和[math]b=-1[/math]，使得第一对（也是本例中唯一的一对）典型变量为[math]U = X[/math]和[math]V = -Y =X[/math]。

我们注意到，在这两种情况下[math]U =V[/math]，这说明典型相关分析对于相关变量和反相关变量的处理是相似的。

与主角之间的联系

假设 [math]X = (x_1, \dots, x_n)^T[/math] 和 [math]Y = (y_1, \dots, y_m)^T[/math] 的 期望值 为零，即 [math]\operatorname{E}(X)=\operatorname{E}(Y)=0[/math]，他们的 协方差 矩阵 [math]\Sigma _{XX} =\operatorname{Cov}(X,X) = \operatorname{E}[X X^T][/math] 和 [math]\Sigma _{YY} =\operatorname{Cov}(Y,Y) = \operatorname{E}[Y Y^T][/math] 可以视为对应于 [math]X[/math] 和 [math]Y[/math] 的条目的 格拉姆矩阵 在 内积 中。在这种解释中，随机变量，[math]X[/math] 的条目 [math]x_i[/math] 和 [math]Y[/math] 的条目 [math]y_j[/math] 被视为向量空间中的元素，该向量空间的内积由 协方差 [math]\operatorname{cov}(x_i, y_j)[/math] 给出；参见 协方差与内积的关系。

然后，规范变量 [math]U[/math] 和 [math]V[/math] 的定义等同于对于由 [math]X[/math] 和 [math]Y[/math] 的条目张成的一对子空间关于此 内积 的 主向量 的定义。规范相关性 [math]\operatorname{corr}(U,V)[/math] 等于 主角 的 余弦。

白化和概率规范相关分析

CCA 也可以视为一种特殊的 白化转换，其中随机向量 [math]X[/math] 和 [math]Y[/math] 被同时转换，以使得白化向量 [math]X^{CCA}[/math] 和 [math]Y^{CCA}[/math] 之间的交叉相关性是对角线的。 然后，规范相关性被解释为连接 [math]X^{CCA}[/math] 和 [math]Y^{CCA}[/math] 的回归系数，也可能是负数。CCA 的回归视角还提供了一种构建 CCA 的潜在变量概率生成模型的方法，其中不相关的隐藏变量代表共享和非共享的变异性。

节点使用的R语言示例代码

典型相关分析

cancor(x, y, xcenter = TRUE, ycenter = TRUE)

节点使用指南

• 典型相关分析旨在探索和量化两组变量集（称为变量集X和变量集Y）之间的线性关系
• 与简单的相关分析不同，CCA可以同时考虑多个变量，分析两组变量之间的整体相关性

方法选择

• 无方法选择

参数配置

• 因变量：选择多个连续型数值变量
• 自变量：选择多个连续型数值变量
• 因变量和自变量要规避复用
• 此算法兼容空值

注意事项

• 当涉及到多对典型变量时，可能会出现多重性问题，这可能会导致统计显著性的问题
• 典型相关分析对样本大小有较高的要求，特别是当涉及到大量变量时
• 在小样本情况下，典型相关分析可能会产生过度拟合，即模型对于训练数据的拟合很好，但泛化到新数据的能力差

引用

查找其他类别的节点，请参考以下列表

列表

数据处理节点

数据输入

多CSV表合并读取多Excel表合并读取导入CSV数据导入Excel数据导入SAV数据导入TSV数据

变量处理

中文变量名替换更新变量名标准化变量名转换变量类型

行列处理

去重样本样本量计数筛选样本筛选行空值过滤表格

列排序剔除变量去除特殊符号变量排序变量数值替换变量运算哑变量转换字符串大小写转换字符串截取字符串拆分字符串拼接字符串替换字符串添加字符串索引字符串计数插入索引编号插补空值数据分箱新增变量时间变量转换空格删除筛选列空值筛选时间转换变量函数转换标签编码转换标签编码为数字

矩阵处理

矩阵变换聚合表格

表格处理

分层变量循环转列表多表数据连接抽样数据合并数据连接

列表

数据分析节点

描述性统计

数据分析描述统计

统计检验

单因素正态性检验多因素正态性检验

Friedman检验两样本配对T检验两独立样本T检验单样本T检验

Ridit分析游程检验秩和检验符号检验

Fisher精确检验G检验Mantel-Haenszel检验McNemar检验卡方检验

方差分析

F检验One Way ANCOVAOne Way ANOVATwo Way ANCOVATwo Way ANOVAWelch检验多元方差分析多重比较方差分析方差齐性检验球形检验

相关分析

一般线性相关分析典型相关分析组内相关系数 混合效应组内相关系数 随机效应

回归分析

Lasso回归 二项式Lasso回归 泊松Lasso回归 生存状态Lasso回归 高斯PLS回归Ridge回归 二项式Ridge回归 泊松Ridge回归 生存状态Ridge回归 高斯分位回归多分类逻辑回归多项式回归广义估计方程 伽玛广义估计方程 泊松广义估计方程 负二项广义估计方程 逻辑广义估计方程 高斯广义相加模型 伽玛广义相加模型 泊松广义相加模型 负二项广义相加模型 逻辑广义相加模型 高斯广义相加混合模型 伽玛广义相加混合模型 泊松广义相加混合模型 负二项广义相加混合模型 逻辑广义相加混合模型 高斯广义线性回归 伽玛广义线性回归 泊松广义线性回归 负二项广义线性回归 逆概率加权联合标准差稳健线性回归线性回归逐步回归逻辑回归

时序分析

时序平稳性检验时间序列聚类时间序列预测正弦曲线回归趋势检验

潜变量分析

潜类别分析潜类别增长模型潜类别混合增长模型验证性因子分析

生存分析

IDI和NRIKM生存曲线单因素COX回归多因素COX回归多因素竞争风险模型智能筛选限制性立方样条节点竞争风险模型限制性平均生存时间限制性立方样条

多元分析

中介效应主成分分析(PCA)信度分析倾向性评分匹配双重差分模型多重对应分析孟德尔随机化异常值分析拉格朗日乘数检验最大似然因子分析碎石检验筛查自变量共线性聚类分析调节效应豪斯曼检验面板数据效应模型

综合分析

多重插补

列表

机器学习节点

数据集操作

拆分训练测试集

导入测试集导入训练集导出测试集导出训练集

数据集整合

分类器

AdaBoostCatBoostLightGBMLogistic分类器XGBoost决策树支持向量机朴素贝叶斯梯度提升树采样方法随机森林

通用预测模块

交叉验证与模型评估

PR曲线ROC曲线SHAP交叉熵交叉验证交叉验证结果整合基础评估节点多模型评估节点平均类准确率拟合优度机器学习基础绘图节点混淆矩阵

神经网络

列表

AI和神经网络

环境检测

深度学习环境检测

图像处理

图像读取成对图像读取

医学图像格式转换图像格式转换

低通滤波图像平滑图像模糊小波变换带通滤波高通滤波

仿射变换分段仿射变换图像剪裁图像旋转图像缩放图像翻转

RGB2HSV图像明暗图像灰化图像色度图像饱和度

图像信号直方图局部直方图均衡化直方图均衡化

图像算术

傅里叶变换图像对比度增强图像锐化快速傅里叶变换

图像形态学变换骨架化

图像二值化图像轮廓图像边缘

OCR识别

图像角点图像金字塔斑点检测线条检测

交互前景提取经典图像分割

面部识别

列表

工具和辅助节点（Utils）

I/O工具

导入数据源输入列表输入变量输入布尔值输入数值输入文本

流程管理

ForEach循环For循环While循环介于分支大于大于等于小于小于等于并且或者打印文本文本等于等于自增非

转换工具

交集变量传输变量变量计数变量转列表变量转文本布尔值转文本并集变量数值转文本数据源转列表文本转变量文本转数值文本转数据源文本转数据源2汇总数据源采集数据源