深度广义典型相关性分析（Deep Generalized Canonical Correlation Analysis, DGCCA）是由Adrian Benton等人提出的，它是深度典型相关分析（DCCA）的进一步拓展，旨在处理多于两个视图（数据集）的典型相关性分析问题。

DGCCA结合了深度学习的强大表示能力和广义典型相关分析（GCCA）的多视图数据融合能力，允许从多个数据源中学习共享的深层表示，这对于多模态数据的分析和融合尤为重要。

DGCCA的目标

DGCCA的目标是在多个数据集之间学习一组共享的潜在表示，即使得每个数据集的潜在表示在CCA意义上具有最大的相关性。

这通过训练多个深度神经网络实现，每个网络负责一个数据集，它们共同学习一组表示，以最大化所有数据集之间的相关性。

DGCCA的数学框架

假设我们有 $K$ 个数据集 ${\mathbf{X}}_1,{\mathbf{X}}_2,\dots ,{\mathbf{X}}_K$ ，每个数据集包含 $N$ 个样本，但可能有不同的特征维度 $d_1,d_2,\dots ,d_K$ 。

DGCCA的目标是找到 $K$ 个非线性变换 $f_1({\mathbf{X}}_1;{\theta }_1),f_2({\mathbf{X}}_2;{\theta }_2),\dots ,f_K({\mathbf{X}}_K;{\theta }_K)$ ，其中 ${\theta }_i$ 是第 $i$ 个网络的参数，使得变换后的数据在CCA的意义上具有最大的相关性。

DGCCA的损失函数

DGCCA的损失函数通常设计为最大化所有变换后数据集之间的平均相关性，同时可能包含正则化项来避免过拟合。

具体来说，DGCCA的损失函数可以表示为：

$$L_{DGCCA}=-\sum _{i<j}\log \left|\frac{{\mathbf{C}}_{f_i(X_i)f_j(X_j)}}{\sqrt{{\mathbf{C}}_{f_i(X_i)f_i(X_i)}{\mathbf{C}}_{f_j(X_j)f_j(X_j)}}}\right|+\lambda \Omega (\Theta )$$

其中，

• ${\mathbf{C}}_{f_i(X_i)f_j(X_j)}$ 是变换后的数据 $f_i({\mathbf{X}}_i)$ 和 $f_j({\mathbf{X}}_j)$ 之间的互协方差矩阵。
• ${\mathbf{C}}_{f_i(X_i)f_i(X_i)}$ 和 ${\mathbf{C}}_{f_j(X_j)f_j(X_j)}$ 分别是 $f_i({\mathbf{X}}_i)$ 和 $f_j({\mathbf{X}}_j)$ 的自协方差矩阵。
• $\Omega (\Theta )$ 是正则化项， $\Theta$ 是所有网络参数的集合。
• $\lambda$ 是正则化参数，用于平衡CCA损失和正则化项的影响。

公式解析

• ${\mathbf{X}}_1,{\mathbf{X}}_2,\dots ,{\mathbf{X}}_K$ ：原始输入数据集。
• $f_i(\cdot )$ ：由深度神经网络实现的第 $i$ 个非线性变换函数。
• ${\mathbf{C}}_{f_i(X_i)f_j(X_j)}$ ：变换后的数据 $f_i({\mathbf{X}}_i)$ 和 $f_j({\mathbf{X}}_j)$ 之间的互协方差矩阵，它衡量了这两组变换后数据的相关性。
• ${\mathbf{C}}_{f_i(X_i)f_i(X_i)}$ 和 ${\mathbf{C}}_{f_j(X_j)f_j(X_j)}$ ：分别表示 $f_i({\mathbf{X}}_i)$ 和 $f_j({\mathbf{X}}_j)$ 的自协方差矩阵，用于衡量各自数据集内部的变量变化。
• ${\theta }_i$ ：第 $i$ 个深度神经网络的参数。

训练过程

DGCCA的训练过程涉及使用梯度下降或其他优化算法来最小化上述定义的损失函数。

这意味着要调整网络参数 ${\theta }_1,{\theta }_2,\dots ,{\theta }_K$ ，使得所有变换后的数据在CCA空间中尽可能地相关。

结论

DGCCA克服了DCCA只能处理两个数据集的局限性，允许在多个数据集之间学习深层的共现特征。

通过结合深度学习和多视图数据融合的能力，DGCCA为处理复杂的多模态数据提供了有力的工具，尤其是在需要从不同来源的数据中学习综合表示的场景中，如跨媒体检索、多传感器数据融合等。