PCA、TruncatedSVD和ICA有什么详细区别？

Question

7

请问有人能详细说明PCA（主成分分析）、TruncatedSVD（截断奇异值分解）和ICA（独立成分分析）之间的区别吗？

- Ashok Lathwal

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Royi · Accepted Answer

详细解释需要长篇PDF文档 :-)

但是思路很简单:

主成分分析（PCA） - 分析数据的原始坐标。也就是说，沿着数据拥有最大能量（方差）的坐标。对于n个d维样本，会有$ d $个正交方向。也就是说，投影到它们上面的数据没有相关性。如果我们将数据看作随机变量，则意味着我们找到了一个坐标系，在该坐标系中，任何两个投影数据的互相关（第一时刻）都消失了。
这是一种非常有效的方法，通过保留大部分能量来近似低维度数据。
截断奇异值分解（Truncated SVD）- 可以证明，计算这些坐标系统的一种方法是使用奇异值分解（SVD）。因此这是应用PCA背后思想的方法。
独立成分分析（ICA）- 这比PCA更进一步。虽然在PCA中我们只处理数据的第一阶矩（相关性），但是在ICA中，我们要查看更高阶矩，并尝试找到数据的投影，使得更高阶矩消失（不考虑相关性而是考虑概率独立性）。