无监督学习在时间序列数据上的最新进展是什么？

Question

我正在寻找一份关于现有技术的概述，该技术可以：

• 在时间数据中查找任意长度的时间模式

• 并且是无监督的（没有标签）。

换句话说，给定一个（可能是高维的）数据流/序列，如何找到那些最能捕捉数据结构的共同子序列。

1. 欢迎提供最新发展或论文的任何指针（希望超越HMM）！

2. 这个问题在更具体的应用领域中是否已经被充分理解，例如：

   • 动作捕捉
   • 语音处理
   • 自然语言处理
   • 游戏动作序列
   • 股市预测？

3. 此外，这些方法中的一些是否足够通用以处理：

   • 噪声较大的数据
   • 层次结构
   • 时间轴上不规则的间距

（我不感兴趣的是检测已知模式，也不是对序列进行分类或分割。）

- schaul

---

user1149913的回答非常有用，但我仍在寻找替代方法，也许不局限于HMMs...所以请继续发布！ - schaul

Answer 1

最近非参数HMM、无限状态空间扩展和因子模型备受关注，后者采用一组因素而不是单个混合成分来解释观察结果。

以下是一些有趣的论文供参考（只需在Google上搜索论文名称）：

- "Beam Sampling for the Infinite Hidden Markov Model" - "The Infinite Factorial Hidden Markov Model" - "Bayesian Nonparametric Inference of Switching Dynamic Linear Models" - "Sharing features among dynamical systems with beta processes"

这些论文中的实验部分讨论了文本建模、说话人日程安排和运动捕捉等应用。

- user1149913

---

非常感谢！这些参考资料中的最后两个看起来特别有趣。我会进行更深入的阅读后再回报。 - schaul

我有一个后续问题：在我看来，这些方法只有在能够对整个数据进行建模时才有效。您是否知道相关的方法，即使嵌入了难以建模的噪声，也能找到时间模式？ - schaul

你可以尝试查看“Profile HMMs”（www.cs.princeton.edu/~mona/Lecture/HMM1.pdf非常好）。不过，除非模式非常清晰，否则我在训练这些方面并没有取得太大的成功。一些语音识别文献（“Statistical methods for speech recognition” - Jelinek）讨论了具有类似转换限制的HMMs。 - user1149913

你最好的选择可能是尝试手动限制HMM转移矩阵，以捕捉你所寻找的结构类型。（参见HMMER） - user1149913

Answer 2

我不知道你正在分析的数据类型，但是从动态系统分析的角度来看，我建议你看一下：

• 重现图（可以通过谷歌轻松找到）
• 时滞嵌入（可能展示数据不同维度之间的潜在关系）+ 距离矩阵（也许可以研究邻域模式？）

请注意，这只是另一种表示数据并基于此新表示进行分析的方法。仅供参考！

- lllllll