马尔科夫链是如何工作的？我阅读了维基百科上关于马尔科夫链的内容，但我不理解的是无记忆性。无记忆性表明：下一个状态仅依赖于当前状态，而不依赖于其之前发生的事件序列。如果马尔科夫链具有这种属性，那么在马尔科夫模型中链的用途是什么？请解释这个属性。
2个回答
8
你可以将马尔可夫链想象成青蛙在池塘上从着莲叶跳到另一个莲叶的过程。青蛙不记得自己曾经访问过哪些莲叶。对于所有可能的i和j的组合，青蛙从莲叶Ai跳到莲叶Aj的概率是固定的。马尔可夫链允许你计算青蛙在任何时刻停留在特定莲叶上的概率。
如果青蛙是素食主义者，并且每次落地后都啃一口莲叶，那么它从莲叶Aj跳到莲叶Ai的概率也取决于Ai之前被访问的次数。此时，你将无法使用马尔可夫链来模拟行为，因此无法预测青蛙的位置。
如果青蛙是素食主义者，并且每次落地后都啃一口莲叶，那么它从莲叶Aj跳到莲叶Ai的概率也取决于Ai之前被访问的次数。此时，你将无法使用马尔可夫链来模拟行为，因此无法预测青蛙的位置。
- Boluc Papuccuoglu
2
总之，我不能使用马尔可夫链来预测下一个状态，使用当前和先前的状态。你能为此目的建议我其他算法吗？ - unknown
1如果你只使用了之前的状态而不是n步之前的状态，那么你可以使用马尔可夫链来预测概率。但是再次强调，你不是用马尔可夫链来预测下一个状态，而是用它们来预测在大量跳跃后各个状态的最终概率分布。 - Boluc Papuccuoglu
4
记忆消失的思想是马尔可夫链成功的基础。这并不意味着我们不关心过去。相反，它意味着我们仅保留过去最相关的信息来预测未来，并使用该信息来定义当前状态。
这篇好文章为这个主题提供了很好的背景。
http://www.americanscientist.org/issues/pub/first-links-in-the-markov-chain
在描述过去的准确性和相关状态空间大小之间存在权衡。比如，附近有三家酒吧，每天晚上你都会选择一家。如果你随机选择这些酒吧，那么这不是一个马尔可夫链（或一个微不足道的零阶马尔可夫链）-结果是随机的。更准确地说，这是一个独立的随机变量（建模依赖性是马尔可夫链基本思想的基础）。
在选择酒吧时，您可以考虑到您上次的选择，例如，您可能想避免连续两天去同一家酒吧。虽然在现实中这意味着记住昨天去过哪里（因此记住了过去！），但在建模级别上，您的时间单位是一天，因此您的当前状态是您昨天去的酒吧。这是具有三个状态和3x3转移矩阵的经典（一阶）马尔可夫模型，为每个排列提供条件概率（如果昨天您去了酒吧I，今天“跳”到酒吧J的几率是多少）。
但是，您可以定义一个模型，其中您“记得”最近两天的情况。在这个二阶马尔可夫模型中，“当前”状态将包括昨晚和前晚的酒吧信息。现在您有9种可能的状态来描述您的当前状态，因此您有一个9x9的转移矩阵。值得庆幸的是，这个矩阵没有完全填满。
为了理解这一点，考虑一个稍微不同的设置，当你非常有条理地为今天和明天的酒吧选择制定了坚实的计划，基于过去两次访问，那么你可以选择连续两天访问任何可能的酒吧排列组合。结果是一个完全填充的9×9矩阵，将你过去两天的选择映射到未来两天的选择中。然而，在我们最初的问题中，我们每天都要做出决策，因此我们的未来状态受到今天发生的事情的限制：在下一个时间步（明天），今天变成了昨天，但它仍然是你对“今天”的定义的一部分，并且与随后的发生有关。这种情况类似于移动平均或逐步扩大的程序。因此，从给定的状态，您只能移动到三个可能的状态（表示您今天的酒吧选择），这意味着您的转换矩阵的每一行只有三个非零条目。
让我们总结一下每个问题所需的参数数量：具有三个状态的零阶马尔可夫模型具有两个独立参数（第一个和第二个酒吧的到达概率，因为访问第三个酒吧的概率是前两个的互补）。一阶马尔可夫模型具有完整的3x3矩阵，每列加起来为1（再次表明在任何给定的日子里，将始终访问其中一个酒吧），因此我们得到了六个独立参数。二阶马尔可夫模型具有9x9矩阵，每行仅有3个非零条目，所有列加起来为1，因此我们有18个独立参数。 我们可以继续定义高阶模型，相应地增加状态空间。
重要的是，我们可以通过识别过去的重要特征并仅使用这些特征来定义当前状态，即压缩有关过去的信息来进一步完善该概念。这就是我一开始提到的内容。例如，我们可以只记住一些对我们的选择产生影响的值得记忆的事件，并使用这些“充分统计量”来构建模型。
这一切归结于您如何定义相关变量（状态空间），而马尔可夫概念自然地从基本的数学概念中产生。一阶（线性）关系（及相关的线性代数运算）是大多数当前数学应用的核心。您可以查看具有单个变量的n次多项式方程，或者您可以通过定义辅助变量来定义等效的n个方程的一阶（线性）系统。同样，在经典力学中，您可以使用二阶拉格朗日方程，或者选择导致（一阶）哈密顿公式的规范坐标http://en.wikipedia.org/wiki/Hamiltonian_mechanics。
最后，关于马尔可夫问题的稳态与瞬态解的注释。绝大多数实际应用（例如Page rank）依赖于寻找稳态解。确实，这种收敛到稳态的存在是A. Markov创建其链的原始动机，旨在将中心极限定理的应用扩展到相关变量。马尔可夫过程的瞬态效应（如命中时间）研究较少且更为模糊。但是，在特定未来时间点考虑马尔可夫预测结果（而不仅仅是收敛的“平衡”解）是完全有效的。
在选择酒吧时，您可以考虑到您上次的选择，例如，您可能想避免连续两天去同一家酒吧。虽然在现实中这意味着记住昨天去过哪里（因此记住了过去！），但在建模级别上，您的时间单位是一天，因此您的当前状态是您昨天去的酒吧。这是具有三个状态和3x3转移矩阵的经典（一阶）马尔可夫模型，为每个排列提供条件概率（如果昨天您去了酒吧I，今天“跳”到酒吧J的几率是多少）。
但是，您可以定义一个模型，其中您“记得”最近两天的情况。在这个二阶马尔可夫模型中，“当前”状态将包括昨晚和前晚的酒吧信息。现在您有9种可能的状态来描述您的当前状态，因此您有一个9x9的转移矩阵。值得庆幸的是，这个矩阵没有完全填满。
为了理解这一点，考虑一个稍微不同的设置，当你非常有条理地为今天和明天的酒吧选择制定了坚实的计划，基于过去两次访问，那么你可以选择连续两天访问任何可能的酒吧排列组合。结果是一个完全填充的9×9矩阵，将你过去两天的选择映射到未来两天的选择中。然而，在我们最初的问题中，我们每天都要做出决策，因此我们的未来状态受到今天发生的事情的限制：在下一个时间步（明天），今天变成了昨天，但它仍然是你对“今天”的定义的一部分，并且与随后的发生有关。这种情况类似于移动平均或逐步扩大的程序。因此，从给定的状态，您只能移动到三个可能的状态（表示您今天的酒吧选择），这意味着您的转换矩阵的每一行只有三个非零条目。
让我们总结一下每个问题所需的参数数量：具有三个状态的零阶马尔可夫模型具有两个独立参数（第一个和第二个酒吧的到达概率，因为访问第三个酒吧的概率是前两个的互补）。一阶马尔可夫模型具有完整的3x3矩阵，每列加起来为1（再次表明在任何给定的日子里，将始终访问其中一个酒吧），因此我们得到了六个独立参数。二阶马尔可夫模型具有9x9矩阵，每行仅有3个非零条目，所有列加起来为1，因此我们有18个独立参数。 我们可以继续定义高阶模型，相应地增加状态空间。
重要的是，我们可以通过识别过去的重要特征并仅使用这些特征来定义当前状态，即压缩有关过去的信息来进一步完善该概念。这就是我一开始提到的内容。例如，我们可以只记住一些对我们的选择产生影响的值得记忆的事件，并使用这些“充分统计量”来构建模型。
这一切归结于您如何定义相关变量（状态空间），而马尔可夫概念自然地从基本的数学概念中产生。一阶（线性）关系（及相关的线性代数运算）是大多数当前数学应用的核心。您可以查看具有单个变量的n次多项式方程，或者您可以通过定义辅助变量来定义等效的n个方程的一阶（线性）系统。同样，在经典力学中，您可以使用二阶拉格朗日方程，或者选择导致（一阶）哈密顿公式的规范坐标http://en.wikipedia.org/wiki/Hamiltonian_mechanics。
最后，关于马尔可夫问题的稳态与瞬态解的注释。绝大多数实际应用（例如Page rank）依赖于寻找稳态解。确实，这种收敛到稳态的存在是A. Markov创建其链的原始动机，旨在将中心极限定理的应用扩展到相关变量。马尔可夫过程的瞬态效应（如命中时间）研究较少且更为模糊。但是，在特定未来时间点考虑马尔可夫预测结果（而不仅仅是收敛的“平衡”解）是完全有效的。
- PlutimusPaduster
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接