在R中的简单马尔可夫链（可视化）
我想在R中进行简单的一阶马尔可夫链。我知道有类似MCMC的软件包，但找不到一个可以以图形方式显示的软件包。这是否可能？如果给定一个转移矩阵和一个初始状态，能否通过可视化看到马尔可夫链中的路径（也许我得手动做...）。 谢谢。
用通俗易懂的语言解释马尔科夫链算法
我不太理解这个马尔可夫链... 它需要两个词作为前缀和后缀，保存成列表，然后生成随机单词？ /* Copyright (C) 1999 Lucent Technologies */ /* Excerpted from 'The Practice of Programming' */ /*...
马尔可夫决策过程的值迭代是如何工作的？
马尔可夫决策过程（使用值迭代）我无法理解。资源使用的数学公式对我的能力来说太复杂了。 我想在一个填满了墙壁（不可到达）、硬币（可取得）和移动的敌人（必须尽量避免）的二维网格上应用它。目标是收集所有硬币而不触碰敌人。我想为主角创建一个使用马尔可夫决策过程的人工智能。它看起来像这样（与游戏相关的...
实现三元马尔可夫模型
给定： 以及以下内容： 对于： q(runs | the, dog) = 0.5 这里应该是 1，因为对于q(runs | the, dog)来说：xi=runs, xi-2=the, xi-1=dog。 概率值（wi已被替换为xi）： 所以： count(the ...
创建一个任意大小的矩阵，其中每行的总和为1？
我的任务是创建一个程序，模拟任意数量事件的离散时间马尔可夫链。然而，目前我遇到的问题是如何创建正确的随机矩阵来表示概率。正确的随机矩阵是指具有行项之和为1的矩阵。对于给定的大小，我知道如何编写能够实现这一点的矩阵，但问题是我不知道如何针对任意大小进行操作。 如果你能提供任何帮助，我将非常感激...
用于识别马尔可夫生成内容的算法？
马尔可夫链是一种（几乎标准的）方法，用于生成对未经训练的眼睛看起来聪明的随机无意义语言。您如何确定马尔可夫生成的文本与人类编写的文本之间的区别？ 如果您指向的资源是Python友好的，那将非常棒。
在强化学习中设置伽马和λ
在使用广义时间差分（例如SARSA、Q-learning）的标准强化学习算法中，对于特定任务，需要确定lambda和gamma超参数的值。我知道lambda与资格痕迹的长度有关，gamma可以解释为有多少折扣因子用于未来的奖励，但是如何确定给定任务的lambda值是否过低或gamma值是否过高...
马尔可夫决策过程的数据结构
我已经在Python中实现了简单马尔可夫决策过程的值迭代算法Wikipedia。为了保持特定马尔可夫过程的结构（状态、动作、转移、奖励）并对其进行迭代，我使用了以下数据结构： 状态和可用于这些状态的动作的字典： SA = {'状态A': {'动作1'，'动作2'，…}，...} 转移概率字...
马尔科夫聚类算法
我一直在研究马尔可夫聚类算法的细节，参考了以下示例：http://www.cs.ucsb.edu/~xyan/classes/CS595D-2009winter/MCL_Presentation2.pdf。我觉得我已经准确地表示了该算法，但是我并没有得到与该指南相同的结果。我目前的代码链接在这...
马尔可夫决策过程的问题
alt text http://img693.imageshack.us/img693/724/markov.png 我有些困惑： 说一个动作成功率为70%是什么意思？这是指每次他尝试执行动作A时，它将有70%的概率执行动作A并且另外30%的概率执行导致相同状态的动作，还是说他总是执行动...