我有一个由500个鸟的运动轨迹组成的序列。我想预测鸟的第501次运动会是什么。我在网上搜索并猜测这可以通过使用HMM来实现，但我没有任何关于这个主题的经验。请问有人能够解释一下用于解决这个问题的算法步骤吗？

我正在尝试使用Python设计一个迭代式的马尔可夫决策过程（MDP）代理，具有以下特征： - 可观察状态 - 我通过保留一些状态空间来处理潜在的“未知”状态，以回答DP所做的查询类型移动（t+1时的状态将识别先前的查询[或零，如果先前的移动不是查询]以及嵌入式结果向量），该空间用0...

在使用广义时间差分（例如SARSA、Q-learning）的标准强化学习算法中，对于特定任务，需要确定lambda和gamma超参数的值。我知道lambda与资格痕迹的长度有关，gamma可以解释为有多少折扣因子用于未来的奖励，但是如何确定给定任务的lambda值是否过低或gamma值是否过高...

我使用Baum-Welch算法构建了几个隐马尔可夫模型，这些模型的状态数在逐渐增加。我发现，在8个状态之后，验证分数会下降。因此，我想知道隐马尔可夫模型的准确性是否会随着状态数的增加而降低，因为可能存在某种过拟合的情况。谢谢！

alt text http://img693.imageshack.us/img693/724/markov.png 我有些困惑： 说一个动作成功率为70%是什么意思？这是指每次他尝试执行动作A时，它将有70%的概率执行动作A并且另外30%的概率执行导致相同状态的动作，还是说他总是执行动...