我找不到关于OpenAI Gym环境'CartPole-v0'和'CartPole-v1'之间差异的确切描述。
这两个环境都有专门的官方网站(请参见1和2),尽管我只能在gym的github存储库中找到一个没有版本标识的代码(请参见3)。我还通过调试器检查了确切加载了哪些文件,它们似乎都加载了同一个文件。唯一的区别似乎在于它们内部分配的max_episode_steps
和reward_threshold
,可以如下所示访问。CartPole-v0的值为200/195.0,CartPole-v1的值为500/475.0。乍一看,其余部分似乎完全相同。
import gym
env = gym.make("CartPole-v1")
print(self.env.spec.max_episode_steps)
print(self.env.spec.reward_threshold)
我希望有人能够为我描述一下具体的区别,或者给我推荐一个能够做到这一点的网站。非常感谢!