我们有一个自定义的增强学习环境,在其中运行来自稳定基线3的PPO代理,用于多动作选择问题。代理按预期进行学习,但当我们评估训练代理的学习策略时,如果设置
问题是当在
deterministic=True
,代理的表现会变差(即奖励降低约50%),而如果设置deterministic=False
,则表现更好。该研究的目标是为实际问题找到新的策略,因此最好找到一种确定性策略,因为这对大多数人来说更易理解...而更随机的行动带来更好的表现似乎是不合常理的。
文档中只提到了“deterministic (bool) – 是否返回确定性动作”。我理解为deterministic=False
表示从已学习的分布中抽取动作,具有一定的随机性(即一个特定状态可能会导致多个不同的动作),而deterministic=True
表示动作完全基于已学习的策略(即一个特定状态总是导致一个特定的动作)。问题是当在
deterministic=True
的情况下表现不如deterministic=False
的时候,这意味着代理和/或环境的什么情况?