强化学习、深度学习和深度强化学习有什么区别？

Question

强化学习、深度学习和深度强化学习有什么区别？

machine-learningneural-networkdeep-learningreinforcement-learningq-learning

12

强化学习、深度学习和深度强化学习有什么区别？Q-learning是如何适用的？

- user9851027

9个回答

7

深度学习是一种使用神经网络来制作函数逼近器来解决各种问题的方法。例如：学习一个函数，该函数以图像为输入并输出图像中物体的边界框。

强化学习是一个领域，我们在其中拥有一个代理，并且我们希望该代理执行任务，即基于目标的问题，我们使用试错学习方法。例如：代理学习从网格世界上的一个位置移动到目标位置，而不会掉进中间的坑里。

深度强化学习是一种使用神经网络解决基于目标的问题的方法。这是因为，当我们希望代理在真实世界或当前游戏中执行任务时，状态空间非常大。代理需要很长时间才能访问每个状态并且我们无法使用查找表来存储值函数。因此，为了解决这个问题，我们使用神经网络来逼近状态，以概括学习过程。例如：我们使用DQN来解决许多Atari游戏。

Q-learning：它是一种时序差异学习方法，我们有一个Q表用于查找基于Q值函数的当前状态的最佳操作。用于学习Q值的是奖励和下一个可能状态的最大Q值。

Q-learning基本上属于强化学习，其深度强化学习类似物是Deep Q network (DQN)。

- SaiVinay007

2

机器学习方法的目标是从数据中学习规则，基于这些规则做出预测和/或决策。学习过程可以通过监督、半监督、无监督和强化学习方式实现。

在强化学习中，代理与环境交互并通过试错学习最优策略（使用成功操作的奖励点和错误的惩罚点）。它用于序列决策问题。

作为机器学习的子领域，深度学习是一种学习数据中潜在规则或新表示的数学框架。术语“深度”指的是框架中的学习层数。深度学习可与先前提到的任何学习策略一起使用，即监督、半监督、无监督和强化学习。

当强化学习的任何组件利用深度学习时，就可以获得深度强化学习技术。请注意，Q-learning是RL的一个组件，用于告诉代理在什么情况下需要采取什么行动。详细信息请参见[1]。

[1] Li, Yuxi. "Deep reinforcement learning: An overview." arXiv preprint arXiv:1701.07274 (2017).

- Roohollah Etemadi

1

强化学习是指完成导向算法，它们学习如何在许多步骤中实现复杂目标（目标）或沿着特定维度最大化。强化学习的基本思想是代理通过与环境交互并获得执行操作的奖励来从环境中学习。

深度学习使用多层非线性处理单元来提取特征和转换。

深度强化学习方法引入了深度神经网络来解决强化学习问题，因此被称为“深度”。

- Black Genies

0

大致来说： 深度学习使用深度神经网络来近似复杂函数。 强化学习是机器学习中的一种分支，其中您的学习者通过与环境的交互来学习。它不同于监督或无监督学习。如果您使用深度学习来近似强化学习中的函数，则称其为深度强化学习。

- shahab4ai

0

强化学习 (RL) 是一种主要受到系统反馈控制启发的机器学习类型。RL通常被认为是一种通过与系统/环境进行交互并获得反馈来学习的最优控制方式。相对于计算昂贵的动态规划方法，RL通常采用单时间步长/多时间步长学习规则代替。在RL中流行的时序差分方法被认为介于动态规划和蒙特卡罗方法之间。经典的RL方法使用表格算法，这些算法并不具有可扩展性。

深度学习 (DL) 被认为是现代机器学习的关键部分（经典机器学习通常指SVM、线性回归等）。DL使用深层多层神经网络(NN)及反向传播进行学习。通过使用设计良好的深NN网络，可以学习复杂的输入输出关系。由于这种逼近非常复杂函数的属性，DL在最近几年（大约2010年）在自然语言处理任务和计算机视觉任务中非常流行。DL吸引人的一个方面是这些模型可以端到端，意味着我们不需要进行手动特征工程。有许多类型的DL算法，如深度神经网络、卷积神经网络、门控循环单元、长短期记忆网络、生成对抗网络、注意力机制、变形器等。

深度强化学习使用深度神经网络架构来替代针对高维问题的表格方法。简单来说，控制器不再是一个表格查找，而是使用深度神经网络作为控制器。由于在强化学习中利用了深度神经网络，因此通常被称为深度强化学习。

- ghost-083

0

强化学习和监督学习之间有更多的区别，两者都可以使用深度神经网络，也称为深度学习。在监督学习中，训练集由人类标记（例如AlphaGo）。在强化学习中（例如AlphaZero），算法是自我学习的。

- mirekphd

0

简单来说，

深度学习 - 它使用神经网络模型（模仿大脑、神经元），深度学习用于图像分类、数据分析以及强化学习。

强化学习 - 这是机器学习的一个分支，围绕着一个代理（例如清洁机器人）在其环境（例如家庭）中采取行动（例如四处移动搜索垃圾）并获得奖励（例如收集垃圾）。

深度强化学习 - 这是强化学习算法列表中的一种算法，该算法利用了深度学习概念。

- Rakesh

0

强化学习是一种人工智能类型，旨在模拟类似于人类决策的过程。它基于这样一个想法：人类从他们的行动中学习，并为做好的事情奖励自己，惩罚自己做坏的事情。强化学习算法试图通过响应行动来改变某些变量的值，以复制这个过程。

深度学习是一种机器学习模型，它使用多层处理来比传统方法更有效地解决问题。深度学习模型可用于图像识别、语音识别和翻译等领域。

深度强化学习是一种深度学习模型，它尝试通过使用称为“episode”的行动序列来改进并比较不同episode的结果来解决问题。它也被称为Q-learning，因为Richard Sutton在1997年首次使用Q函数（第四阶导数）描述了它。

Q-learning是一种特定类型的深度强化学习算法，它利用Q值（量化测量）而不是实际奖励或惩罚，这意味着它可以在没有真实数据或奖励/惩罚的情况下使用，但仍然能产生有用的结果。

- user19320927

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- R.F. Nelson · Accepted Answer

强化学习是通过奖励来教授代理在环境中导航的技术。Q-learning 是其中一个主要的强化学习方法。

深度学习使用神经网络来实现特定目标，例如从图像中识别字母和单词。

深度强化学习是这两种技术的结合，基于 Q-learning。但是，由于状态-动作空间太大而导致 Q-learning 收敛速度过慢，因此通常不使用实际的状态-值对。通过使用神经网络，我们可以找到其他类似的状态-动作对。这种“函数逼近”技术可以在具有非常大的状态-动作空间的环境中有效地实现学习。