中央财经大学：《机器学习与智能金融》课程教学课件（讲稿）第八章 强化学习

机器学习与智能金融第八章#延迟标注下的自我进化强化学习

机器学习与智能金融 第八章 延迟标注下的自我进化 强化学习

本讲主要内容基本介绍基本概念1贝尔曼期望方程与贝尔曼最优方程四强化学习算法介绍五简单应用与实践

一 基本介绍 本讲主要内容 二 基本概念 三 贝尔曼期望方程与贝尔曼最优方程 四 强化学习算法介绍 五 简单应用与实践

基本介绍

一、 基本介绍

基本介绍机器学习包含四种主要的学习方式：监督学习、无监督学习、半监督学习和强化学习。强化学习和其他三种学习方式主要的不同点在于强化学习训练时，需要环境给予反馈以及对应的具体的反馈值。强化学习是一种最接近于人类的学习，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题

一、基本介绍 机器学习包含四种主要的学习方式：监督学习、无监督学习、半监督学习和强 化学习。 强化学习和其他三种学习方式主要的不同点在于强化学习训练时，需要环境给 予反馈以及对应的具体的反馈值。 强化学习是一种最接近于人类的学习，又称再励学习、评价学习或增强学习， 是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境 的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题

基本介绍强化学习的四个主要特点时间是强化学习的当前的行为影响后续延迟反馈试错学习一个重要因素接收到的数据强化学习需要训练对象不强化学习训练过程中，有强化学习的一系列环境状在监督学习和半监督学习停地和环境进行交互，通时候需要等到整个训练结态的变化和环境反馈等都中，每条训练数据都是独过试错的方式总结出每一束后才会得到一个反馈，是和时间强挂钩，整个强立的，相互之间没有任何步的最佳行为决策。训练比如GameOver或者是化学习的训练过程是一个关联。但是强化学习中当对象的所有的学习都基于Win。当然对于这种情况随时间变化，状态和反馈前状态以及采取的行动，环境的反馈，没有任何的也在不停变化的过程我们在训练时候一般都是会影响下一步接收到的状指导。进行拆解的，尽量将反馈态。数据与数据之间存在分解到每一步。定的关联性

一、基本介绍 强化学习的四个主要特点 强化学习的一系列环境状 态的变化和环境反馈等都 是和时间强挂钩，整个强 化学习的训练过程是一个 随时间变化，状态和反馈 也在不停变化的过程。 强化学习训练过程中，有 时候需要等到整个训练结 束后才会得到一个反馈， 比如G a m e O v e r或者是 Win。当然对于这种情况， 我们在训练时候一般都是 进行拆解的，尽量将反馈 分解到每一步。 强化学习需要训练对象不 停地和环境进行交互，通 过试错的方式总结出每一 步的最佳行为决策。训练 对象的所有的学习都基于 环境的反馈，没有任何的 指导。 试错学习 时间是强化学习的 一个重要因素 延迟反馈 在监督学习和半监督学习 中，每条训练数据都是独 立的，相互之间没有任何 关联。但是强化学习中当 前状态以及采取的行动， 会影响下一步接收到的状 态。数据与数据之间存在 一定的关联性。 当前的行为影响后续 接收到的数据

基本概念

二、 基本概念

基本概念Agent（智能体、机器人、代理）：强化学习训练的主体。Environment（环境）：Agent在其中进行交up互和学习的世界。State（状态）：状态即为对环境的描述，可leftright以是连续的，也可以是离散的。Action（行动）：基于当前的State，Agent可以采取哪些action。Reward（奖励，回报）：Agent给出动作后Environment对Agent的反馈

Agent（智能体、机器人、代理）：强化学 习训练的主体。 二、基本概念 Environment（环境）：Agent在其中进行交 互和学习的世界。 State（状态）：状态即为对环境的描述，可 以是连续的，也可以是离散的。 Action（行动）：基于当前的State，Agent可 以采取哪些action。 Reward（奖励，回报）：Agent 给出动作后 Environment对Agent的反馈

基本概念（状态转移可以是智能体在状态s.下执行某动作at，智能体达到新的状态st+1，随机的，也可以是确定的）在这个过程中，智能体得到反馈奖励r在状态st+下再执行动作at+1，这样重复地与周围的环境进行反馈。动作aSt奖励rtEnvironmentAgent状态st+

智能体在状态𝑠𝑡下执行某动作𝑎𝑡，智能体达到新的状态𝑠𝑡+1，（状态转移可以是 随机的，也可以是确定的） 二、基本概念 在这个过程中，智能体得到反馈奖励𝑟𝑡 在状态𝑠𝑡+1下再执行动作𝑎𝑡+1，这样重复地与周围的环境进行反馈。 Environment 𝑠𝑡 Agent 状态𝑠𝑡+1 奖励𝒓𝒕 动作a

基本概念States强化学习的理论基础：马尔可夫决策过程马尔可夫决策过程可以分为五个部分（S，A，rP，元）A~元(as)·S是状态集·A是动作集smp(sIs,a)·rt(s,s,a)是在时间t和状态s下执行动作a并到达s时所获得的奖励Gt=rt+yrt+1+rt+2+....是回报函数P是状态转换概率，也就是在状态s下由策略元转移到状态s的概率P(s/s)=Z元(a|s)P(S= s"lS= S,a)·元（·Is）是在状态s下agent的策略

强化学习的理论基础：马尔可夫决策过程 二、基本概念 • 𝑆是状态集 马尔可夫决策过程可以分为五个部分（𝑆，𝐴，𝑟，𝑃， 𝜋）， • 𝐴是动作集 • 𝑟𝑡(𝑠, 𝑠’, 𝑎)是在时间t和状态𝑠下执行动作a并到达s’时所获得的奖励 𝐺𝑡= 𝑟𝑡 + 𝜸 𝑟𝑡+1 + 𝛄 2 𝑟𝑡+2+.是回报函数 • 𝑃是状态转换概率，也就是在状态𝑠下由策略𝜋转移到状态s’的概率 • 𝜋(· |𝑠)是在状态s下agent的策略 P s'|s (a | s)P (S' s'| S s,a) a （ ）=  = =

三、贝尔曼期望方程与贝尔曼最优方程

三、 贝尔曼期望方程与贝尔曼最优方程