【机器学习】Reinforcement Learning-强化学习基本概念

来源：客趣旅游网

1、Q值与V值

Q值：也称为动作价值函数，评估动作的价值，它代表了智能体选择这个动作后，一直到最终状态奖励总和的期望，表示为Q(s, a)，其中 s是状态，a是动作。

V值：评估状态的价值，也称为状态价值函数，表示为V(s)，其中s是状态。它代表了智能体在这个状态下，一直到最终状态的奖励总和的期望。V值与动作无关只与状态有关。

Q值和V值的概念是一致的，都是衡量在马可洛夫树上某一个节点的价值。只不过V值衡量的是状态节点的价值，而Q值衡量的是动作节点的价值。

某状态S的V值，可以这样计算：

总结就是：从某个状态，按照策略，走到最终状态很多很多次；最终获得奖励总和的平均值，就是V值。

计算某个状态S0下的一个动作A的Q值：

总结就是：从某个状态选取动作A，走到最终状态很多很多次；最终获得奖励总和的平均值，就是Q值。与V值不同，Q值和策略并没有直接相关，而与环境的状态转移概率相关，而环境的状态转移概率是不变的。

一个状态的V值，就是这个状态下的所有动作的Q值，在策略下的期望。

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文