2.1　带调整机制的列车运行控制强化学习框架设计

列车在站间行驶的过程中，车载控制器根据静态信息(包含线路数据、车辆信息等)和实时列车状态(包含列车当前速度、当前位置等)，计算下一时刻输出的控制量大小，并作用于列车，产生下一时刻的列车状态。由此可见，列车下一时刻的状态仅由当前时刻列车的状态和当前时刻车载控制器的控制输出决定，与此前的任何历史列车状态无关，那么列车在站间由启动行驶再到制动停车的过程可以视为一个有限的马尔科夫决策过程。此外，列车当前时刻的状态也决定着车载控制器在下一时刻输出的控制量的大小和方向，使得列车在满足式(5)的约束下运行。因此，列车运行控制优化这一复杂多约束的问题可以通过强化学习方法进行求解，本文提出一种带调整机制的列车运行控制强化学习方法对列车站间驾驶策略进行优化，其框架结构如图1所示。

图1全屏查看

带调整机制的列车运行控制强化学习框架

列车当前状态下的动作选择不仅取决于智能体根据策略选择的动作，也取决于调整单元，调整单元根据策略以一定的概率决定是否对智能体的动作选择进行干预，根据这样的混合策略来确定动作的选择。调整单元会将列车当前状态与期望状态空间进行对比，若当前状态不在期望的状态空间内，则说明智能体做出了错误的动作选择，需要尽快进行干预，引导车载控制器输出正确的控制量，智能体同样会对这样的调整进行学习，最终通过不断地训练输出满足安全、舒适、准时、节能等目标的驾驶策略。通过这样的混合动作选择策略，既保留了强化学习下智能体的探索和学习能力，又能避免单纯的强化学习的盲目探索，一定程度地减少试错，提高算法的收敛速度。

2.2　调整机制的建立

建立调整单元是为了使列车能够在保证安全的情况下尽可能按照时刻表的要求到达目的地，调整单元会根据列车当前运行状态给出一个允许速度范围，并判断列车当前速度是否处于该范围内，若不处于该范围内需要对车载控制器的输出量进行干预，确保列车最终能够安全、舒适、准时、节能地运行至终点。调整单元相当于一个经验驾驶员，以一定概率对智能体的输出进行干预，智能体将不断地学习这样的经验，以提高算法的收敛效率。

确定允许速度范围需要对列车当前状态下剩余行程的最短运行时分进行计算，如图2为一般情况下剩余行程最短运行时分的计算示意图，根据线路限速情况，将站间划分为如图2、、、的限速区段，若列车在当前状态时，在不超过线路限速的情况下，以最大牵引力或最大制动力行驶至终点的轨迹即为列车当前的最短运行时分速度曲线，计算这一过程的列车运行时间，即为列车当前的剩余行程最短运行时间。若为大坡道情况下，会存在即使施加最大控制力，列车也无法达到最大允许速度的情况。

图2全屏查看

剩余行程最短运行时分计算示意图

其中，在限速区段剩余的最短运行时分定义为当前区段的最短剩余运行时间。那么，在给定该站间计划运行时分时，可以计算当前时刻的站间运行冗余时间为：

(7)

其中，为列车当前的运行时间，那么，列车由当前位置行驶至当前限速区段的终点的最小时间为，通过这一段距离的最大允许时间则定义为。因此，若列车处于第个限速区段时，定义列车在此区段内的最大允许速度和最小允许速度为：

(8)

和作为调整单元的速度上限和下限，决定后续是否需要进行动作干预。定义决策变量和来共同决定是否需要对智能体动作进行干预。其中，调整单元根据策略决定决策变量的取值，遵循以下规则：

(9)

若列车当前速度在调整单元计算的速度范围内，那么调整单元无需对智能体的动作进行干预；反之，调整单元将以的概率对智能体的动作进行干预，调整控制器的输出。那么，决策变量的取值取决于在均匀分布的区间生成的一个随机数，若，，表示调整单元将会对智能体动作进行干预；否则，，调整单元不进行干预。综上，混合调整策略可以定义为：

(10)

当时，表示调整单元需要对智能体的动作进行干预。若，说明当前速度过低，需要尽快加速以满足运行计划要求，因此需要调整控制力为加速控制；若，则需要进行减速操作，否则速度将会超过限速值，无法保证行车安全。那么，下一时刻的控制器的输出可以由下式计算：

(11)

式中：表示列车当前所受单位质量控制力，表示为，即为当前列车加速度大小，其数值不能超过最大牵引加速度/减速度的限制；表示下一时刻控制器的输出量；为时间间隔内单位质量控制力的最大增量，即加速度的最大变化率。加速度的变化率应该在一定范围内，以保证乘客乘车的舒适性，本文设置在仿真步长的情况下其数值应该不超过0.2 m/s²，即 。

当时，则表示调整单元不会对智能体进行干预，智能体将根据深度强化学习的算法进行动作选择输出控制力，可以表示为：

(12)

2.3　强化学习基本要素定义

转化为马尔可夫决策过程的列车运行控制优化问题，可以通过深度强化学习进行求解。列车的车载控制器相当于是智能体，根据当前环境中列车的状态选择并执行动作，然后该动作会对环境产生影响并产生新的状态、奖励值以及状态值函数，并反馈给智能体，智能体根据新的状态继续与环境进行交互。通过不断地与环境进行交互，智能体将会学习到一个最优的控制策略以达到列车站间运行节能、准时、舒适的目标。除了智能体和环境以外，还需要设置强化学习系统的另外3个元素：状态，动作，奖励。接下来针对列车运行控制优化问题对这3个元素的设置进行详细介绍。

1) 状态

在本文中，列车的当前位置、当前速度、当前行驶时间这3个重要的元素组成了状态。若智能体经过次状态转换完成一个回合(episode)的训练，即列车从起点行驶到停车终点的过程，这个训练回合中总共有个状态转换步，那么第个状态可以表示为：

(13)

式中：、和分别表示列车在时刻的位置、速度和行驶时间。另外，在一个回合的训练中，列车的初始状态和终止状态被定义为：和。

2) 动作

车载控制器作为智能体，根据列车当前状态做出动作选择并输出对应的控制指令，指导列车在站间行驶，以列车单位质量所受控制力的变化量作为动作的输出量，指导控制器在下一时刻输出相应大小的作用力。由于采用的DDDQN算法用于处理离散动作下的控制问题，因此将动作空间离散为：

(14)

3) 奖励

强化学习将优化目标转化为奖励信号。在每一步的动作中，智能体都会收到来自环境的一个奖励，而智能体的目标则是最大化奖励的总和。根据列车运行控制的优化目标和约束条件，奖励函数应该包含对安全性、准时性，节能性以及停车位置的精准度的评价。因此，奖励函数可以被定义为安全奖励函数、准时奖励函数、节能奖励函数和停车奖励函数的加权组合，表示为：

(15)

其中，、、和分别为安全奖励、准时奖励、节能奖励、停车奖励的权重，根据目标的优先级，其值分别设定为10、5、1和5。

① 安全奖励函数

为了保证列车在站间行驶的安全，需要对列车速度进行约束保证其不会超过线路限速，一旦列车当前速度超过了当前位置处的线路限速，表明列车非正常行驶，将被赋予一个负向奖励，因此定义安全奖励函数为：

(16)

② 准时奖励函数

为了保证列车尽可能按照计划运行时分的规定到达终点，定义了当前速度与剩余行程平均速度之间的差值作为奖励项对每一中间状态的准时性进行评价，此外当列车到达终点时，将会根据实际运行时间和计划运行时分之间的差值获得一个额外的准时性奖励，因此准时奖励函数可以表示为：

(17)

③ 节能奖励函数

列车在运行过程中的节能奖励依靠计算列车在每一步状态转换过程中单位质量消耗的牵引能耗来评价，具体可以表示为以下函数：

(18)

其中，为奖励偏置，本文设定为0.1；为折扣系数，本文设定为0.2，不难看出，当单步转换的牵引能耗越小时，获得的奖励值越大。

④ 停车奖励函数

为了保证乘客的正常上下车，需要控制列车的停车误差在一定范围内，因此当列车处于终止状态时，设置以下停车奖励函数对停车精度进行评价：

(19)

其中，为误差权重系数，当列车的停车误差小于设定的最大停车误差时，会获得一个正向的奖励，停车误差越小奖励值就越大，若列车停车位置不满足误差需求，将会获得一个负向奖励。

2.4　DDDQN算法设计

深度强化学习的核心就是智能体通过不断地与环境进行交互，优化动作选择策略使得动作价值函数不断地逼近最优值函数。本文提出的DDDQN算法，将原始DQN的单流网络结构改变为决斗网络构架(Dueling network architecture)，将输出拆分成状态价值流和优势流2部分^[20]，如图3所示，分别对状态价值和每个动作的优势进行估计。最后将2个流组合起来输出动作对应的动作价值，可以表示为：

(20)

式中：表示隐藏层的参数；和分别表示优势流和状态价值流的参数。相较于原始的DQN网络结构，采取这样的决斗网络构架能够更直观地了解到哪些状态有价值哪些状态没价值，因此不需要对每个动作每个状态的影响进行分析，就能够得到对应的动作价值，且避免了重复计算相同状态价值，加快了智能体学习的效率。

图3全屏查看

决斗网络构架示意图

此外，DDDQN算法区别于原始DQN算法，动作选择和估值都使用Q网络，在动作选择时采用Q网络：

(21)

而估值则采用目标网络，从而改善原始DQN算法估值过高的问题。那么目标值可以表示为：

(22)

为了使智能体能够充分地对未知环境进行探索，本文采用贪婪策略进行动作选择，表示为：

(23)

式中：为智能体的动作空间；则表示动作的数量。根据贪婪策略，智能体以的概率随机选择一个动作对环境进行探索，以的概率选择使得当前动作函数值最大的动作。具体的基于DDDQN算法的列车运行控制优化流程如图4所示。首先初始化列车状态，神经网络根据列车当前状态计算Q值，智能体根据计算得到的Q值和贪婪策略进行动作选择，并给出对应的控制量，调整单元根据当前列车状态给出一个参考的控制量，此时根据混合策略决定是否需要进行干预并输出下一时刻的控制量，通过与环境进行交互更新下一时刻的列车状态，并将此次训练的数据存储到经验数据回放缓存中用于更新网络参数，若检测到当前状态为终止状态且满足最大训练周期数的要求，则停止训练输出最终生成的列车站间运行控制策略和速度曲线。

图4全屏查看

基于DDDQN算法的列车运行控制优化流程