2.1　HODRL算法框架和思想

图1是本文所提出的高速列车智能驾驶算法总体框架图，图中清晰地展示了所提算法的特点。本研究针对高速列车运行环境中庞大高维状态空间有效约束问题以及智能体在不同任务下行为评价动态性问题，实施了分层优化策略。在分层优化框架内，引入了高速列车动力学特性，并通过列车状态空间约束，有效地剔除大部分不可行状态空间，从而减少不必要的探索，使得智能体能够迅速学习目标行为。此外，自适应奖励重塑根据列车状态空间约束提供的约束数据进行奖励函数的调整，实现了在不改变奖励函数权衡关系的情况下快速完成训练，有效解决了固定奖励函数的不足。相较于传统方法，本研究的分层优化策略显著提高了智能体的收敛速度和对不同任务安排的适应性。与传统方法相比可以有效实现智能体的快速收敛和适应不同任务安排，并在策略输出层输出最优驾驶策略，具体而言，本研究的贡献包括：

图1全屏查看

HODRL算法总体框架图

1) 列车状态空间约束。通过庞特亚金极大值原理，初步找到在理想平直轨道下的最优解，并以此生成智能体状态搜索空间中的约束边界和工况区间，有效滤除大量不可行状态搜索空间区域和无效操作序列，降低智能体探索的盲目性，并有效缓解初期智能体因稀疏奖励而导致的梯度消失问题。

2) 自适应奖励重塑。鉴于高速列车在高速运行环境下受到巨大且非线性增长的基本阻力和随之降低的牵引效率，固定奖励函数不能有效适应动态能效问题。通过列车状态空间约束所生成的信息并结合高速列车动力学特性，对奖励函数进行重塑，有效平衡了智能体准时和能效2个目标。

3) 深度强化学习。在马尔科夫决策过程中，将列车视为与环境互动的智能体，其中数据输入层将离线和在线数据存储为智能体的状态信息。将处理后的极大值列车轨迹数据用于初始化经验回放池，加速智能体学习。并通过TD3算法生成连续的动作以实现准确的列车运行。

2.2　列车状态空间约束

列车运行过程可分为4个工况：全牵引工况TR、巡航工况CR、惰行工况CO和全制动工况BR。这些工况的转换遵循特定规则：TR和BR不能相互转换，CR-CO是它们之间的中介。在此框架下，提出一个遵循由PMP导出的约束数据和工况区间。

为了确定在工况组合TR-CR-CO-BR下的最优列车轨迹，本研究旨在求解在既定计划运行时间下的最优巡航速度。首先，界定一个合理的巡航速度范围。最低巡航速与工况TR-CR-BR相对应，此时不存在惰行工况CO。反之，最高巡航速度与工况TR-CO-BR相对应，此时列车或者不经历巡航阶段CR，或者达到速度限制。若巡航速度超出此范围，列车将无法在规定的计划运行时间内完成行程。初始设定巡航速度为，求与最短运行时间轨迹的交集，如下：

(6)

设定中的首尾点分别为、，为和的中点。在处列车进入巡航工况CR；在处，列车执行惰行工况CO；当列车速度等于时，在相应点执行制动工况BR。定义这一系列工况下的列车轨迹为。鉴于在相同距离内，巡航工况CR相较于惰行工况CO所需时间更短，因此运行时间呈现单调性，确保了唯一解的存在性。计算计划运行时间与轨迹所产生的实际运行时间之间的差值，记为。若大于，则将更新为；若小于0，则将更新为，并重新计算作为的新值。重复此过程，直至趋近于0，即的实际运行时间等于，此时循环终止。

鉴于轨迹的能耗值与巡航速度的映射呈现凹形特性^[19]，随着巡航速度的增加，巡航距离()呈现出非线性的减少，同时基本阻力呈现非线性的增长。为了解决这一非线性优化问题，本研究采用一种梯度相关的启发式方法，计算如下：

(7)

其中，通过式(1)～式(2)求解；由工况TR和工况CR的能耗组成。工况TR对应于全功率牵引的能耗，而工况CR则需要施加足够的力以抵消基本阻力和附加阻力。计算在处的能耗梯度，如果梯度为正，则将设定为，并更新为；如果梯度为负，则将设定为，并更新为，同时计算对应的和。重复此过程，直至能耗梯度趋近于0，此时循环终止。此时、分别对应为和，而则代表工况组合TR-CR-CO-BR中的最优能效巡航速度。

对应的状态搜索空间约束上下边界，如下：

(8)

(9)

(10)

其中，为最低巡航速度的轨迹。图2根据式(7)～(11)生成了对应的极大值列车轨迹和高速列车边界约束。通过该约束信息，进一步生成列车工况区间，压缩智能体需要搜索的状态空间。

图2全屏查看

极大值列车轨迹和高速列车边界约束图

在列车的节能操作中，有以下经过论证的结论^[20]：驾驶期间应避免不必要的制动。在制动前采取惰行操作以降低制动前的运行速度，有利于减少列车动能的损失。列车在起步阶段应采取全牵引操作，不可能通过优化驾驶策略来提升这部分的能效。

根据上述定义，列车运行的工况区间可分为：全牵引区间、牵引-惰行组合区间、惰行区间以及全制动区间。具体而言，当列车速度曲线与重合，并且速度曲线在相邻点的差值大于0时，该区间被定义为全牵引区间；当大于且列车速度时，该区间为惰行区间；当与重合且速度曲线在相邻点的差值小于0时，该区间为全制动区间。状态空间的其余部分则构成牵引-惰行组合区间，在此区间内，智能体仅需寻找一个操作组合并选择一个惰行-制动点，以避免无效工况组合并加速收敛过程。最终，对进行高斯模糊处理，生成多条轨迹作为经验回放池的初始数据，以此加速智能体训练过程。同时，生成的约束数据提供给自适应奖励重塑模块，以寻找能效和准时目标之间的权衡关系及阈值。

2.3　自适应奖励重塑

深度强化学习智能体的策略受到奖励信号的引导，如果奖励信号设置不合理，可能会导致智能体倾向于或忽略某一目标，从而打破目标之间的平衡。例如能效和准时目标之间存在竞争关系，对一个目标的优化可能以另一个目标的劣化为代价。此外，正奖励的阈值设置也影响训练效果。阈值过高会使智能体难以达成目标，造成梯度消失问题。阈值过低会使智能体轻易达成目标，但无法学习到更复杂的策略。

文献[14]主要通过大量的实验来人工调整，只能适应当前固定的约束。在约束更新时，需要频繁调整且难以在实际应用中得到有效应用。本文将根据列车状态空间约束计算出的极大值列车轨迹作为目标，结合速度限制、巡航里程、牵引代价来进行奖励重塑。对于能效正奖励的阈值目标选择极大值列车轨迹的能耗，因为PMP计算出的最优能效工况组合TR-CR-CO-BR是列车在无坡度轨道下才为最优解。而在实际情况下，列车通常会在有坡度的路段运行，所以计算出的轨迹往往只是局部最优解，智能体需要通过利用坡度势能进一步寻找最优驾驶策略。对于节能和准时目标的权衡关系则主要考虑列车在不同速度运行区间的能效难度，如图3所示。这是因为列车在高速状态下，列车面临巨大且非线性增长的基本阻力。随着速度的提高，牵引效率也在非线性地下降。为了满足计划运行时间的安排，列车必须在规定的速度范围内行驶。为维持这一速度，需要更大的功率，从而导致比低速巡航更高的能耗。

图3全屏查看

CRH380A牵引特性曲线图

与此同时，从CO工况到TR工况的能量转换随着速度的增加而减少，更容易通过加速来提高能效。针对牵引代价将极大值列车轨迹的巡航速度作为评价指标，如下：

(11)

(12)

其中，和分别是在PMP轨迹巡航速度下维持CR工况和TR工况所需要的单位能量；是对智能体在单位迭代步长下速度最大增益；是智能体的迭代步长。

在列车运行过程中，牵引系统是能量主要的消耗来源，牵引又分为起步阶段的全牵引和运行阶段的部分牵引。起步阶段的全牵引是为了满足计划运行时间安排，这部分能量是无法节约的。而节能主要通过减少运行阶段的部分牵引。行驶过程中，牵引部分能量越多同时下坡占比越大，意味着智能体越容易去提升能效。针对巡航里程将极大值列车轨迹的巡航能量作为评价指标，如下：

(13)

(14)

其中，为运行阶段的最大能耗；为巡航状态的首尾点；为该位置坡度；为允许的最大安全坡度。此外，当计划运行时间和最短运行时间过于接近时，智能体的行动范围受到了限制，能效的提升难度指数上升。因此针对速度限制将计划运行时间和最短运行时间作为评价指标，如下：

(15)

其中，为的最大值，而SL是一个严格单调且非线性增长的函数，保证当时，无法提升能效。当差额足够大时，几乎不会产生负面影响。因此，奖励函数中能效权衡，如下：

(16)

其中，为运行阶段的牵引能量；为预计节能值。在2.4小节中，利用列车状态空间约束和自适应奖励重塑提供的数据，提供给负责列车驾驶策略的TD3算法。TD3通过生成一系列连续动作来寻找最优的高速列车驾驶策略。计算的间隔点为25 m，以避免频繁切换指令对列车部件可能造成的损害，以及操作延迟和操作不准确的风险。随后，分割点会逐步合并到计算点序列中。

2.4　深度强化学习的马尔可夫决策过程建模

在深度强化学习中，智能体通过与环境的交互来学习如何在各种情境中做出最优决策。为了系统地描述这种交互过程，常使用马尔可夫决策过程(MDP)这一数学框架。MDP为强化学习中的决策问题提供了一个结构化的模型，其中S为当前状态；为智能体的采取的动作；为当执行某个特定动作后，从一个状态转移到另一个状态的概率；为奖励函数，是智能体行动的评价指标。本文强化学习层中选用TD3算法，这是一种针对高维连续动作空间控制问题而专门设计的著名深度强化学习算法。该算法能够有效应对现实世界的复杂任务，并在训练过程中通过自我学习不断优化其策略。在此框架中，智能体对应于列车的驾驶员。智能体在列车状态空间约束条件下，在一个允许的速度范围内驾驶列车。

1) 状态空间定义。智能体的状态即为列车在位置时的观测，其中通常包含列车的速度、运行时间、位置和当前坡度。但这对更好地实现能效和准时目标仍不充分，为此将列车状态空间约束和自适应奖励重塑提供的数据作为状态补充给智能体，以使其加速训练，如下：

(17)

其中，为当前速度相对于的比值；为运行时间和计划运行时间的比值；为当前位置和线路长度的比值；为当前的坡度；为实际能耗和的差与的比值，可以帮助智能体了解当前的剩余能量，使智能体更快地学会惰行操作。

2) 动作空间定义。智能体的动作则为列车输出的功率的百分比，，其中列车运行能耗主要表现在以下3个方面：提高列车的动能、克服列车运行时的基本阻力和附加阻力、列车运行时的自耗。根据列车运行能耗的构成，节能的操作应该避免不必要的制动，以避免列车动能的损失。通过列车状态空间约束计算出的工况区间，定义智能体的行动范围。

3) 奖励函数定义。在智能体与环境的交互过程中，它是以奖励信号而不是深度学习中的标签作为引导的，产生数据样本身是没有标签来判断其好坏，因此强化学习的性能的评价指标是通过奖励函数来定义。在列车驾驶策略中，需要考虑的主要因素是列车的准时、能效和乘客舒适度，将上述3点作为评价智能体驾驶质量的指标。由于列车运行中的状态不能完全反映出最优驾驶策略的差异，能效奖励和准时奖励只会在目的地给出，作为结算奖励。而列车急动度则保证乘客的舒适作为日常奖励，如下：

(18)

其中，为实际运行能耗；为实际运行时间；(=4)为一个相对较大的正权重，用于激励智能体训练；是能效指标的权重系数，计算如下：

(19)

其中，和分别为自适应奖励重塑计算出的能效阈值目标和能效权衡目标。在较小时，智能体的单位能效奖励信号增益变得更加可观。即使在低能效环境下，也可以成为智能体努力提高能效的动力。相反，在更简单的场景中，这种机制可以防止能效奖励信号压倒总体目标，确保准时目标不会被忽视。

是准时指标的权重系数，计算如下：

(20)

其中，为计划运行时间；为可容忍的误差最大值，该时间内都认定为准时，给予智能体正向信号。

是舒适度指标的权重系数，计算如下：

(21)

其中，为该线路回合数；为最大加速度；为贴现因子，以防止日常奖励过大，稀疏结算奖励。可以看到，3个权重中都出现同一变量，这是为保证各目标的奖励信号激励的平衡与稳定。

3.1　仿真参数设置

1) 线路及列车相关参数。仿真实验选用京沪高铁的某一区间段线路数据。该区段上，站间限速为310 km/h和280 km/h，站内股道限速为80 km/h，线路区间长约46 km，见表1；选用CRH380A型列车，牵引特性根据在平直轨道上进行实验计算得出^[21]。列车最短运行时间750 s。列车运行模拟环境使用OpenAI Gym框架，所提出的算法在Python 3.8.16中实现，并使用深度学习框架PyTorch。

2) 算法参数设置。HODRL算法中学习率取值为0.000 2，软更新因子取值为0.01，奖励贴现因子取值为0.98，经验回放池容量取值为，演员网络结构均为256×256×1，评论家网络结构均为256×256×1，探索噪声取值为0.1，策略噪声取值为0.2。

3.2　实验结果及分析

本文将3种不同的强化学算法和HODRL分别独立运行约28 000回合，并分别从收敛性、准时率、能效比、舒适度等多个指标出发，对实验结果进行比较分析。同时通过分别独立运行分层优化层中的列车状态空间约束和自适应奖励重塑，用以对比DRL智能体训练最优驾驶策略的效果。

3.2.1　基线算法与HODRL算法性能对比

HODRL通过与当前DRL中主流的3种算法进行对比，分别为DDPG^[10]、TD3^[11]、PPO^[12]算法。这些算法都是基于在线或离线策略的连续动作空间强化学习算法，具有一定的代表性并广泛应用。它们使用相同的网络结构、超参数和训练环境，用以保证可比性。并以PMP算法的能耗值作为强化学习的基线值。

图4展示了其训练过程中的奖励曲线，从图中可以看出，HODRL算法在收敛速度、稳定性，以及智能体的策略质量方面，均明显优于其他基线算法。在约4 000个回合后，该算法即可达到较高奖励值，并在之后的训练中保持较小波动。相比之下，其他3种基线算法表现出较大的差异和不稳定性。其中，PPO算法在训练结束时仍未达到收敛状态。DDPG和TD3算法虽然最终收敛，但其收敛速度很慢且奖励值波动频繁。这些基线算法在初期训练阶段受到边界值的影响，因为边界值往往是无效的。相比之下，HODRL算法采用了分层优化的方法，有效地缩减了状态搜索空间，降低了惩罚奖励，加快了在搜索空间范围内寻找可行驾驶策略的速度。这也说明了在回合步数较长情况下，状态搜索空间过大将导致梯度消失这一问题。

图4全屏查看

基线算法与 HODRL算法奖励曲线图

表2列出了HODRL和各种基线算法在计划运行时间950 s下的性能指标，包括列车运行时间误差、能耗、舒适度和奖励方差，数据源于各自的最优策略。其中舒适度指标反映了列车在行驶过程中驾驶曲线的波动程度，应当控制在一个尽可能低的水平，以此确保乘客体验和安全。从表中可看出，HODRL算法在列车运行的3项关键指标均取得了最佳的效果并具有最小奖励方差，证明了该算法的有效性。其中HODRL中的分层优化层时间复杂度为，可以在几秒内完成计算，仅在智能体训练开始前计算。

表2全屏查看

基线算法与HODRL性能指标对比

算法	准时误差/s	能耗/kWh	能效提升/%	舒适度/m/	奖励方差/
HODRL	0.058	576.27	1.84	1.24	3.24
TD3	0.419	583.23	0.65	3.09	18.44
PPO	6.325	611.09	-4.09	7.14	35.86
DDPG	1.214	586.17	0.153	5.42	27.52
PMP	0.057	587.07	—	1.69	—

展开更多

注：能效提升=(PMP能耗-算法能耗)/PMP能耗。

图5展示了HODRL算法在不同计划运行时间下的最优驾驶策略。对比图中的驾驶轨迹，可得以下驾驶策略：在列车起步阶段，智能体选择全功率牵引以快速增加列车的动能；在运行阶段，根据坡度变化和计划运行时间调整牵引和惰行的组合以利用坡度的势能变化；在下坡段，倾向于惰行或低功率牵引以节省能量；在上坡段，选择适当的牵引力度以避免坡度势能损失，并保持适当的速度；在结束阶段，选择惰行操作以利用之前积累的动能，满足计划运行时间要求。

图5全屏查看

不同计划运行时间下HODRL算法最优驾驶策略

表3对比了使用分层优化前后，强化学习层中的智能体在4个不同的计划运行时间下的实际表现，其中HODRL算法中强化学习层的算法为TD3。从表3可看出，HODRL算法显著地降低了列车能耗，且都低于其阈值能耗目标，并且收敛速度比未使用分层次优化方法的TD3算法加快，达到了约一个数量级。同时智能体的实际运行时间与计划运行时间之间的误差都在±0.1%的允许范围内。

表3全屏查看

使用分层次优化前后不同计划运行时间下的性能指标对比

计划运行时间/s	阈值能耗/kWh	HODRL				TD3
		准时误 差/s	能耗/ kWh	能效提升/%	收敛回 合/	准时误 差/s	能耗/ kWh	能效提升/%	收敛回 合/
850	701.00	0.045	683.72	2.47	3.7	0.445	690.45	1.50	24.6
950	587.07	0.058	576.27	1.84	4.3	0.419	583.23	0.65	26.9
1 050	525.25	0.103	506.67	3.54	3.6	0.794	512.31	2.46	24.2
1 150	480.08	0.062	456.33	4.95	3.8	0.208	465.59	3.02	25.1

展开更多

注：能效提升=(阈值能耗-能耗)/阈值能耗。

3.2.2　列车状态空间约束有效性对比

通过状态空间约束，在计划运行时间为850，950，1 050和1 150 s计划运行时间下分别过滤了83.65%、80.71%、79.13%、75.24%的状态空间，有效缓解了智能体前期探索的盲目性，提升了学习效率。

图5对比了在计划运行时间950 s下，HODRL算法的最优能效轨迹和能效阈值轨迹，以及列车相应的运行工况区间。图中空白区域代表被剔除的状态空间，大量无效状态空间被过滤掉。空间内的不同颜色区域反映出不同的工况区间，也就是智能体可以选择的动作范围。其中最上面的虚线表示能效阈值轨迹，该轨迹是在不考虑坡度的理想情况下的局部最优解，平均准时误差小于0.1%，满足计划运行时间。从图中可以看出，最优能效轨迹位于能效阈值轨迹的附近，验证了列车状态空间约束的有效性。

图6对应计划运行时间下的能效阈值轨迹和最优能效轨迹的能效曲线。在初始牵引阶段，最优能效轨迹和能效阈值轨迹都采用全功率牵引，以最快速度提升自身动能，轨迹重合。随后最优能效轨迹在短暂牵引后转为惰行操作，利用长度6.11 km下坡段，通过坡度势能增加列车的动能。在利用完下坡段的势能后，需要再次进行牵引，以防止列车动能过大的损失。虽然最优能效轨迹在初始阶段为加速消耗了更多能量，但在后续过程中通过利用坡度势能节约下来的能量则更多。

图6全屏查看

最优能效曲线和能效阈值曲线对比

图7展示了使用列车状态空间约束前后的能效和准时目标效果曲线。可以明显看出，智能体能够快速学习到能效和准时的技巧，并产生更稳定且可行的驾驶策略。HODRL算法仅消耗TD3约16.67%的计算资源，就能让智能体获得更高质量的策略，并产生更有价值的动作。同时，HODRL只需要约4 000回合的迭代，奖励曲线就趋于稳定，而TD3则需要约24 000回合。

图7全屏查看

使用列车状态空间约束前后性能指标对比

3.2.3　自适应奖励重塑有效性对比

通过自适应奖励重塑，可以有效平衡智能体对于能效目标和准时目标之间的权衡。即通过能效目标和准时目标中分别能够获得的最大奖励是相似的，因此预计节能和实际节能应尽可能地接近智能体实际表现。

表4为自适应奖励重塑对能效效率提升效果的对比，每个智能体经过5 000轮训练。预计能效越大任务越简单。从表中预计能效还可观察到，在不同调度运行时间下，能效的复杂度有所不同。例如，在计划运行时间为950 s，实际节能量只有计划运行时间为1 150 s下实际节能量的45.47%，说明需要给予更大的节能奖励信号，才能让智能体在能效目标和准时目标之间保持平衡。

表4全屏查看

自适应奖励重塑和智能体实际表现在不同调度时间对比

计划运行时间/s	预计节能/kWh	实际节能/kWh	误差/kWh	阈值能耗/kWh	预计能效/%
850	21.64	18.92	2.72	701.00	3.09
950	12.50	11.15	1.35	587.07	2.13
1 050	16.73	18.19	1.46	525.25	3.19
1 150	23.16	24.30	1.14	480.08	4.82

展开更多

注：预计能效=预计节能/阈值能耗；误差=预计节能-实际节能。

图8展示了在计划运行时间范围从800～1 300 s，以每50 s间隔为单位，进行了自适应奖励重塑估计的预计节能和智能体训练实际表现的对比。在此过程中，自适应奖励重塑预计能效和智能体实际表现误差的均值为0.91 kWh，标准差为1.99 kWh。有效帮助智能体在能效目标和准时目标之间取得平衡。这一机制旨在保证2个目标在获取最大奖励方面的难度保持一致，防止智能体过度偏好某一目标而忽略其他目标。此外，避免能效目标过于困难导致智能体学习缓慢，或过于简单使得智能体过早陷入局部最优解。

图8全屏查看

预计节能与智能体实际表现

图9展示了在计划运行时间为950 s时，是否使用自适应奖励重塑对智能体的能效目标影响。在不使用自适应奖励重塑时，能效权重的选择是基于计划运行时间为1 150 s计算出的。该任务中，由于节能难度较低导致的奖励信号过小。在没有使用自适应奖励重塑时，由于能效奖励信号过小，智能体在训练初期选择通过放弃准时目标来最大化能效奖励，造成了较大的惩罚。然后智能体很快调整了能效目标的优先级，但始终因为过小的能效奖励信号，导致了一直陷入局部最优解的情况。而使用自适应奖励重塑后，在约700轮训练后就学会了如何提升能效的技巧，并在后续过程中不断产生更有效的策略。

图9全屏查看

使用自适应奖励重塑前后能量节约指标对比