2.1　聚焦线性自注意力原理

虽然上节所述Retinexformer框架采用倒残差深度可分离卷积，在IG-MSA中通过调整Q，K，V的计算顺序为，使多头自注意力计算复杂度由降为，但其相似度()的秩为，使得特征多样性大幅度下降。为此本节在传统多头注意力的基础上说明聚焦线性注意力在降低计算复杂度和保证特征多样性方面的优势。

传统多头注意力：多头注意力对每个头的计算可用式(9)表示，其中表示相似度函数，对多个头的注意力进行堆叠构成注意力特征图。当用实现时即为传统的多头注意力。

(9)

其计算复杂度如下所示：

(10)

计算复杂度与的平方成正比，通常远大于d，为传统多头自注意力计算速度慢的重要原因。Retinexformer通过调整Q，K，V的计算顺序(式(8)和式(9))使得运算复杂度由变为，但导致相似度矩阵的最大秩减小为d，严重影响特征多样性。因此采用线性自注意力减小传统多头注意力的计算复杂度。线性注意力采用式(11)所示的核函数计算式(9)中的相似度。

(11)

若采用式(12)所示的向量内积(最简单的线性核函数)作为核函数：

(12)

则根据矩阵乘法的结合性可将计算顺序从改为，两者运算结果相同，但计算复杂度从变为。softmax和线性核函数相似性计算的顺序分别如图1(a)、图1(b)所示，虽然降低了计算复杂度，但线性注意力的分布过于松散，导致性能较softmax注意力显著下降，故需要一种策略使线性注意力达到接近于softmax注意力一样的尖锐分布，式(13)所示聚焦函数能满足此要求，基于此函数的注意力称为线性聚焦注意力(FLSA)。

(13)

其中，表示逐元素计算的次方，可证明，说明向量被映射后特征的范数不发生变化，而方向发生变化，可实现相似Q-K和不相似Q-K之间更显著的差异分布。

图1全屏查看

线性注意力计算顺序调整降低计算复杂度

命题1(调整特征方向后对相似度计算的影响)：假定， ，，，且和分别有唯一的最大值，。对成对的特征{}，当时：

(14)

当时：

(15)

图2以二维向量为例给出了的作用效果。如图2(a)所示，当作用于q和k时，将特征按最靠近它们的坐标轴分为若干组，且将q和k拉向靠近它的坐标轴以聚焦相似的特征。图2(b)所示为当按式(11)生成注意力时，使得q对更接近它的特征组获得更高的相似度，同时减小和它远离特征组的相似度。

图2全屏查看

对特征和相似度权重的调整(取p=3，以二维向量进行说明)

2.2　注意力矩阵增秩方法及分析

除注意力聚焦，特征多样性也是限制注意力表达能力的因素之一。线性聚焦注意力中注意力矩阵秩的大小由WH和d决定，即：

(16)

线性注意力矩阵秩的上限被限制在较低的值，这表明注意力矩阵的许多行严重同质化。由于自注意力的输出是同一组的加权和，因此注意力权重的同质化导致聚合特征之间的相似性。为此在注意力矩阵后填加深度可分离卷积(DWC)模块以解决线性注意力模块低秩的问题，为此线性注意力输出特征图表示为：

(17)

进一步输出特征图可表示为

(18)

故DWC视为一种注意力，在这种注意力中每个查询只关注特征空间中的几个局部特征，而不是所有特征V，这种局部性确保了即使2个查询对应的线性注意力值相同，仍然可以从不同的局部特征中获得不同的输出。有满秩(WH)的潜力，从而能更好地保证特征的多样性。

基于上述分析，聚焦线性注意力首先采用式(13)所示的映射函数来模仿softmax对注意力的大幅度调整。在此基础上，采用简单的深度卷积解决线性注意力模块中的低秩问题来恢复特征多样性。由此聚焦线性注意力模块可以享受线性计算复杂度和高特征多样性表示。由此采用该注意力机制模块替代原RetinexFormer中的注意力构成聚焦线性注意力RetinexFLAformer网络结构，用于TEDS图像去模糊。

2.3　改进的网络结构

一阶段暗光增强RetinexFLAformer网络结构如图3所示，根据采用IGFLAB个数的不同，构建RetinexFLAformer和FastRetinexFLAFormer(速度更快)2种网络结构，用以研究暗光增强效果和运行速度的平衡。其中图3(a)根据Retinexformer^[24]实现照明估计器的功能，首先使用1×1卷积融合和的堆叠，随后采用5×5的深度可分离卷积模拟具有不同照明条件的区域的相互作用，生成照亮特征。随后使用1×1卷积聚合生成照亮图，用于点亮等式(3)中的。然而中还有因黑暗和光照不均等引入的干扰，直接用于照亮图像，容易使得干扰影响增亮图像的品质，故采用其如图3(b)所示照明引导的Transformer(IGT)以扮演式(5)中干扰恢复器的角色进行干扰退化修复。首先原暗光图像和逐像素相乘形成照亮图像送入IGT，经IGT处理后输出残差图像，和求和得到暗光增强图像。

图3全屏查看

一阶段暗光增强FastRetinexFLAFormer网络结构

IGT运算过程：经2层步长为1的3×3卷积、2个(1个)如图3(c)所示的照明引导的多头线性聚焦注意力模块(IGFLAB)和2层步长为1、1层步长为2的3×3卷积、2个(1个)IGFLAB和2层步长为1、1层步长为2的3×3卷积构成下采样层生成层次特征图，其中i=0,1,2，随后F₂被送入2个IGFLAB(2级深度可分离卷积和下采样卷积)，对称的结构用于生成上采样分支，引入横向连接将上采样和下采样分支中相等大小而不同语义的特征图堆叠。中的参数配置即为图3所示的FastRetinexFLAFormer。

IGFLAB结构描述：如图3(c)所示，由估计得到的照亮特征图和输入经归一化后一起送入如图3(d)所示的照明引导的多头聚焦线性自注意力模块IG-MFLSA，随后接2层前馈卷积层。图3(d)所示的IG-MFLSA只展示了最大尺度的模块结构，对后续的小尺度采用步长为2的4×4卷积对进行下采样以匹配IG-MFLSA的空间尺寸。

IG-MFLSA计算过程：首先对输入采用和IG-MSA相同的处理方式生成向量、、；然后采用式(17)进行注意力特征图的计算；最后采用和IG-MSA相同的方式将N个注意力头的输出堆叠后加上位置编码送入全连接层生成输出，最后调整为注意力特征图。

2.4　损失函数

为进一步提高由于增强网络和曝光不均引起的局部区域对比度下降问题，加入空间一致性损失、曝光控制损失和颜色恒定性损失，以提高暗光增强效果，由此损失函数定义如下：

(19)

为原Retinexformer像素L1损失：

(20)

其中，表示暗光图像；表示对应的亮光图像；、为图像上像素点的坐标。

为空间一致性损失，通过保留输入暗光图像与其增强版本之间相邻区域的差异来促进增强图像的空间一致性。

(21)

其中，和为增强图像和输入暗光图像中局部区域的平均强度值；k是局部区域的数目；是以区域i为中心的4个相邻区域(上、下、左、右)，在此研究中将局部区域和相邻区域的大小设置为3×3。

为了抑制曝光不足/过度的区域，采用曝光控制损失来控制曝光水平。

(22)

曝光控制损失计算局部区域的平均强度值与良好曝光度水平B之间的距离，根据文献Zero-DCE^[12]的实际经验，在此设定B=0.6。M表示大小为16×16的不重叠局部区域的数量。

为颜色恒定性损失，其通过建立R，G，B三通道之间的关系，来校正增强图像中的潜在颜色偏差。如式(23)所示：

(23)

其中，表示m通道的平均强度值；(p, q)表示一对通道。

3.1　训练数据库

本文将某局TEDS系统获得的一趟低速且曝光良好的列车TEDS图像，共1 437张组成清晰图像，对其加入不同程度的暗光和噪声生成成对的高清、暗光图像对，随机抽取1/4作为验证集，其余作为训练集。为进一步提高图像集特征信息和网络对暗光增强的泛化能力，将TEDS图像集合并入LOLv1数据集用于网络的训练。

3.2　训练策略

采用从头开始训练的策略，采用adam优化器，训练周期设置为150 000个epoch，初始学习率设置为，学习率随周期的增长线性减小到。将2 048×1 400的TEDS图片随机裁剪为256×256大小的图像进行训练，选取评价指标PSNR和SSIM最高的参数文件作为最终的模型参数。使用i7处理器、16 G内存、NVIDIA RTX3080Ti 12G显卡的硬件配置，软件环境使用 Ubuntu18.04的操作系统，采用Pytorch作为深度学习框架进行训练。

3.3　实验结果与分析

为验证本文算法的有效性和先进性，将本文算法与其他3种暗光增强算法Zero-DCE++^[12]、EnlightenGAN^[10]、Retinexformer^[24]进行对比，图4所示为上述3种算法和本文所采用算法对TEDS现场图像的暗光增强效果。图4(a)为从某局获取的TEDS系统采集的暗光图像；从图4(b)可看出经Zero-DCE++算法处理后，大部分区域比原图有更好的清晰度和分辨性，但图像整体受光照增强有一层朦胧感；图4(c)所示为EnlightGAN的增强效果，大部分区域有一定的增强效果，但对过分偏暗的区域(绿色大矩形框)特征轮廓和边缘对比度提升不太明显；从图4(d)可看出，经算法Retinexformer处理后，清晰度较Zero-DCE++、EnlightGAN有所提升，大部分区域(绿色和红色矩形框)边缘和轮廓特征清晰可见，但蓝色框定区域受局部高亮区域的影响对比度下降，在该区域表现出不如原图和其他方法的辨识效果；图4(e)，图4(f)为本文设计的RetinexFLAformer的处理结果，较其他方法在整个图像上有更好的对比度，绿色和红色矩形框定区域的因暗光导致的模糊区域经恢复后轮廓清晰可见，蓝色正方形框定区域较原Retinexformer对比度提升明显，从整体上取得了比上述3种算法更好的去模糊效果，且RetinexFLAformer网络有一定的干扰修复功能，图像质感比其他算法更好；其中图4(f)为对网络结构改进后更快的FastRetinexFLAformer，较图4(e)亮度和对比度非常接近，增强效果比其他3种算法更好。

图4全屏查看

各算法在TEDS图像上暗光增强效果对比

本文采用PSNR、SSIM和运行速度3种评价指标对本文算法的暗光增强效果进行分析，各算法的评价指标如表1所示，由此可看出Zero-DCE++对TEDS测试集的PSNR为15.79，SSIM为0.588，比其他算法略低，原因在于Zero-DCE采用非配对的暗光和亮光图像进行训练调整亮度曲线，不能很好地抑制暗光引起的噪声干扰。EnlightenGAN对TEDS测试集的PSNR为16.94，SSIM为0.631，比Zero-DCE++有所提升。Retinexformer对TEDS测试集的PSNR达到23.96，SSIM达到0.801，指标比前2种算法大幅度提升。改进的RetinexFLAformer的PSNR和SSIM分别较Retinexformer提升0.55和0.023，达到24.51和0.824，取得了比前3种算法更好的评价指标值。此外通过改进网络结构构建的FastRetinexFLAformer运行速度可达0.26 s/张，是EnlightenGAN处理速度的2.7倍。但其PSNR较指标最高的RetinexFLAformer算法只降低0.39，SSIM降低0.013，能很好地平衡暗光增强效果和运行速度。此外采用和现场同配置的Intel i7处理器进行验证，处理速度可达1.02 s/张，能满足铁路TEDS对计算机硬件成本和实时性的要求。

同时对网络结构进行调整并进一步实验，在对IGFLAB个数调整为1后，若不加2级下采样和上采样卷积层，则PSNR较FastRetinexFLAformer降低3.03～21.09，下降较为明显。说明调整IGFLAB的个数后参数量大幅度下降对暗光增强影响较明显，故为使得效果提升且基本不影响速度的提升，加入了2级下、上采样卷积层作为U_Net网络的补充，指标值得到恢复。由此也说明采用的线性聚集注意力能通过的聚焦特性达到和softmax一致的效果，且能增加相似矩阵的秩使其比原IG_MSA有更丰富的特征，可通过调整网络结构平衡网络去模糊效果和运行速度。且本文构建的FastRetinexFLAformer参数文件只有3.34 M，能满足铁路TEDS对计算机硬件成本和实时性的要求，同时该框架同样适用于更广义的图像复原任务，如表1所示RetinexFLAformer和FastRetinexFLAformer在LoLv1数据集上的PSNR和SSIM均略高于原Retinexformer，可见本文算法可以获得精度最好且计算量极低、运算速度更快的模型，更加实用。

为验证改进措施的有效性，采用逐步增加改进措施的方式进行如表2所示的消融实验。首先采用聚焦线性注意力模块取代原Retinexformer的注意力模块后，PSNR和SSIM较Retinexformer分别提升0.35和0.006，说明采用线性聚焦注意力能取得原注意力机制中softmax对特征关注度的调整(对感兴趣特征增强，对不感兴趣特征减弱)类似的效果，且能通过增强相似矩阵的秩提高特征多样性，达到好的暗光处理效果。相似矩阵增加DWC后PSNR和SSIM再次提升0.12和0.008达到24.43和0.815，说明DWC进一步调整相似矩阵的结构而提升秩以增加特征多样性。在像素L1损失的基础上加入空间一致性损失、曝光控制损失和颜色恒定损失后，PSNR和SSIM分别增加0.08和0.09，说明损失函数的调整能有效提高信噪比和结构相似性，提高暗光增强质量。以上的消融实验均说明了各改进措施对RetinexFlAformer的去模糊效果均有提升。