一種基于語義分割的機(jī)場跑道檢測算法

王旒軍，蔣海濤, 劉崇亮，裴新凱，邱宏波

(1.北京自動化控制設(shè)備研究所，北京 100074; 2.海裝駐北京地區(qū)第三軍事代表室, 北京 100074)

0 引言

在軍事領(lǐng)域，無人機(jī)(Unmanned Aerial Vehicles, UAVs)可以替代有人作戰(zhàn)飛機(jī)執(zhí)行戰(zhàn)場管理、空中和海上監(jiān)視、戰(zhàn)場巡邏與制圖、戰(zhàn)時安全通信、目標(biāo)跟蹤和作戰(zhàn)打擊等多種任務(wù)。隨著各項技術(shù)的成熟，各型軍用無人機(jī)，如美國RQ-4全球鷹和中國彩虹無人機(jī)等越來越多地參與到實際作戰(zhàn)中，變得越來越流行。

固定翼無人機(jī)在實際使用中面臨的一大挑戰(zhàn)是如何確保無人機(jī)在執(zhí)行完任務(wù)后能安全著陸。目前常用的無人機(jī)著陸導(dǎo)航系統(tǒng)為衛(wèi)星/慣性等多源信息融合的組合導(dǎo)航系統(tǒng)。但是，面對越來越復(fù)雜的電磁作戰(zhàn)環(huán)境，嚴(yán)重依賴外界定位信息的著陸系統(tǒng)的安全性難以保證。相對于依賴外界定位信息的著陸方案，使用視覺信息輔助的全自主著陸系統(tǒng)在自主性、安全性和價格方面展現(xiàn)出優(yōu)勢[1]。

機(jī)場跑道檢測(Airport Runway Detection)是視覺著陸導(dǎo)航系統(tǒng)的重要一環(huán)。Vezinet等[1]基于跑道的參考圖像執(zhí)行圖像配準(zhǔn)，以檢測點特征進(jìn)行著陸引導(dǎo)。Gibert等[2]使用機(jī)場跑道邊界和中線作為特征進(jìn)行跑道檢測。Khaled等[3]結(jié)合區(qū)域競爭分割和最小化能量函數(shù)的方法，構(gòu)建了實時跑道檢測和跟蹤系統(tǒng)。在之前的團(tuán)隊工作中，劉暢等[4]提出了一種視覺/慣性組合導(dǎo)航算法，采用Kalman 濾波分別完成位置和姿態(tài)匹配，實現(xiàn)了視覺測量與慣導(dǎo)信息的融合。劉崇亮等[5]提出了一種著陸視覺導(dǎo)航P3P問題唯一解的求解方法，實現(xiàn)了無人機(jī)與跑道之間的六自由度位姿解算。文獻(xiàn)[6]利用可見光相機(jī)、紅外相機(jī)和雷達(dá)高度計等傳感器，通過提取跑道直線和輪廓特征，實現(xiàn)了跑道檢測和位姿計算。

人工智能(Artificial Intelligence, AI)技術(shù)的崛起給機(jī)場跑道檢測算法研究帶來了新的契機(jī)。本文研究基于圖像語義分割的機(jī)場跑道檢測算法，在特征提取部分，利用注意力模型(Attention Model)設(shè)計構(gòu)建了自注意力模塊，融合了特征圖空間維度和通道維度的全局相似性信息，以捕獲特征圖中大范圍全局特征，可以提高跑道檢測網(wǎng)絡(luò)的全局特征提取能力。主干網(wǎng)絡(luò)選用輕量高效的ShuffleNet V2[7]，并使用空洞卷積對網(wǎng)絡(luò)進(jìn)行改造，從而獲取更高分辨率的稠密特征圖。最后，設(shè)計了簡潔高效的解碼器模塊，使用跳躍連接將網(wǎng)絡(luò)淺層特征圖引入頂層，使淺層豐富的細(xì)節(jié)、空間位置信息與頂層粗略、抽象的語義分割信息相融合，以獲得精細(xì)的跑道檢測輸出結(jié)果。

1 自注意力模型

注意力模型可以對特征圖中全局特征之間的關(guān)系進(jìn)行建模，在圖像、視頻和音頻處理等工作中廣泛使用[8-13]。兩個向量點積的幾何意義是計算其相似程度，點積結(jié)果越大，表明兩個向量越相似。自注意力機(jī)制(Self-attention Mechanism)利用這個原理進(jìn)行特征圖中關(guān)系權(quán)值的學(xué)習(xí)，不需要外部輔助，通過特征圖之間的特征變換獲取特征圖空間、通道或者時序的全局關(guān)系。

本節(jié)利用自注意力機(jī)制，設(shè)計構(gòu)建了自注意力模塊(Self-attention Module)。首先介紹了位置注意力模塊(Position Attention Module)和通道注意力模塊(Channel Attention Module)的網(wǎng)絡(luò)結(jié)構(gòu)，然后闡述了融合這兩種注意力模塊的自注意力模塊網(wǎng)絡(luò)設(shè)計。

1.1 位置注意力模塊

圖像語義分割任務(wù)對網(wǎng)絡(luò)的特征抽象能力要求比較高。理論上，網(wǎng)絡(luò)中深層的卷積核具有很大的感受野，更容易提取抽象出高級語義特征，但是深層網(wǎng)絡(luò)的實際感受野要遠(yuǎn)小于理論值[14]，導(dǎo)致全局特征缺失。位置注意力模塊通過特征圖之間的特征變換，計算每個像素與其他像素的全局相似性關(guān)系，可以增加網(wǎng)絡(luò)的感受野，通過建模特征圖中局部特征的全局上下文信息，從而增強網(wǎng)絡(luò)的全局特征表達(dá)能力。

位置注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先對尺寸為[H，W，C]的輸入特征圖使用1×1卷積壓縮特征圖的通道維度，對于用于特征變換的第一路分支，通道壓縮比為8，得到尺寸為[H,W,C/8]的特征圖f；第二路分支的通道壓縮比為2，保留了較多的原始信息，得到尺寸為[H,W,C/2]的特征圖g。然后再分兩路對f特征圖進(jìn)行特征變換：一路進(jìn)行維度變換和轉(zhuǎn)置操作，合并高度和寬度維度，將通道變換為第一維度，得到[C/8,H*W]的特征圖f1；另一路對f特征圖只進(jìn)行維度變換操作，合并高度和寬度維度，得到[C/8,H*W]的特征圖f2。接著對f1和f2特征進(jìn)行矩陣乘法，消去通道維度C/8，再使用Softmax函數(shù)歸一化，獲得尺寸為[H*W,H*W]的注意力圖。注意力圖描述了特征圖中每個像素的全局相關(guān)性信息，特征圖中兩個位置的特征相似度越高，注意力圖中相應(yīng)的值越大。同時，對第二路分支的特征圖g進(jìn)行維度變換，得到[H*W,C/2]的特征圖g1。最后，使用注意力圖與g1特征圖進(jìn)行矩陣乘法，將獲取的全局相關(guān)性權(quán)值信息重新分布到原始特征圖中，并使用維度變換操作恢復(fù)特征圖的高度和寬度，輸出通道壓縮后[H,W,C/2]的特征圖。

1.2 通道注意力模塊

一般情況下，深度卷積神經(jīng)網(wǎng)絡(luò)中頂層不同的通道會關(guān)注不同的分割類別。位置注意力模塊可以提取特征圖中不同像素的全局相似性關(guān)系，而通道注意力模塊利用相似的特征變換操作，在計算特征圖矩陣乘法時，將相乘順序調(diào)換了一下，保留通道維度，使網(wǎng)絡(luò)具有全局通道相關(guān)性表達(dá)能力[15]。

通道注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。首先使用1×1卷積壓縮特征表達(dá)得到特征圖h，h∈RH×W×(C/2)。然后分成三路對特征圖進(jìn)行特征變換，使用維度變換或轉(zhuǎn)置操作，分別得到尺寸為[C/2，H*W]的特征圖h1，尺寸為[H*W,C/2]的特征圖h2和h3。接著，對特征圖h1和h2進(jìn)行矩陣乘法，不同于位置注意力模塊，這里消去H*W維度，保留通道維度。為了防止訓(xùn)練期間的損失值不收斂[12]，這里將特征圖中每個位置去除最大值，設(shè)得到的特征圖為G，其中一個像素點Gi,j為

Gi,j=max(G)-Gi,j

(1)

其中，max(G)表示特征圖中像素的最大值；i、j分別表示像素點坐標(biāo)，i,j∈[1,C/2]。

隨后對特征圖G使用Softmax函數(shù)歸一化，獲得尺寸為[C/2,C/2]的注意力圖，注意力圖描述了特征圖中所有通道之間的相關(guān)性信息。特征圖中兩個通道的特征相似度越高，注意力圖中相應(yīng)的權(quán)值越大。

最后，將注意力圖與特征圖h3進(jìn)行矩陣乘法，消去H*W維度，并恢復(fù)特征圖高度和寬度維度。使用注意力圖更新通道關(guān)系權(quán)值，有選擇性地強調(diào)所有通道中相關(guān)聯(lián)的通道，并將全局通道相關(guān)性信息分布到原始特征圖中，獲得尺寸為[H*W,C/2]的輸出特征圖。

1.3 自注意力模塊

自注意力模塊整合了位置注意力模塊和通道注意力模塊，可以融合特征圖空間維度和通道維度的全局相似性信息，從而獲得更好的語義分割效果。

自注意力模塊如圖3所示，首先使用位置注意力模塊和通道注意力模塊對輸入特征圖進(jìn)行操作，分別提取特征圖全局像素相似性和通道相關(guān)性信息。然后，使用3×3卷積進(jìn)一步提取兩個模塊輸出的特征圖特征，獲得兩路尺寸為[H,W,C/2]的特征圖。接著融合位置注意力和通道注意力輸出特征圖。不同于文獻(xiàn)[12] 使用兩個可訓(xùn)練參數(shù)分別對兩路特征圖進(jìn)行加權(quán)后再和原始特征圖逐像素求和的方法，本文設(shè)計的自注意力模塊將兩個注意力模塊輸出的特征圖直接與原始特征圖在通道維度進(jìn)行拼接，再使用1×1卷積對拼接的特征圖進(jìn)行特征整合，在達(dá)到相同特征融合目的的情況下可以使特征的融合更加自由。最后，添加失活概率為0.1的隨機(jī)失活層，隨機(jī)失活一些特征，以避免網(wǎng)絡(luò)對某些特定特征的過度依賴，從而增強模塊的魯棒性。自注意力模塊中每層卷積操作后，使用批量歸一化和ReLU激活函數(shù)來減少梯度消失等現(xiàn)象，以加快收斂速度。

圖3 自注意力模塊Fig.3 Self-attention module

自注意力模塊原理簡單、結(jié)構(gòu)清晰，融合了位置注意力模塊的空間相似性特征提取能力和通道注意力模塊的全局通道關(guān)系提取能力，在不需要外界信息輔助的情況下，通過特征圖之間的特征變換就可以捕獲特征圖中大范圍全局相似性信息，在沒有增加很多參數(shù)的情況下增加了網(wǎng)絡(luò)感受野，提高了網(wǎng)絡(luò)全局特征提取能力。

2 跑道檢測網(wǎng)絡(luò)

在語義分割領(lǐng)域，多數(shù)學(xué)者的研究工作致力于提升圖像分割的精度，相對忽略了網(wǎng)絡(luò)推理的實時性。本文著眼于構(gòu)建實用跑道檢測網(wǎng)絡(luò)，結(jié)合學(xué)術(shù)界最新的研究成果和理念，在網(wǎng)絡(luò)設(shè)計時兼顧精度和實時性。以下小節(jié)分別闡述了主干網(wǎng)絡(luò)構(gòu)建、解碼器設(shè)計和整個跑道檢測網(wǎng)絡(luò)的結(jié)構(gòu)。

2.1 主干網(wǎng)絡(luò)構(gòu)建

分類網(wǎng)絡(luò)作為語義分割網(wǎng)絡(luò)的主干，承擔(dān)了特征提取器的重要角色，在很大程度上決定了整個語義分割網(wǎng)絡(luò)的性能。

ShuffleNet V2輕量級分類網(wǎng)絡(luò)遵循高效設(shè)計理念：網(wǎng)絡(luò)模塊的輸入和輸出特征圖通道數(shù)應(yīng)當(dāng)一致，以減小內(nèi)存訪問耗時(Memory Access Cost，MAC)；避免使用過多的分組卷積(Group Convolution)；減少網(wǎng)絡(luò)分支結(jié)構(gòu)，以提高并行計算效率；逐像素操作如ReLU和1×1卷積等，雖然具有較小的計算量(FLoat point OPerations，F(xiàn)LOPs)，但是內(nèi)存訪問消耗較高。

深度可分離卷積(Depthwise Separable Convolution)首先使用3×3卷積核在輸入特征圖上逐通道分別進(jìn)行卷積運算，然后使用1×1卷積進(jìn)行通道關(guān)系映射。通常，逐通道計算的3×3卷積被稱為“Depthwise Convolution”，1×1卷積被稱為“Pointwise Convolution”。深度可分離卷積的使用可以大幅減少網(wǎng)絡(luò)的計算量。

設(shè)深度可分離卷積模塊輸入特征圖尺寸(高×寬×通道)為h×w×ci，輸出特征圖尺寸為h×w×co。則常規(guī)卷積卷積核尺寸為k×k×ci×co，co為卷積核個數(shù)，深度可分離卷積中逐通道卷積核尺寸為k×k×ci，1×1卷積核尺寸為1×1×ci×co。深度可分離卷積與常規(guī)卷積的計算量之比為

(2)

由于通常卷積核尺寸遠(yuǎn)小于輸出通道數(shù)，所以深度可分離卷積與常規(guī)卷積的計算量之比約為1/k2，當(dāng)Depthwise Convolution卷積核設(shè)置為3×3時，深度可分離卷積比常規(guī)卷積可使計算量僅為原來的1/8～1/9。

網(wǎng)絡(luò)模塊的輸入和輸出特征圖通道數(shù)相同可以減少內(nèi)存訪問。簡便起見，設(shè)卷積核的大小k=1，則卷積計算量FLOPs=F=hwcico，內(nèi)存訪問次數(shù)MAC=hw(ci+co)+cico，由均值不等式可得

MAC=hw(ci+co)+cico

(3)

由式(3)可知，當(dāng)FLOPs確定時，ci=co時模型MAC最小。

ShuffleNet V2舍棄了ShuffleNet V1[16]中1×1分組卷積，引入了通道分離(Channel Split)操作，將輸入c通道數(shù)的特征圖分為c-c′和c′(實現(xiàn)時c′=c/2)兩部分，一路分支使用恒等連接，另一路分支使用輸入和輸出通道數(shù)相等的1×1 Conv+3×3 DWConv+1×1 Conv三個卷積層(DWConv: Depthwise Convolution)，最后將兩路結(jié)果在通道維度進(jìn)行拼接(Concatenate)。為了使兩路分支(組)的特征相互交流，對拼接后的特征進(jìn)行通道洗牌(Channel Shuffle)操作。接著進(jìn)入到下一個網(wǎng)絡(luò)模塊，這樣拼接、通道洗牌和下一個模塊的通道分離操作就合并成了一個逐像素運算的模塊，從而減少了內(nèi)存訪問。

實驗表明，ShuffleNet V2與ShuffleNet V1、MobileNet[17-18]和modified Xception[19]等網(wǎng)絡(luò)相比,在推理速度大為提升的同時具有最佳分類精度[7]。因此，本文選用ShuffleNet V2 “1×”版本構(gòu)建主干網(wǎng)絡(luò)。

首先，將ShuffleNet V2網(wǎng)絡(luò)Stage4網(wǎng)絡(luò)塊后的池化層和全連接層等去除，構(gòu)建為全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)。這樣，網(wǎng)絡(luò)的Output Stride(網(wǎng)絡(luò)輸入圖像與輸出特征圖的尺寸比值)為32。而圖像分割任務(wù)希望網(wǎng)絡(luò)輸出特征圖相對稠密，以獲得精細(xì)的語義分割結(jié)果，并且為了提取抽象的語義信息，在輸出較大分辨率特征圖的情況下，頂層網(wǎng)絡(luò)的感受野不能太小?？斩淳矸e(Atrous Convolution or Dilated Convolutions)可以解決這個問題。

如圖4所示，空洞卷積引入膨脹比率(Dilation Rate)r，在原有卷積核的中間插入空洞構(gòu)造成為空洞卷積。常規(guī)卷積(圖4(a))可以認(rèn)為是空洞卷積在rate=1時的特例。設(shè)常規(guī)卷積核尺寸為k×k，則空洞卷積的卷積核大小等效于

(4)

由式(4)可知，空洞卷積在不增加卷積核參數(shù)量和卷積計算量的情況下，可以增加卷積核的感受野，進(jìn)而提升網(wǎng)絡(luò)的特征提取能力。

(a) rate=1×1

(b) rate=2×2

(c) rate=3×2

設(shè)卷積層的輸入圖像或者特征圖的尺寸為h×w，每次滑動的步長(Stride)為s，在邊緣填充(Padding)零像素的圈數(shù)為p，輸出特征圖的尺寸為m×n，則使用常規(guī)卷積核時輸出特征圖的尺寸為

(5)

使用空洞卷積核時輸出特征圖的尺寸為

(6)

由式(6)可知，通過設(shè)置相應(yīng)的膨脹比率和步長，空洞卷積使主干網(wǎng)絡(luò)輸出的特征圖尺寸可控，可以根據(jù)分割任務(wù)調(diào)整特征圖尺寸，對語義分割任務(wù)非常有利。

將Stage4網(wǎng)絡(luò)塊中第一層步長設(shè)為1，并將隨后的三個網(wǎng)絡(luò)層改造為膨脹比率為2的空洞卷積，使得卷積層感受野繼續(xù)增大的同時，特征圖尺寸不再減小。最終選用Stage4網(wǎng)絡(luò)塊輸出464通道Output Stride為16的特征圖作為主干網(wǎng)絡(luò)的輸出。

本文構(gòu)建的主干網(wǎng)絡(luò)如圖5所示。主干網(wǎng)絡(luò)中使用了通道分離、通道洗牌、深度可分離卷積和空洞卷積等技術(shù)，在有效降低參數(shù)量、計算量和內(nèi)存訪問量的同時，具備很強的特征提取能力。

圖5 主干網(wǎng)絡(luò)Fig.5 Backbone network

2.2 解碼器設(shè)計

主干網(wǎng)絡(luò)和自注意力模塊編碼了圖像中豐富的語義信息，但是輸出特征圖分辨率低，丟失了部分空間位置信息。解碼器使用上采樣逐步增大特征圖的尺寸，并使用跳躍連接融合淺層豐富的細(xì)節(jié)和空間位置信息，可以恢復(fù)清晰的物體邊緣，從而獲得更加稠密、精細(xì)的語義分割結(jié)果。

本文設(shè)計的簡單高效的解碼器模塊如圖6所示。圖6中，DSConv表示深度可分離卷積(Depthwise Separable Convolution)，OS表示Output Stride。對輸入OS=16的特征圖首先進(jìn)行雙線性

插值2倍上采樣，獲得OS=8的特征圖，然后引入主干網(wǎng)絡(luò)中相同空間分辨率的Stage2網(wǎng)絡(luò)輸出特征圖，并使用1×1卷積降維1/3得到38通道淺層特征。隨后將兩路特征圖拼接后，使用兩層3×3的深度可分離卷積進(jìn)一步整合細(xì)化深層和淺層特征，最后輸出256通道OS=8的整合了深層網(wǎng)絡(luò)豐富語義信息和淺層網(wǎng)絡(luò)豐富細(xì)節(jié)及空間位置信息的精細(xì)化分割特征圖。

圖6 解碼器模塊Fig.6 Decoder module

2.3 跑道檢測網(wǎng)絡(luò)設(shè)計

整個跑道檢測網(wǎng)絡(luò)(命名為RunwayNet)可分為編碼器和解碼器兩部分，網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。編碼器部分包括主干網(wǎng)絡(luò)和自注意力模塊：主干網(wǎng)絡(luò)對輸入的三通道圖像逐步提取抽象語義特征，最終輸出464通道OS=16的特征圖；自注意力模塊進(jìn)一步對主干網(wǎng)絡(luò)輸出特征圖進(jìn)行特征變換，捕獲特征圖空間維度和通道維度的全局相似性信息，提高了編碼器的全局特征提取能力。編碼器輸出的256通道特征圖隨機(jī)進(jìn)入解碼器，經(jīng)過跳躍連接和雙線性插值上采樣融合淺層特征，輸出OS=8更加稠密、精細(xì)的的特征圖。最后，使用1×1卷積將特征圖映射為兩通道(分類類別數(shù))的分割圖，將分割圖上采樣8倍并在通道維度取最大值(ArgMax)操作,從而獲得最終的分割結(jié)果。

圖7 RunwayNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 RunwayNet network architecture

3 實驗

3.1 數(shù)據(jù)集介紹

實驗部分使用某型國產(chǎn)固定翼無人機(jī)進(jìn)行跑道圖像數(shù)據(jù)采集，收集了數(shù)個跑道不同季節(jié)、不同時刻、不同天氣下的機(jī)場跑道圖像序列，使跑道數(shù)據(jù)具有多樣性。采集的跑道圖像序列經(jīng)過降采樣和人工篩選得到1753張跑道圖像。此外，為了豐富實際采集的跑道數(shù)據(jù)，在互聯(lián)網(wǎng)上搜集并篩選得到948張著陸跑道圖像。最后共收集了2701張圖像。

隨后使用labelme標(biāo)注工具對跑道圖像進(jìn)行精細(xì)標(biāo)注工作。設(shè)置“跑道”和“背景”兩個類別語義標(biāo)簽：跑道區(qū)域定義為左右跑道邊線、起始斑馬線和終止斑馬線之間的區(qū)域，其他圖像區(qū)域劃分為背景。接著將數(shù)據(jù)劃分為2124張訓(xùn)練集和557張測試集，命名為Runway數(shù)據(jù)集。Runway數(shù)據(jù)集數(shù)據(jù)統(tǒng)計如表1所示，表中以序列為單位統(tǒng)計了圖片數(shù)、劃分為訓(xùn)練集或測試集的數(shù)據(jù)集、季節(jié)、時刻、天氣和數(shù)據(jù)來源等詳細(xì)信息。Runway數(shù)據(jù)集關(guān)注真實機(jī)場場景下跑道的分割能力，貼近機(jī)場跑道檢測的實際應(yīng)用需求，任務(wù)難度相對較高。

表1 Runway數(shù)據(jù)集統(tǒng)計

3.2 訓(xùn)練細(xì)節(jié)

訓(xùn)練平臺為搭載兩塊Nvidia GTX 1080Ti GPU的服務(wù)器，CPU型號為I7-8700K，擁有32GB機(jī)身內(nèi)存，運行Ubuntu 16.04操作系統(tǒng)。軟件代碼基于TensorFlow[20]開源框架實現(xiàn)。

網(wǎng)絡(luò)訓(xùn)練時首先使用在ImageNet數(shù)據(jù)集[21]上預(yù)訓(xùn)練的ShuffleNet V2來初始化主干網(wǎng)絡(luò)權(quán)重，然后將整個網(wǎng)絡(luò)在MS COCO數(shù)據(jù)集[22]上進(jìn)行端到端預(yù)訓(xùn)練，最后在Runway數(shù)據(jù)集上進(jìn)行最終的訓(xùn)練。

數(shù)據(jù)增強方面，首先使用縮放因子為[0.5,2.0]，步長為0.25的隨機(jī)縮放操作。然后對訓(xùn)練輸入圖像進(jìn)行1242×375尺寸的隨機(jī)裁剪。最后對訓(xùn)練圖像使用概率為0.5的隨機(jī)左右翻轉(zhuǎn)操作。

網(wǎng)絡(luò)使用Softmax函數(shù)計算每個像素的分類概率，并使用交叉熵函數(shù)計算總損失值。權(quán)值正則化系數(shù)設(shè)為4×10-5，批量歸一化的Batch Sizes設(shè)置為16，在反向傳播和網(wǎng)絡(luò)參數(shù)更新時使用Adam優(yōu)化器[23]，學(xué)習(xí)速率使用ploy策略，初始學(xué)習(xí)率設(shè)置為1×10-3， power設(shè)置為0.9，最大迭代次數(shù)設(shè)置為60K。

3.3 實驗結(jié)果

本節(jié)首先進(jìn)行RunwayNet各個模塊的消融實驗(Ablation Experiments)，然后對自注意力模塊中間結(jié)果進(jìn)行可視化，最后給出RunwayNet在英偉達(dá)Jetson AGX Xavier嵌入式平臺上的跑道檢測效果圖。

首先在Runway數(shù)據(jù)集上進(jìn)行RunwayNet各個模塊的消融實驗，以驗證各個模塊及其組合的性能、參數(shù)量和計算量。跑道分割精度用平均交并比[24](Mean Intersection over Union，MIoU)來評價，參數(shù)量的單位為MB(兆字節(jié))，網(wǎng)絡(luò)計算量用GFLOPs表示，GFLOPs=1×109FLOPs，GFLOPs在網(wǎng)絡(luò)輸入為1242×375×3分辨率下測得。

實驗結(jié)果如表2所示，表中SAM和Decoder分別表示自注意力模塊和解碼器模塊，Our-Basic方法表示只使用主干網(wǎng)絡(luò)進(jìn)行語義分割，推理速度fps在英偉達(dá)Jetson Xavier平臺上測得，MIoU得分由Runway測試集計算得出。

表2 RunwayNet各模塊消融實驗

由表2中數(shù)據(jù)可知：Our-Basic網(wǎng)絡(luò)配置在參數(shù)量僅1.09MB、計算量僅4.41GFLOPs的情況下，MIoU得分可達(dá)到85.28%，在Xavier上推理速度達(dá)到24.5fps，可見本文構(gòu)建的主干網(wǎng)絡(luò)在極少參數(shù)量和計算量的條件下具有很強的特征提取能力；Our-SAM網(wǎng)絡(luò)配置在主干網(wǎng)絡(luò)的基礎(chǔ)上添加了自注意力模塊，MIoU評分提升了2.25%達(dá)到87.53%，參數(shù)量略微增加0.49MB，計算量增加1.92GFLOPs，推理速度也略微下降到23.1fps，可見自注意力模塊在沒有增加很多參數(shù)量和計算量的情況下，分割精度提升明顯；Our-Decoder網(wǎng)絡(luò)配置在主干網(wǎng)絡(luò)的基礎(chǔ)上添加了解碼器模塊，MIoU評分相比Our-Basic網(wǎng)絡(luò)提升了1.04%，參數(shù)量略微增加0.15MB，計算量增加2.21GFLOPs，推理速度稍微下降，可見解碼器模塊融合了淺層細(xì)節(jié)和空間位置信息后能夠獲得更好的跑道檢測結(jié)果。RunwayNet網(wǎng)絡(luò)整合了自注意力模塊和解碼器模塊的優(yōu)點，參數(shù)量為1.72MB，計算量為8.54GFLOPs，在Xavier上推理速度為21.8fps，最終MIoU評分達(dá)到88.53%，相比于Our-Basic網(wǎng)絡(luò)評分提高了3.25%，驗證了本文設(shè)計的自注意力模塊、解碼器模塊和RunwayNet跑道檢測網(wǎng)絡(luò)的優(yōu)異性能。

為了更好地理解注意力模型的原理并驗證本文構(gòu)建的自注意力模塊的有效性，將網(wǎng)絡(luò)中間結(jié)果：圖像標(biāo)簽、網(wǎng)絡(luò)預(yù)測結(jié)果、位置注意力圖和通道注意力圖進(jìn)行可視化。

由1.1節(jié)的分析可知，對于H×W×C的輸入特征圖，每一個像素位置都對應(yīng)一幅H×W分辨率的位置注意力圖，該注意力圖描述了當(dāng)前像素與特征圖中所有像素的相似性信息。由1.2節(jié)可知，通道注意力圖的尺寸為[C/2,C/2]，為了使通道注意力特征可視化，對融合了原始特征圖和通道相關(guān)性信息的通道注意力模塊輸出特征圖進(jìn)行可視化，其尺寸為H×W×C/2。需要說明的是，由于原圖和標(biāo)簽尺寸為1242×375，網(wǎng)絡(luò)預(yù)測結(jié)果OS=8，所以網(wǎng)絡(luò)預(yù)測原始分辨率為47×156;而自注意力模塊輸入和輸出特征圖OS=16，所以注意力圖實際分辨率為24×78，為了可視化方便，將各圖像縮放至統(tǒng)一尺寸。此外，實際訓(xùn)練時標(biāo)簽圖像和預(yù)測輸出的像素值為其對應(yīng)的類別，所以其像素取值為(0,1)?？梢暬瘯r將標(biāo)簽圖像和預(yù)測結(jié)果進(jìn)行了[255/2]因子的加權(quán),方便區(qū)分不同的類別標(biāo)簽。

自注意力模塊可視化結(jié)果如圖8所示。圖8中,每一列對應(yīng)一張圖的可視化結(jié)果，第一行為輸入原圖，第二行為真值標(biāo)簽，第三行為網(wǎng)絡(luò)預(yù)測結(jié)果。PAM表示位置注意力圖，其標(biāo)號對應(yīng)圖中像素位置(x,y); CAM表示通道注意力圖，其標(biāo)號對應(yīng)通道號。由第四行第一列可見，紅色坐標(biāo)點(14,7)對應(yīng)的位置注意力圖提取了整個圖中“背景”類別的信息，分類準(zhǔn)確，邊界清晰。第四行第二列綠色坐標(biāo)(38,15)像素點對應(yīng)跑道區(qū)域，其位置注意力圖對整個標(biāo)簽真值定義“跑道”區(qū)域響應(yīng)明顯，對非標(biāo)簽定義但是人類認(rèn)知上的跑道區(qū)域有所響應(yīng)且有較強的抑制作用，對“背景”類別沒有任何響應(yīng)。由最后一行可見，通道注意力圖同樣提取了不同類別清晰的分割區(qū)域，如第一列第五列中通道109提取了“跑道”類別，第一列第五列中通道50對“背景”類別響應(yīng)強烈。

圖8 自注意力模塊中間層可視化結(jié)果Fig.8 Visualization of self-attention module intermediate layer

由以上可視化結(jié)果分析可知，自注意力模塊如預(yù)期的一樣提取了特征圖中各像素位置之間的全局相似性關(guān)系和通道之間的全局相關(guān)性信息。

為了使評測得分結(jié)果更加直觀，可視化理解本文設(shè)計的RunwayNet的有效性，給出了RunwayNet在Runway測試集上的分割結(jié)果，并做出分析。

分割結(jié)果如圖9所示，跑道區(qū)域用紫色標(biāo)記，前四行圖像為機(jī)載實驗采集所得，后兩行圖像由互聯(lián)網(wǎng)搜集所得。由圖中第一列結(jié)果可見，RunwayNet網(wǎng)絡(luò)在距離跑道很遠(yuǎn)(大于3km)時就對跑道區(qū)域正確感知，人眼隱約看見跑道的時候，網(wǎng)絡(luò)就能大致識別出跑道區(qū)域。由最后一列結(jié)果圖可見，從無人機(jī)即將著陸到完全降落到跑道上滑行， 網(wǎng)絡(luò)都準(zhǔn)確地分割出了跑道區(qū)域。結(jié)合圖中第一列、第二列和第三行結(jié)果可見，網(wǎng)絡(luò)對由遠(yuǎn)及近著陸過程中各個階段的跑道圖像都能精準(zhǔn)的分割識別，并且對不同時刻、不同季節(jié)、不同背景、不同鋪設(shè)條件的跑道都能準(zhǔn)確進(jìn)行分割檢測。綜合以上實驗結(jié)果和分析可知，相比于其他方法[1,6]，RunwayNet網(wǎng)絡(luò)具有媲美于人眼的檢測精度和作用距離，通過大量數(shù)據(jù)的訓(xùn)練具備對陌生機(jī)場跑道的檢測識別能力，并且對無人機(jī)著陸全過程成像尺度變化劇烈的跑道區(qū)域進(jìn)行了精準(zhǔn)的分割識別，具有很強的多尺度全局特征提取能力。

圖9 Runway測試集分割結(jié)果Fig.9 Segmentation results of Runway test set

4 總結(jié)

本文針對無人機(jī)自主著陸應(yīng)用場景，研究了基于圖像語義分割的機(jī)場跑道檢測算法，構(gòu)建了輕量高效的RunwayNet跑道檢測網(wǎng)絡(luò)。在編碼器部分，設(shè)計構(gòu)建了自注意力模塊，選用ShuffleNet V2構(gòu)建了主干網(wǎng)絡(luò)。在解碼部分設(shè)計了簡潔高效的解碼器以獲得更加精細(xì)的跑道分割結(jié)果。實驗部分使用無人機(jī)進(jìn)行跑道圖像數(shù)據(jù)采集，收集了豐富多樣的機(jī)場跑道圖像，形成Runway跑道數(shù)據(jù)集。實驗結(jié)果顯示，本文設(shè)計的自注意力模塊和RunwayNet跑道檢測網(wǎng)絡(luò)具有優(yōu)異性的能。最終RunwayNet網(wǎng)絡(luò)在Runway測試集上取得了88.53%的MIoU評分，1242×375圖像分辨率下在英偉達(dá)Jetson Xavier平臺上能達(dá)到21.8 fps的處理速度，且無人機(jī)著陸全過程都可以對跑道區(qū)域進(jìn)行精準(zhǔn)的分割識別，具有很強的實用價值。