基于YOLOX的貨運源頭遙感解譯標志庫研究

羅卿莉 劉宇婷 蔣鑫濤

(天津大學精密測試技術及儀器全國重點實驗室,天津 300072)

引言

車輛超載、超限不僅會降低車輛制動性能,進而嚴重危害交通運輸安全[1-2];另外,車輛超載引起的公路結構性損害也會增加公路的維護費用,造成巨大經濟損失[3-4]。

貨運源頭核查工作是進行源頭治超的關鍵環節,相關管理部門進行了多方面嘗試,并取得一定的成果。唐山市交管部門提出使用遠程視頻監控系統監控出入廠車輛[5];重慶市交管部門搭建治超信息平臺,對重點源頭裝載企業安裝稱重檢測和監控設備,聯網接入治超信息平臺[6];廣西壯族自治區采取對重點源頭駐點、巡查以及技術監控的措施[7]。然而,貨運源頭具有分布不均、類別繁多等特點,且目前貨運源頭核查手段大多只針對重點源頭,很多一般非法源頭難以發現。此外,人工方式核查還存在成本高、效率不高等問題[8]。

遙感影像解譯是指依據各類解譯方法,從遙感影像中根據不同應用需求提取不同目標信息,針對影像特征進行目標性質判斷,獲取特定數據信息的過程[9]。基于遙感影像所建立的解譯標志庫是一種能夠辨別地物信息特征的數據集合[10]。現有較多關于海岸線、礦山地質、建筑物等的解譯標志研究[11-13],但尚無公開的貨運源頭解譯標志庫。YOLOX為輕量型目標檢測網絡YOLO系列中滿足實際應用場景中效率與精度平衡要求的網絡結構[14-15]。衛星遙感具有覆蓋范圍廣、時效性強的優點[16],利用遙感影像,基于深度學習的方法,建立貨運源頭解譯標志庫,可指導貨運源頭核查工作,有效彌補現有方法存在的源頭監察不全面等問題[17]。針對天津市存在大量貨運源頭以及未有公開的貨運源頭解譯標志庫的現狀,選擇天津市作為研究的主要對象,建立解譯標志庫應用于天津市遙感影像貨運源頭解譯,以期對相關部門貨運源頭核查工作提供指導。

1 工程概況

天津市各個區內分布有各種類型的貨源源頭工廠,如圖1所示。基于天津市不同類別的源頭分布情況,對貨運源頭分布地進行標注(見表1)。天津市北部山區主要存在各類礦山和砂石開采及加工工廠,以薊州區為例,貨運源頭主要可以分為疑似開采點、沙石囤積點、大型建筑工地、疑似貨運源頭四大類。該區東部沿海是物流集散的主要地點,存在各類貨物的交接運輸與囤積,貨運源頭主要可以分為港口、鐵路貨車、大型物流園以及大宗貨物集散地,其中貨物類型主要以鐵礦石、煤炭以及原油為主。西南向靜海區主要以鋼材堆場為主,存在許多大型鋼鐵生產加工工廠,貨運源頭主要是鋼鐵工廠。中部東麗區存在較多新建樓房泥沙需求大,貨運源頭主要為水泥工廠和囤積點。

表1 貨運源頭類型解譯標志

圖1 天津市貨運源頭分布情況Fig.1 Distribution of Freight Sources in Tianjin

2 貨運源頭解譯標志庫建立

2.1 貨運源頭解譯標志

貨運源頭解譯過程就是依據各種解譯技術和方法,在遙感影像上進行目視解譯,得到各類貨運源頭的解譯結果,再根據結果建立對應的貨運源頭解譯標志,用于指導相關部門進行貨源源頭核查相關工作。對全市貨運源頭進行分析,建立對應解譯標志庫。天津市貨運源頭解譯標志庫主要包含的貨運源頭分為四類企業和四類場站八大類。

四類企業包括礦石(疑似開采點)、鋼鐵企業、水泥企業以及沙石囤積點;四類場站包括港口、鐵路貨場、大型物流園以及大宗貨物集散地。通過貨運源頭標志解譯,可以實現對遙感影像上貨運源頭的快速識別與分類,標志解譯的質量直接影響后續解譯的精度。

2.2 解譯依據及流程

影像解譯主要依據為貨源源頭的波譜特征、幾何特征、時間特征、植被特征、水系特征等[18]。對影像中貨運源頭進行描述,并給出典型解譯例圖,同時結合研究區域的特點,對解譯源頭進行實際的綜合評估和修正。

基于試驗區域的遙感影像進行解譯標志庫建立工作,主要流程包括：①根據貨運源頭在遙感影像特征進行貨運源頭信息分析;②根據分析結果進行貨源源頭分類,制作用于深度學習的各類源頭標志圖樣本;③構建深度學習網絡模型使用解譯標志樣本進行模型訓練;④使用訓練完成的模型進行遙感影像上的標志獲取及分類;⑤基于深度學習生成結果構建貨源源頭解譯標志庫;⑥對分類結果中的部分重點結果進行現場確認或具體信息查詢,根據實際情況糾正解譯標志庫;⑦使用糾正后的解譯標志圖對模型進一步訓練提高模型魯棒性。

基于深度學習的貨運源頭解譯結果,結合現場勘察糾正能夠建立較高精度的解譯標志庫。后續根據實際應用情況,對解譯標志庫進行進一步調整改進,通過多次實際應用完善網絡參數,提高解譯結果的可靠性和科學性,最終得到具有魯棒性的深度學習模型,實現遙感影像準確度較高的自動解譯。

2.3 建立貨運源頭解譯標準

利用不同的貨運源頭目標在遙感影像上不同的紋理特征、光譜特征以及幾何特征等,結合周邊環境特點分析確定是否為貨運源頭并確定其類型,制作用于深度學習網絡模型訓練所需的各類源頭標志圖樣本庫,包含四類企業和四類場站八大類。

利用初步建立的解譯標志庫進一步對薊縣區的貨運源頭進行現場驗證,充分利用遙感監測技術優勢解決薊州區貨運源頭核查工作存在的一系列難題。對重點研究的薊縣區的貨源源頭進行細分,確定疑似開采點、沙石囤積點、大型建筑工地、疑似貨運源頭四類。其中大型建筑工地及疑似貨運源頭解譯標志見表1。針對薊州區進行重點研究,通過人工方式分析貨運源頭項目共建立疑似開采點樣本206個,砂石囤積點樣本109個,疑似貨運源頭樣本26個,大型建筑工地樣本25個。

薊縣區各類貨運源頭解譯結果見圖2,組織有關執法人員對疑似源頭點位60處進行現場核實,共清理砂違法石囤積點7處、違法開采點1處、約談源頭點位相關負責人9人次,納入重點監管點位42處。

圖2 薊縣區解譯結果Fig.2 Interpretation Results in Jixian District

2.4 建立基于YOLOX的貨運源頭遙感解譯標志庫

(1)制作貨運源頭數據集

數據源選自Google Earth上截取的衛星遙感影像。為了制作訓練網絡所需的數據集,使用天津市貨運源頭遙感核查工作研究中的貨運源頭遙感變化檢測的地理位置數據,利用Google Earth截取遙感影像,針對文件中貨運源頭隨時間的變化情況采集不同時間的遙感影像,實現數據集的擴充。所制作的存儲貨運源頭類別及位置信息的數據集共有743張遙感圖像,其中包含的樣本有疑似開采點88個、港口75個、沙石囤積點120個、鋼鐵企業33個、水泥企業35個、鐵路貨場35個、大型物流園82個、大宗貨物集散地18個,將數據集以9∶1的比例劃分為訓練集和測試集用于后續的訓練。

(2)建立YOLOX神經網絡模型

制作貨運源頭遙感影像的數據集后,建立用于檢測遙感影像并進行分類的深度學習模型。所建立的深度學習模型基于卷積運算的神經網絡,以多層自編碼神經網絡的方式進行預訓練,通過對目標對象進行特征提取來優化神經網絡的權值,最終實現預測結果誤差下降為最小值,以達到預期的目標檢測效果。

根據貨運源頭樣本大小變化較大及實時性要求較高的特點,選用YOLOX作為目標檢測算法。YOLOX以YOLOv3的Darknet53網絡為基礎,并將YOLOv5的CSPnet結構進行改進,能夠自適應錨框大小并根據目標對象的大小動態匹配樣本。YOLOX的網絡結構見圖3[19-21]。

圖3 YOLOX網絡結構Fig.3 YOLOX network structure

YOLOX所使用的主干網絡為CSPDarknet,激活函數選用在Sigmoid和ReLU基礎上改進后的SiLU激活函數,適用于深層網絡。CSPDarknet通過殘差卷積來緩解梯度消失的問題,并且使用CSPnet結構對殘差進行拆分,將得到的3個特征層送入特征金字塔(feature pyramid networks,FPN)并進行上采樣和下采樣,融合不同尺度的特征信息。相較于其他的YOLO版本,YOLOX對YOLO Head進行改進,將YOLO Head的解耦頭分為2部分,預測時再進行整合,能夠有效提高收斂的速度。

3 實驗與精度評估

3.1 網絡訓練過程

建立虛擬環境,基于Tensorflow2.4.0搭建YOLOX網絡,CUDA版本為11.6,數據集格式為VOC。將制作好的遙感圖像與標簽文件送入網絡進行訓練,訓練前加載預訓練參數,使加載的模型參數更適用于待訓練的數據集,提高訓練結果。訓練過程使用GPU進行加速,根據損失值大小變化趨勢判斷訓練過程是否結束,當測試集損失維持穩定時,模型基本收斂,結束訓練過程。

3.2 目標檢測精度評價指標

在目標檢測中,使用precision來評價模型某一類物體時預測正確的情況占所有檢測目標的比例[22],recall用于評價在某一類物體中有多少比例被模型正確檢測。以recall為橫軸,precision為縱軸可畫出P-R曲線,P-R曲線與橫軸的面積即為AP(Average Precision)。

平均漏檢率(miss rate)為評價漏檢個數的指標,計算式為

(1)

F1score同樣為評價分類精度的指標,計算式為

(2)

為評價所使用網絡模型的性能,使用AP、平均漏檢率和F1score3個評價指標分別評價模型單個類別預測精度、漏檢情況和對平均precision與recall情況下單各個類別的檢測精度。

3.3 貨運源頭目標檢測精度

利用本文提出的方法,針對濱海新區獲取的高分2號和7號影像進行實驗,所得到的八類貨運源頭精度見表2。其中,鋼鐵企業、水泥企業與大宗貨物集散地由于數據樣本過少,精度較低,識別效果不佳,漏檢率較高。鐵路貨場樣本數據不多,但由于鐵路與集裝箱的特征明顯,檢測精度略高于鋼鐵企業、水泥企業與大宗貨物集散地。疑似開采點、港口、沙石囤積點與大型物流園樣本量相對較多,精度較高,且港口樣本中水體與船只特征明顯,利于特征提取,AP可達0.84。

表2 貨運源頭預測精度

利用訓練后所得權值進行預測,結果見圖4,能夠識別一些主要特征較為明顯的貨運源頭。疑似開采點多為綠色植被包裹的白色區域;鋼鐵企業多含黑紅色鋼鐵圖斑;水泥企業區域內含灰黑色水泥;沙石囤積點有藍綠色塑料布覆蓋黃色沙石;港口為陸地與水域有船只的交界處;鐵路貨場周圍多含鐵路或公路;大型物流園與大宗貨物集散地多位于港口附近,區域內有大量煤炭等與集裝箱堆積。

圖4 貨運源頭檢測結果Fig.4 Freight source detection results

3.4 貨運源頭遙感圖像檢測平臺

實現目標檢測可通過命令行的終端窗口,為簡化用戶交互的過程,需要設計一個圖形界面,能夠讀取所選擇要預測的遙感圖像,展示預測結果。基于Vue3.0和node實現的貨運源頭在線識別窗口見圖5。檢測平臺具有單張上傳與批量上傳的功能,在單張圖片預測界面,可通過輸入圖片url或上傳本地圖片到后端調用服務器命令行啟動算法進行預測,并回傳入前端以供瀏覽;批量上傳界面可選擇多張圖片傳入服務器,并接收到服務器預測結束后傳回的壓縮包文件,實現對一批數據的在線預測功能。

圖5 貨運源頭遙感圖像檢測平臺Fig.5 The detection platform of freight sources

4 結論

遙感影像能夠有效指導貨運源頭核查工作,貨運遙感解譯標志庫作為影像解譯過程中的必要參照依據,可為解譯結果提供技術支撐。通過對天津市貨運源頭進行綜合分析,確定了四類企業和四類場站八大類解譯標志庫。

貨運源頭解譯標志實現對天津市貨運源頭的精細分類,為實現智能解譯提供貨運源頭分類標準,建立能夠自動識別貨運源頭的目標檢測算法,搭建貨運源頭遙感圖像檢測平臺,能夠有效減少人工解譯時間。解譯標志庫在天津市薊縣區影像解譯中的成功應用,證明解譯結果具有可靠性和科學性,能夠用于指導相關部門貨運源頭核查工作。