基于多目視覺的農村公路視頻巡查技術研究

文/王剛、于麗麗

1 前言

隨著農村公路里程的增長，人們對公路養護管理的需求也越來越高，由此存在“養護難度大，養護資金不足，技術力量薄弱”等問題，需引入新技術、新方法，充分且合理地結合現有方法形成自動化、智能化、便捷化、高效化的先進手段[1]。但目前農村公路道路巡查方式大多還處于人工巡查階段，其自動化、信息化、智能化水平較低。另外，現有的道路檢測設備以道路檢測車為主，存在需要人員跟蹤檢測、檢測成本高、檢測范圍小、檢測效率受交通狀況制約等缺陷。而隨著多目視覺技術的發展，其應用領域越來越多，將多目視覺用于道路檢測已成為道路檢測的新的發展方向[2]。

2 架構設計

基于多目視覺的農村公路視頻巡查采用卷積神經網絡技術結合高性能的顯卡技術、分布式架構和大數據等信息化手段，其方案的落地實施可以解決目前區域面積大、道路里程長和管養經費較低的農村公路的道路監測、管樣難等問題。總體來看，本方案的道路巡檢采用便攜式的多目攝像頭，應用高性能GPU服務器進行數據視頻分析，并結合分布式架構搭建基于多目視覺的農村公路視頻巡查系統，將巡查分析結果通過多種形式直觀的展現在用戶面前，形成方便的巡檢、智能的分析、直觀的展示等農村公路道路巡檢服務[3]。系統總體規劃如圖1 所示。

圖1 多目視覺的農村公路視頻巡查系統規劃圖

多目攝像頭的視頻通過4G、5G 傳輸技術將視頻回傳到視頻分析平臺進行巡檢視頻分析，然后通過文件服務器和Web 服務器將分析結果展示到用戶界面上。另外，目前分布式服務和分布存儲技術的發展也為系統的搭建部署提供了技術支撐，縮短了系統開發時間，保障了系統研發質量[4]。

3 硬件設計

3.1 硬件系統組成

該多目視覺系統硬件系統主要由中央控制系統和其附屬系統組成，其組成架構關系如下圖所示：

圖2 目視覺系統組成架構圖

3.1.1 存儲系統：支持雙SD 卡槽，單卡最大支持256GB，對沒有5G/4G 信號的偏遠地區進行巡檢視頻實地存儲，巡檢完畢后將存儲視頻上傳到視頻分析平臺進行病害和軌跡等信息的分析。

3.1.2 電源系統：支持供電時長為24h 正常工作的電池、車載點煙器供電線和12V 輸入的座充設備等。

3.1.3 WIFI 模 塊：采 用802.11a/b/g/n 標 準，支持WIFI 熱點，設備連接就近WIFI 后可通過電腦和移動設備對設備進行控制。

3.1.4 5G/4G 模塊：安裝SIM 卡槽，支持中國電信、中國移動、中國聯通三家運營商的六種移動通信制式。

3.1.5 中央控制系統：中央系統采用實時操作系統，完成所有的控制功能。控制系統負責和各個外設模塊，如WIFI 模塊、定位模塊、存儲模塊等的通信交互和控制，同時支持用戶的軟件接口，設備也支持GPS 和北斗的雙模定位模塊等[5]。

3.2 深度攝像頭

農村公路視頻巡檢系統需要對農村公路的病害信息、地理位置信息進行分析采集。在分析農村公路的病害信息和附屬設施時，相關工作人員需要對病害（坑槽、橫縫、縱縫等）的面積、長度和深度等情況進行分析，以便獲得道路病害的確切分析數據。

基于以上需求，巡檢設備攝像頭采用深度攝像頭。深度攝像頭除了能夠獲取平面圖像以外，還可以獲得拍攝對象的深度信息（三維位置和尺寸信息）。目前，深度攝像頭主要分為TOF、結構光和多目視覺技術。其中，TOF 技術其傳感器芯片成本高，結構光技術通過分析結構光投射器投射的光點、光條信息構建物體的深度信息，容易受戶外的光照影響。經過成本分析和戶外巡檢等需求分析，設備的深度攝像頭采用多目視覺技術。利用雙目立體視覺成像原理，在巡檢設備上安裝多個攝像頭，獲取同一時鐘下的多個畫面，使用多目視覺的成像原理對多個畫面進行深度分析。多目視覺的方案不容易受到環境光線的干擾，適合室外環境，且成本較低，適合農村公路巡檢需求[6]。

4 平臺設計

4.1 視頻分析平臺

視頻分析平臺首先將巡檢視頻逐幀分割為圖片，然后對每幀圖片使用目標檢測算法找到存在的橫向裂縫、縱向裂縫、網狀裂縫和坑槽等公路病害，結合GPS 定位系統的經緯度信息和公路里程樁號對病害位置進行定位，最后將檢測出的包含病害的圖片和經緯度信息等上傳服務器，實現對農村公路路況巡檢視頻的自動化分析。本方案的路況檢測分為兩個關鍵的子任務：

4.1.1 目標的識別和分類。目標的識別和分類基于深度學習模型，采用mmdetection 框架的Faster R-CNN 網絡的目標檢測算法來實現。目標檢測算法分別兩個階段：第一個階段首先對目標進行識別和定位，即識別出目標和目標大概位置信息；第二個階段識別出目標的類別和精準位置信息。能識別的常見路面病害一般為路面坑槽、網狀裂縫、縱向裂縫和橫向裂縫等[7]。

4.1.2 目標的三維尺寸計算。通過對多目攝像頭同一時鐘下采集的多幅視頻圖片進行深度分析，獲取目標的面積、長度和深度信息。

4.2 Web 應用服務平臺

Web 應用服務平臺面向用戶，其包含的主要功能如下：

4.2.1 病害管理模塊

實現病害上報和病害的處置，待養護完成后由養護人員將養護結果包括其養護圖片信息進行反饋，查看病害的養護情況閉合度。

4.2.2 巡檢管理模塊

通過DFS(分布式文件系統）實現對巡檢視頻上傳和存儲，并通過web 接口實現與視頻分析平臺的交互。視頻分析平臺采用深度學習和多目視覺技術對巡檢視頻進行分析，識別農村公路里程、空間地理信息和病害信息等（包括病害的類別、位置信息尺寸信息）。模塊通過和視頻分析平臺的業務交互獲取農村公路巡檢分析結果，通過地圖信息等對農村公路的空間位置信息、視頻信息、里程信息和病害信息等進行多維度展示[8]。

4.2.3 統計模塊管理

在統計模塊中實現對農村公路里程信息、病害信息和養護信息的多維度統計，方便農村公路養護和監管人員從宏觀上完成農村公路路資路產盤點和病害養護情況監管[9]。

4.2.3.1 道路信息的規劃數據和巡查數據的對比統計，實現對農村公路規劃數據和巡查數據里程偏差統計。

4.2.3.2 從時間維度上對農村道路病害上報信息進行統計，以便相關人員查看農村公路病害信息。

4.2.3.3 從時間維度上對農村養護信息進行統計，以便相關人員查看農村公路的養護維護情況。

5 結語

通過應用本研究成果可較大程度地提高農村公路養護巡檢工作效率，節約成本。其與傳統人工檢測相比較，效率提高3 倍以上；與專業檢測車比較，節約成本超過50%，無論是工作效率、工作質量、工作成本都有了大幅度的提高[10]。另外，由于研究采用人工智能技術，隨著巡檢視頻采樣本的增多，其病害識別準確率也會大幅度提高。