易鈺程 王靖智 朱路 李霄 熊奎 葉盛濤 陳嘉豪



摘要:從路面缺陷檢測系統組成和特點出發,首先簡要回顧了路面缺陷檢測系統與傳統路面圖像處理方法的發展過程。在此基礎上,探討了國內外典型路面缺陷檢測系統的現狀,包含重型道路狀況智能檢測系統、輕量化路面質量檢測系統,并對檢測系統的性能及部分參數進行了描述。然后,詳細介紹了基于機器學習、深度學習理論的路面缺陷智能化檢測方法的演變歷程,重點分析了基于深度學習技術的路面缺陷智能化檢測方法國內外的研究進展,主要包含基于區域卷積神經網絡、單次多框檢測器、YOLO目標檢測、Transformer檢測模型等路面缺陷智能檢測方法。最后,從多模信息融合、雙輕量化設備、穩健智能化算法等方面對路面缺陷智能化檢測系統的發展趨勢和應用前景進行了展望。
關鍵詞:路面缺陷檢測系統;人工智能;深度學習;輕量化系統;多模信息融合
中圖分類號:U418 文獻標志碼:A
本文引用格式:易鈺程,王靖智,朱路,等. 路面缺陷智能化檢測系統與方法綜述[J]. 華東交通大學學報,2023,40(5):19-31.
Review of the Intelligent Pavement Defect Detection System and
Methods
Yi Yucheng1, Wang Jingzhi1, Zhu Lu1, Li Xiao2, Xiong Kui2, Ye Shengtao1, Chen Jiahao1
(1. School of Information Engineering, East China Jiaotong University, Nanchang 330013, China;
2. VKELINE Information Technology Co., Ltd., Nanchang 330038, China)
Abstract:Based on the composition and characteristics of pavement defect detection system, this paper briefly reviews the development process of the pavement defect detection system. On this basis, it analyzes the status quo of typical pavement defect detection systems at home and abroad, including the intelligent detection system of heavy pavement condition and lightweight pavement quality detection system, and describes the performance and some parameters of the detection system.Then emphatically introduces the evolution process of pavement defect detection technology and methods from traditional image processing to the intelligent pavement defect detection method based on machine learning and deep learning theory is explored. And, the research progress of intelligent pavement defect detection methods based on deep learning technology at home and abroad is comprehensively introduced, including pavement defect detection methods based on regional convolutional neural network, single multi-frame detector, YOLO target detection, Transformer detection model, etc.Finally, the development trend and application prospect of intelligent detection system for pavement defects are discussed from the aspects of multi-mode information fusion, dual lightweight design and robust intelligent algorithm.
Key words: pavement defect detection system; artificial intelligence; deep learning; lightweight system; multi-mode information fusion
Citation format:YI Y C,WANG J Z,ZHU L,et al. Review of the intelligent pavement defect detection system and methods[J]. Journal of East China Jiaotong University,2023,40(5):19-31.
公路是一個國家經濟發展的大動脈,高品質的公路質量對于建設現代化綜合交通運輸體系具有重要意義。路面缺陷檢測系統是一種利用多種傳感器件完成路面裂縫、坑洞、龜裂等指標測量,實現對路面情況進行評估以及提供養護建議的工程檢測設備。路面缺陷檢測系統(圖1)通常包含高清攝像頭、振動傳感器或位移傳感器等多類型傳感器,以及導航定位系統、數據采集系統、無線傳輸系統等子系統,部分高端產品包含三維激光雷達,獲取路面激光點云數據,對路面進行三維建模[1-10]。檢測系統的出現替代了需要專業技術能力并有豐富工作經驗的檢測人員參與的傳統觀測檢測方法。近些年來,隨著人工智能技術的快速發展,基于機器學習與深度學習框架的路面缺陷檢測方法大量涌現,路面缺陷檢測步入智能化時代[11-19]。
1 路面缺陷檢測的發展歷程
路面裂縫、坑洞等缺陷是影響車輛平穩性主要指標之一,因此,對路面缺陷的精確檢測是保證車輛安全運行的重要手段。路面缺陷的檢測技術有著悠久的歷史,可以追溯到上個世紀。早期,由于技術和設備的限制,檢測以人工檢測方法為主,其需要具有經驗的專業技術人員通過步行或者乘坐行駛緩慢的檢測車,通過人眼觀察和人工測量來統計路面破損情況,測試效率和精確度一直難令人滿意[20]。早期的路面檢測系統基于攝影技術與視頻技術,通過膠片與磁帶實現圖像存儲[21-22]。隨著計算機圖像處理技術與傳感器技術的不斷發展,基于圖像處理[23]、雷達技術[24]與震動信號[25]的檢測設備與方法嶄露頭角。商業化的路面檢測系統于90年代在國外開始大量涌現[26-28],國內從上世紀90年代中后期開始引進路面缺陷檢測系統,它利用車載攝像頭采集路面圖像,由圖像處理軟件系統處理和識別路面缺陷但是進口設備價格昂貴,難以滿足我國廣大市場需求。隨著先進傳感器、多樣采集設備以及信息處理技術的快速發展,路面缺陷檢測迎來突破,國外學者將線陣攝像頭,紅外成像相機,三維激光技術應用到路面檢測領域,取得了比較好的檢測效果[29-34]。國內研究單位針對國情,探索符合國內道路的智能檢測系統,并取得了一些成果[35-39]。
路面缺陷檢測方法從單一黑白圖像到復雜多色彩圖像融合檢測,數據采集從二維圖像到三維圖像或激光點云數據,經歷了漫長的發展過程。早期的路面缺陷檢測系統檢測方法基于傳統圖像處理技術。Chua等[40]介紹了新墨西哥大學開發的自動路面缺陷檢測系統,該原型系統采用了一臺8 mm攝像機,一個圖像數字化板和一臺486個人微型計算機,能夠自動識別縱向、橫向、對角線等分布裂縫,該系統在瀝青路面裂縫檢測的準確率超過85%,在水泥路面超過90%。為了應對路面影像斑點噪聲強,路面裂縫對比度低、連續性差等特點,李清泉等[41]提出了一種基于最小代價路徑搜索的路面裂縫檢測方法,該方法將裂縫提取問題轉化為格狀圖頂點之間最小代價路徑搜索的問題,實現裂縫種子點的生長和連接,并最終提取裂縫,實驗結果表明所提方法具有較高的精度和效率。為了提高圖像抗噪性能,楊洋[42]提出了基于改進差分計盒維數法的路面裂縫圖像分割方法,該方法先通過灰度化和灰度投影曲線判斷裂縫類型,縮小圖像后使用對數變換增強圖像并去噪,實驗證明該方法分割效果好,裂縫提取準確。Sari等[43]討論了一種瀝青路面裂縫分類和分割的自動化方法,利用支持向量機SVM(support vector machine)算法的分類方法和大津法的分割方法來對瀝青路面裂縫進行分類,有效提高了整體檢測準確度。張德津等[44]提出的基于空間聚集特征的瀝青路面裂縫檢測方法能夠解決在大規模應用、復雜環境下存在的穩定性、可靠性和實時性問題,經過實驗測試,該方法對不同類型的路面圖像具有良好的檢測性能,裂縫定位準確性達到95%以上,裂縫區域檢測的完整性達到90%以上。除了傳統的圖像處理技術,近年來隨著人工智能的迅速發展,機器學習、深度學習等方法在圖像處理領域取得了巨大的突破。通過多層神經網絡的訓練,能夠學習到高級的圖像特征,并在圖像分類、目標檢測等任務中取得了令人矚目的結果。眾多機構和學者將人工智能技術應用于路面缺陷檢測中,研制了各型路面檢測系統,提出了各類智能化檢測方法[45-46]。目前,智能化檢測車輛研制與基于深度學習理論的路面缺陷智能化檢測方法成為了研究主流,新型的檢測設備與大量技術方法涌現,本文接下來將對典型檢測系統與部分熱門研究方法進行闡述。
2 典型路面缺陷檢測系統
路面缺陷檢測系統根據不同的應用場景,會配置不同的傳感設備。在高等級公路路面缺陷檢測時,將會選用重型的自動檢測車,在低等級公路缺陷檢測時,一般采用人工巡檢或輕量化檢測系統。
2.1 重型道路狀況智能檢測系統
N-1型道路狀況智能檢測系統[47]由南京理工大學研制,是集人工智能、數字圖像處理、模式識別、激光高速精密測距與斷面掃描技術、地理信息系統及全球定位技術、道路工程、數據庫、網絡等技術于一體的路面智能檢測車。為了準確的檢測路面缺陷,必須對行駛過的全部路面完成圖像采集與存儲。獲取路面全部圖像后,利用自行研制的圖像處理與分析算法、軟件對獲得的路面圖像進行處理與分析,從中提取出路面缺陷信息。
ARAN多功能道路測試車[48]是加拿大Roadware公司生產的一種一體式、模塊化、多測量平臺的道路基礎設施數據采集設備,用于在高速公路和一般公路上即時收集公路的信息資料,并進行計算機即時和線下處理。該系統使用多個角度的高分辨率相機來拍攝路面情況,CCD(charge-coupled device)技術可以直接將光學信號轉換為數字信號,且圖像采集速度高,所以ARAN系統可以在車速80 km/h的速度下完成。ARAN系統能夠自動將檢測到的路面缺陷進行分類,并鑒定病害的嚴重程度。
Pathway公司多功能路面檢測車[49]采用了先進的三維路面缺陷采集系統。檢測車配備先進的計算機系統,傳感器及數字圖象處理系統,可以用來進行高速有效的數據采集和路面的圖像視頻采集。該系統可以以低成本短時間獲得高質量的檢測數據。
2.2 輕量化路面質量檢測系統
ZOYON-RTM智能道路檢測系統[50]是武大卓越研制的公路路況快速檢測系統。系統以中小型SUV(sport utility vehicle)為載車平臺,不僅可滿足低等級農村公路路面缺陷、路面平整度指標的檢測,同時支持路面車轍、路面構造深度、路面跳車、路面磨耗等檢測指標系統的拓展。裝備高速線掃描三維測量傳感器,在0~100 km/h速度,實現橫向1 mm間距,縱向3 mm間距的路面三維點云數據采集。
中公高科研發的CiCS-IV農村公路路況檢測系統[51],車輛載體采用越野底盤,可以在比較惡劣的農村公路路段從事檢測任務,可檢測平整度、路面缺陷、GPS和前方景觀等指標。
HiScan-R輕量化三維激光移動測量系統集成三維激光掃描設備、衛星定位模塊、慣性導航裝置、車輪編碼器、全景相機、總成控制模塊和高性能板卡計算機等,可實時采集點云數據及全景影像。方便安裝于汽車、沙灘車、船舶或其它移動載體。在移動過程中可輕松完成矢量地圖數據、街景數據和三維地理數據的生產處理。
同陸云農村公路養護監測系統具有低成本、高精度的特點,其真實有效的采集上傳機制能較好融入農村公路檢測評價體系。其可實現路面缺陷智能識別、以及對路面狀況、沿線設施技術狀況等各種指標的檢測評定。
RIEGL VMX-2HA是一套高速、高性能的雙激光雷達移動測圖系統,即便是在高速公路上行駛依然可提供極高的點密度和精度,以及豐富的屬性信息。系統由兩個高精度激光雷達傳感器和一個高性能INS/GNSS單元組成,這些傳感器被安裝在一個按空氣動力學制作的保護罩內。相機接口最多可支持九臺相機,精確的地理參考影像能夠和激光雷達數據相互補充。
目前,市場上的路面缺陷檢測系統主要為重型檢測車輛與輕量化檢測平臺。重型巡檢車輛價格昂貴,難以普及,不適合農村道路的日常巡檢。輕量化智能路面缺陷檢測系統國內外產品各有特色,其檢測質量不僅與產品硬件相關,更取決于各廠家的路面缺陷識別算法。國外廠家多采用模塊化的移動測量平臺,集成多種傳感器,是一種值得借鑒的方式。然而,國外移動測量平臺價格較貴,限制了其在國內的普及。
3 路面缺陷智能檢測方法
基于傳統圖像處理方法的路面缺陷檢測技術在簡單背景下檢測效果較好,但在一些諸如油 漬、陰影和異物等復雜背景下檢測效果依然不佳。隨著深度學習的發展,各種目標檢測網絡被用于道路缺陷檢測領域,能夠挖掘出更深層次的特征,在很大程度上濾除復雜背景帶來的影響,成為了道路缺陷檢測領域的主流趨勢。下面重點闡述基于各類深度學習網絡的路面缺陷檢測方法的研究進展。
3.1 區域卷積神經網絡R-CNN檢測方法
R-CNN(region-based convolutional neural networks)是一種基于卷積神經網絡的目標檢測算法。R-CNN算法通過將輸入圖像分成多個候選區域,然后對每個區域進行特征提取和分類,來識別圖像中的目標物體。它提供了一種有效的方法來處理具有復雜背景和多個目標物體的圖像,并且在準確性和魯棒性方面都有顯著的改進。由于R-CNN算法的成功,后續研究引入了諸多改進的版本,如Fast R-CNN、Faster R-CNN和Mask R-CNN等,進一步提升了目標檢測的性能[52]。
在路面缺陷檢測方法方面,R-CNN的應用取得了不錯的效果。Nie等[53]通過轉移學習方法,利用基于Faster R-CNN的路面缺陷檢測網絡的子網絡改善檢測性能,取得了較好的檢測結果。而Kortmann等[54]也利用了Faster R-CNN方法,通過預訓練模型實現了對不同類型的道路缺陷的自動檢測。為了進一步提高檢測精度,孫朝云等[55]提出了一種基于改進的Faster R-CNN的路面灌封裂縫檢測方法,將多個網絡的特征提取層與Faster R-CNN模型結合,取得了較好的檢測精度,并且通過增加候選框寬高比的方法進一步改進了模型,提高了檢測精度和定位效果。為了減弱外界環境影響,Chen等[56]采用了高斯混合模型和Faster R-CNN相結合的方法進行路面裂縫檢測,該方法不受光照條件影響具有較好魯棒性。Kumar等[57]提出了一種基于深度學習模型的混凝土損傷多類實例分割方法,利用Mask R-CNN模型實現了對混凝土損傷的精確定位和分割,并取得了良好的分類和定位效果。進一步,楊微[58]提出了一種基于優化的Faster R-CNN算法,通過引入序列特征方法改進了路面裂縫識別算法的精度,并通過網絡優化提高了識別速度。Fujita等[59]系統評估了四種基于Mask R-CNN的路面缺陷檢測模型在檢測任務中的性能,并嘗試采用一種替代的度量計算方法來改進結果。毛鶯池等[60]通過引入多源自適應平衡TrAdaBoost的遷移學習方法解決了路面裂縫樣本不足的問題,并在裂縫圖像檢測任務中取得了較好的效果。李太文等[61]采用了基于Faster R-CNN的方法進行道路裂縫識別,并取得了較好的識別精度。在識別精度進一步提升方面,Zhang等[62]提出了一種基于實例分割的自動像素級裂縫檢測網絡,實現了端到端的像素級裂縫檢測,并在公開數據集上取得了較好的檢測結果。晏班夫等[63]提出了一種基于Faster R-CNN和形態法的路面缺陷識別方法,通過調整缺陷框像素面積和置信度閾值降低誤檢率,并取得了較好的效果。類似,徐觀亞[64]提出了一種結合Faster R-CNN和形態法的路橋表觀病害識別系統,能夠高效率和高精度地識別路橋表觀病害。綜上所述,基于R-CNN的路面缺陷檢測方法大致分為兩類,一類是通過對R-CNN網絡本身進行改進,另一類將其他模型、方法融入R-CNN網絡提高檢測精度。然而,農村公路路況復雜,如何利用R-CNN實現檢測實時化還有待進一步研究。
3.2 單次多框檢測器SSD方法
SSD(single shot multi box detector)是一種常用的目標檢測算法,它通過在不同尺度的特征圖上同時預測不同大小的邊界框和類別概率來實現實時目標檢測。SSD算法具有快速和準確的特點,因此在許多計算機視覺領域得到廣泛應用,如目標檢測、行人檢測和人臉檢測等[65]。
楊婧[66]基于SSD路面破損圖像目標檢測模型,提出了一種基于特征金字塔模型的改進算法來改善SSD網絡對小目標的檢測效果,并設計了一種融合感受野模塊(receptive field block,RFB)的改進算法,來提高路面破損檢測網絡的特征提取能力,提升路面破損檢測精度。為了提升SSD的檢測速率,王博等[67]提出了一種輕量級的SSD道路裂縫檢測算法,旨在提高檢測的速度和精度,并將主干特征提取網絡改進為輕量級的MobileNet網絡,通過特征金字塔進行融合,實驗結果表明,該算法在精度和速度方面優于YOLOv3算法和原始的SSD算法,并且更適合在嵌入式設備上部署。類似,趙雪寒等[68]提出了一種基于改進SSD模型的路面病害圖像檢測系統,利用梯度下降Sobel算子優化了SSD模型中的卷積網絡層,突出了路面病害圖像特征,并且設計了基于Jetson-Nano板載系統和基于GO語言的Tensorflow框架系統,實現了路面病害的檢測和分類,實驗證明,該系統在路面病害分類準確度方面比未改進的SSD模型提高了7.36%。另一方面,Yan等[69]基于不同公路路面的圖像,提出了一種可變形SSD網絡,實驗證實可變形SSD模型優于YOLOv4和原始SSD模型,能在復雜環境中檢測路面裂縫的類別和位置,為公路維護提供了重要的技術支持。為了進一步提高檢測的速度和精度,李鵬程[70]提出了一種基于圖像預處理和數據增強的改進型SSD算法,該算法能改善裂縫圖像的質量,提高檢測準確率和速度,為路面裂縫檢測提供了新的方法和數據支持。同時,韋正璐等[71]通過替換SSD網絡的一些層以及使用空洞卷積來擴大感受,能有效提高路面破損的識別速度并提升識別效率。為了使模型具有更多的檢測類別和更高的準確性,李想等[72]提出了一種基于深度學習SSD的裂縫檢測識別方法,通過代表性裂縫數據集制作,以及大量典型的裂縫圖片的訓練,裂縫識別系統識別精度可以達到95%以上,并具有普適性,可以應用于實際的裂縫識別任務。在輕量化方面,Hou等[73]提出了一種輕量級的遷移學習方法,并將其與MobileNet和MobileNet-SSD等輕量級模型結合,用于識別和檢測混凝土橋梁裂縫,實驗結果表明,該方法在分類和檢測任務中的性能較好,具有在智能交通基礎設施維護中的實際應用潛力。綜上可知,SSD方法具有較快的檢測速度,適合一些注重實時化檢測的場景,但是目前SSD系列算法檢測精度相較于Faster R-CNN仍然處于下風,還有進一步提升空間。
3.3 YOLO目標檢測方法
YOLO(you only look once)目標檢測算法是一種實時目標檢測算法。與傳統的目標檢測算法相比,YOLO算法具有更快的處理速度以及更高的準確率。YOLO算法的核心思想是將目標檢測問題轉化為一個回歸問題,并將整個圖像分割成一個固定大小的網格,每個網格預測一個確定數量的邊界框和類別概率。通過使用卷積神經網絡(convolutional neural networks, CNN)來進行預測,YOLO算法能夠在一次前向傳播的過程中同時完成目標的位置和類別的預測[74]。
近年來,由于其高效的檢測效率和精度,許多研究人員開展了基于YOLO檢測算法的的路面缺陷檢測方法研究。呂堅[75]比較了YOLO系列算法和Mask R-CNN算法在路面裂縫檢測上的性能,并發現改進的Mask R-CNN算法具有較高的準確率和召回率,通過特征提取和分類模型構建來評估路面破損程度。通過對YOLOv3網絡模型深入研究,王成[76]提出了基于YOLOv3網絡和OpenCV的路面裂縫檢測方法,通過多尺度分析和圖像處理,提高了裂縫檢測的準確率。陳旭丹等[77]提出了一種基于YOLO模型的瀝青路面病害識別方法,通過無縫360°環視影像拼接和YOLOv3網絡檢測路面破損,并取得了較高的檢測準確率。鄧涵宇[78]結合深度學習和多尺度方法,利用YOLOv3網絡進行快速裂縫識別,并通過圖像處理和裂縫區域的識別和提取實現了有效的裂縫檢測。Hamed等[79]使用深度學習方法開發了新的瀝青路面狀況指標,提高了路面狀況評估的準確性。王勇[80]以YOLOv3為基礎,提出了一種基于車載360°環視影像和深度神經網絡的路面坑塘與裂縫檢測方法,實現了對路面病害的自動檢測。王凱杰[81]通過改進YOLOv3算法,提高了路面病害的檢測準確率。文獻[82-83]利用YOLOv3網絡模型,成功地使用深度學習算法對探地雷達圖像進行處理,能有效檢測出隱藏的裂縫。姜烊[84]以YOLOv3模型為基礎,通過增加網絡深度和引入注意力機制等方法,提高了混凝土裂縫的識別分類精度和定位精度。Zhang等[85]提出了基于多級注意力機制的公路路面病害檢測方法,將MLAB(multi- level attention block)融入到YOLOv3模型中,有效提高YOLOv3模型的準確率。YOLOv4遵循 YOLOv3的基本網絡架構,但使用先進的方法技巧對局部進行了修改,Zhang等[86]基于YOLOv4網絡提出了一種弱監督高分辨率圖像裂縫檢測網絡,極大降低了數據集制作的成本與難度。余俊英[87]以YOLOv4為基礎,通過引入可變形卷積以及自適應空間特征融合,提出改進YOLOv4算法,該算法在檢測精度上與Faster R-CNN算法相當,但檢測速度優于Faster R-CNN算法,可以實現對公路路面病害的準確、快速檢測。Yang等[88]利用數字圖像處理和深度學習技術提出了基于改進YOLOv4網絡檢測模型的路面裂縫定位和分割算法,該算法提高了路面缺陷圖像的質量,增強了裂縫的識別和定位能力,減少了計算量,提高了裂縫輪廓提取的精度,為公路裂縫檢測提供了一種新的解決方案。YOLOv5采用PyTorch 編譯,其模型使用的靈活性和生產效率相對較高。李鑫[89]基于YOLOv5算法提出了一種基于深度學習的公路路面裂縫檢測方法,具備準確檢測復雜背景下的裂縫圖像的能力。孫偉凱[90]提出了一種基于YOLOv5模型的公路路面裂縫檢測方法,實驗結果表明,該算法對復雜背景下的路面裂縫識別和定位、裂縫分類都取得不錯的效果。Shu等[91]基于街景圖像,提出了一種基于YOLOv5網絡的公路路面裂縫檢測方法,該方法具備良好的檢測效果和較快的檢測速度。梁槚[92]在YOLOv5中引入輕量化網絡MobileNet 2,設計出適用于瀝青路面病害圖像檢測的輕量化模型YOMobile。仝澤興等[93]提出了基于YOLOv5和PSPnet的裂縫檢測分割算法,通過添加MLAB和使用PSPnet進行像素級分割,實現了較高的檢測和分割精度。Wang等[94]提出了一種改進的YOLOv5模型,該模型結合視覺轉換器(vision transformer, ViT),可以計算圖像區域的關注權重,并通過權重形成新的特征映射,提高了模型的速度和精度。YOLO系列算法屬于一步算法,初始算法在識別精度上由于傳統SSD算法,在檢測速度上優于R-CNN算法,并且自YOLOv3算法提出以來,SSD算法的速度優勢正在逐漸消失。然而YOLO系列算法對檢測目標的定位能力還有待加強,路面缺陷定位是路面檢測的重要指標之一。
3.4 基于Transformer的檢測方法
Transformer使用Self-Attention結構取代了在NLP任務中常用的RNN網絡結構。相比RNN網絡結構,其最大優點是可并行計算[95]。相比于傳統的CNN模型,基于Transformer的視覺檢測模型具有更好的建模能力,可以捕捉圖像中的長距離依賴關系,也可以更靈活地處理不同尺度的特征,使得模型對尺度變化更加穩健。然而,由于Transformer模型的參數量較大,訓練和推理過程的計算成本也相應增加[95-96]。
近年來,基于Transformer網絡模型的路面裂縫檢測方法成為研究熱點。Xu等[96]提出了局部增強Transformer網絡(LETNet),通過設計卷積和局部增強模塊來補償局部特征,并使用跳線連接策略和上采樣模塊來恢復詳細信息,實驗結果表明LETNet在效率和準確性上勝過傳統Transformer模型。劉軍等[97]介紹了基于Transformer的端到端路面裂縫檢測方法,通過設計Crack Net和Crack Former Net來檢測和評估路面裂縫,同時提出了裂縫嚴重程度評估方法。陳虹嘉[98]研究主要聚焦于激光線掃描數據的路面紋理分析,通過分析路面高程數據并引入Transformer結構進行紋理識別,實驗結果表明該方法能有效地提取和評價路面紋理。Xiao等[99]提出了基于混合窗口注意力視覺Transformer的道路裂縫檢測方法,通過設計卷積干擾和局部增強模塊來恢復詳細信息,開發缺陷修正模塊來增強對困難樣本的識別。Guo等[100]提出了基于Transformer的道路裂縫檢測方法,利用Swin Transformer作為編碼器和解碼器,能夠自動檢測長而復雜的道路裂縫,實驗證明其能有效增強裂縫檢測性能。許正森等[101]提出了多尺度特征增強Transformer網絡,通過注意力、多尺度特征增強、上采樣和跨連接構建實現高效檢測,實驗結果顯示其速度和準確性均優于DeepCrack模型。楊澤[102]提出了一種基于Transformer的裂縫圖像分割模型Crack TUNet,通過預處理、分類和分割等步驟,有效地檢測和分割路面裂縫。Guo等[103]提出了一種基于Transformer的語義分割網絡,該網絡將Swin-Transformer作為編碼器,將基于注意力機制的UperNet作為解碼器,通過學習全局和長距離語義特征,獲取更多細節信息來實現精確的像素級路面裂縫檢測,實驗結果表明在視覺化和評估指標上表現最佳,為未來基于Transformer的自動路面裂縫檢測奠定了基礎。Lin等[104]提出一種替代的序列到序列的角度與變壓器網絡Transrack,該方法通過裂縫塊網格和位置嵌入來實現特征恢復和像素級預測,實驗證明該方法在損傷檢測和剖面提取方面具有明顯優勢。Sun等[105]設計了一種基于卷積特征與序列特征融合的輕型檢測框架(pavement crack detection transformer,PCDETR),并提出了一種高效的路面裂縫檢測方法,該方法采用Swin-Transformer和殘差網絡提取全局和局部特征,通過集合預測獲得裂縫位置和類別,達到高效檢測。李海豐等[106]提出了基于機場跑道的裂縫分割網絡,利用自注意力、軸向注意力和可變形卷積提取裂縫的局部和全局特征,并通過Transformer Decoder還原特征圖尺寸和融合不同尺度的分割結果。Chen等[107]提出的LECSFormer是一種精細化道路裂縫檢測方法,利用Transformer塊建模長程依賴關系,并使用密集連接和通道注意力機制融合和加權多尺度信息,其可以準確檢測路面裂縫,支持道路的智能預防性維護。Guo等[108]提出一種改進型Transformer算法,該算法通過引入圖像梯度和視覺Transformer提高邊界精度,并使用多頭注意力機制增強裂縫分割網絡對Patch之間關系的感知能力,具有較好的裂縫邊界識別性能。Mehajabin等[109]利用卷積神經網絡和視覺Transformer模型,研究了道路劣化檢測問題,實驗結果表明Swin- Transformer模型在準確性和識別速度方面表現最優。Yu等[110]提出了自動化道路裂縫檢測方法,利用視覺Transformer和多頭交叉注意力提取裂縫特征,并融合語義信息以提高精度,實驗證明在公共和自建數據集上具有較好檢測效果。Fang等[111]提出了一種基于外部注意力的裂縫檢測網絡TransUNet,能有效緩解陰影、噪聲等負面因素的干擾。Xing等[112]通過增加Swin-Transformer和BIFPN特征金字塔網絡來改進YOLOv5模型的裂縫檢測效果。Liu等[113]提出了一種Crack Transformer網絡,用于細粒度裂縫檢測,其通過自注意力模塊和縮放注意力模塊來改善檢測性能。Wang等[114]介紹了基于Transformer的瀝青路面裂縫圖像篩選方法,通過引入ViT方法進行自動分類,實驗結果表明在瀝青復合路面數據集上具有較好的分類效果。Jin等[115]提出了一種聯邦遷移學習和無監督學習的裂縫檢測方法,該方法使用帶有Transformer的FedCrack模型進行預訓練,并通過無標簽數據進行聯邦遷移學習,其在裂縫分割上表現出色。Xiang等[116]利用Transformer模塊來改善YOLOv5網絡的裂縫檢測性能,在印度、捷克和日本的瀝青路面數據集上取得了較好的檢測效果。Transformer目標檢測方法引入了自注意機制,無需進行卷積操作,具有直接預測檢測框和類別的優點,在路面缺陷檢測領域嶄露頭角。目前基于Transformer路面檢測研究大多聚焦于改善路面缺陷檢測和分割效果提升方面,并未解決該方法訓練收斂慢、對小目標檢測性能較差等問題,這將會限制Transformer方法在路面檢測領域的進一步發展。
綜上所述,基于各類網絡模型的智能化路面缺陷檢測方法(表1)在準確性和效率方面相較傳統圖像處理方法取得了顯著的進展,為未來的道路維護和安全提供了重要的技術支持。
4 路面缺陷智能化檢測的發展趨勢
目前路面缺陷檢測相關理論驗證充分,部分關鍵技術取得突破,但總體而言,現有路面缺陷檢測系統離滿足實際應用需求還存在差距,主要存在如下瓶頸問題。
1) 指標穩健度不高?,F有的路面檢測系統大多基于單模態采集數據進行路面缺陷檢測,檢測性能指標主要取決于該模態數據質量的優劣。這將導致檢測系統抗干擾能力較差,檢測性能不穩定。
2) 環境適應性不強。道路路面情況復雜多變,陰影、水污、油漬等嚴重影響系統的識別效果;同時縱向、橫向裂縫,坑洼,龜裂,破碎等路面缺陷分類效果不明顯。
3) 智能化算法穩健度不高。隨著人工智能技術的迅速發展,路面缺陷檢測系統在各類網絡模型的加持下,缺陷識別無需人為判斷,但是路面場景的轉換、干擾因素的加入會導致系統識別率急劇下降,缺乏穩健的智能處理手段。
為突破路面缺陷檢測系統面臨的環境適應性、設備普及性和智能化處理等瓶頸問題,可以歸納總體如下三個方向的發展趨勢。
4.1 面向多模傳感器數據的信息融合技術
智能路面缺陷檢測系統集成了多個傳感器子系統,每種模態的傳感器都有其優點和缺點,如相機只能測量2D圖像,且容易受光照和夜晚的影響;激光雷達獲取的3D點云較為稀疏,而且在長走廊、隧道以及開闊場景中容易發生退化;GPS測量極易受到環境的干擾;每種模態的傳感器只能在適當的環境中發揮積極的作用。因此,以適當的方式融合多種模態的測量數據,通過優勢互補,使檢測系統能夠在各種挑戰性環境下持續輸出魯棒且精確的測量結果,完成對路面場景的精確重建與定位,是非常有價值和應用前景的研究方向。
4.2 面向多場景的快速巡檢輕量化設備
目前,輕量化路面巡檢設備大多由工業相機、導航設備等輕量化傳感器復合組成,對設備定制開發程度不深,數據采集時需要具備良好、穩定的光照環境,且數據采集過程中車輛需要勻速、平穩行駛,難以應付突發情況。從公開文獻報道來看,大部分研究都集中在輕量化檢測算法和網絡模型研究領域,面向多場景定制化的車載路面巡檢輕量化系統報道較少。整體而言,該領域當前正處于發展階段。
4.3 面向路面健康的穩健智能算法
傳統的圖像處理算法多基于邊緣檢測等經典算法對預處理后的圖像進行目標識別,由于算法本身的局限性其圖像識別精準度并不高,對于路面異常的誤識別較多,且面對大體量的路面數據時處理效率偏低,一些基于深度學習技術的網絡模型雖能提高識別精度,提高識別效率,但是模型的遷移性不佳,難以適應復雜多變的路面狀況。利用多技術手段對采集數據進行清洗、提煉、挖掘,通過研究深度神經網絡算法的深層機理,在不斷的迭代升級中逐步替代人工識別,降低主觀影響,提高數據的準確性以及模式的自動化是未來重要研究方向。
5 結束語
農村公路具有線路多、里程長、分布廣、密度大等特點,隨著運營時間不斷累積,道路的路面質量優劣、是否平整直接關系到行車安全、駕駛舒適,每年因道路路面損壞造成的交通事故不勝枚舉。路面行駛質量檢測對于道路養護是一項非常重要的工作,已成為農村公路建設發展的首要問題。傳統作業模式工作效率低下,無法滿足公路日常性養護,導致公路養護部門無法全面、及時、準確地掌握所在轄區內的公路技術狀況,這給科學制定養護計劃帶來了較大的困難。路面缺陷智能化檢測系統基于多傳感器硬件資源,結合以人工智能技術為驅動的智能化處理思路以及多模信息融合思想可以較好滿足道路養護需求。
目前基于人工智能技術的路面缺陷檢測系統正處于高速發展階段,我國應當充分借鑒國外的研究成果,立足我國現有國情,在現有技術基礎上,聯合高校、科研機構、工業部門以及應用行業,發揮各自優勢資源,在需求牽引下攻克難點,揚長避短開辟更為廣闊的研究與應用空間。
參考文獻:
[1] WANG K C P. Elements of automated survey of pavement and a 3D methodology[J]. Journal of Modern Transportation,2011,19(1):51-57.
[2] ISMAIL N,ISMAIL A B,RAHMAT R A,et al. Development of expert system for airport pavement maintenance and rehabilitation[J]. European Journal of Scientific Research,2009,35(1):121-129.
[3] 馬常霞,趙春夏,胡勇,等. 結合NSCT和圖像形態學的路面裂縫檢測[J]. 計算機輔助設計與圖形學學報,2009,21(12):1761-1767.
MA C X,ZHAO C X,HU Y,et al. Pavement cracks detection based on NSCT and morphology[J]. Journal of Computer-Aided Design & Computer Graphics,2009,21(12):1761-1767.
[4] 李保險. 基于路面三維圖像的瀝青路面裂縫自動識別算法[D]. 成都:西南交通大學,2013.
LI B X. Algorithm design of classification and extraction of asphalt pavement crackings using pavement 3D images[D]. Chengdu:Southwest Jiaotong University,2013.
[5] 齊永康. 基于MobileNet與YOLOv3的路面障礙檢測輕量化算法[J]. 計算機系統應用,2022,31(2):176-184.
QI Y K. Lightweight algorithm of road obstacle detection based on MobileNet and YOLOv3[J]. Computer System &?Application,2022,31(2):176-184.
[6] 左永霞. 路面破損智能檢測系統的關鍵技術研究[D]. 吉林:吉林大學,2013.
ZUO Y X. Research on the key technology of intelligent detection system for pavement distress[D]. Jilin:Jilin University,2013.
[7] SHON H,CHO C S,BYON Y J,et al. Autonomous condition monitoring-based pavement management system[J].?Automation in Construction,2022,138:104222.
[8] KHEIRATI A,GOLROO A. Low-cost infrared-based pavement roughness data acquisition for low volume roads[J].?Automation in Construction,2020,1119:103363.
[9] GUO D B,YANG G H,QI B L,et al. A fast ground segmentation method of LiDAR point cloud from coarse-to-fine[J]. IEEE Sensors Journal,2023,23(2):1357-1367.
[10] 鐘棉卿. 基于移動激光雷達數據的路面狀況檢測方法研究[D]. 西安:長安大學,2020.
ZHONG M Q. Research on methods of pavement condition survey using mobile laser scanning data[D]. Xi′an:Chang′an University,2020.
[11] QU Z,CHEN W,WANG S Y,et al. A crack detection algorithm for concrete pavement based on attention mechanism and multi-fuatures fusion[J]. IEEE Transactions onIntelligent Transportation Systems,2022,23(8):11710-11719.
[12] YAO H,LIU Y H,LI X,et al. A detection method for pavement cracks combining object detection and attention mechanism[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23(11):22179-22189.
[13] LIU H J,YANG J,MIAO X Y,et al. Crack former network for pavement crack segmentation[J]. IEEE Transactions on Intelligent Transportation Systems,2023,24(9):9240-9252.
[14] MA D,FANG H Y,WANG N N,et al. Automatic detection and counting system for pavement cracks based on PCGAN and YOLO-MF[J]. IEEE Transactions on Intelligent?Transportation Systems,2022,23(11):22166-22178.
[15] DU Y C,ZHONG S,FANG H Y,et al. Modeling automatic pavement crack object detection and pixel-level segmentation[J]. Automation in Construction,2023,150:104840.
[16] LI Y S,LIU C L,GAO Q,et al. Con track distress dataset:A continuous observation for pavement deterioration spatio-temporal analysis[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23(12):25004-25017.
[17] 陳偉華. 基于卷積神經網絡的路面裂縫檢測研究[D]. 廣州:廣東工業大學,2022.
CHEN W H. Research on pavement crack detection based on convolution neural network[D]. Guangzhou: Guangdong University of Technology,2022.
[18] DONG H W,SONG K C,WANG Y Y,et al. Automatic inspection and evaluation system for pavement distress[J].
IEEE Transactions on Intelligent Transportation Systems,2022,23(8):12377-12387.
[19] ZHOU W,ZHAN Y F,ZHANG H C,et al. Road defect detection from on-board cameras with scarce and cross-domain data[J]. Automation in Construction,2022,144:104628.
[20] AMERICAN ASSOCIATION OF STATE HIGHWAY AND TRANSPORTATION OFFICIALS(AASHTO). AASHTO guide for design of pavement structures[M]. Washington,D.C.:AASHTO,2002.
[21] 啜二勇. 國外路面自動檢測系統發展綜述[J]. 交通標準化,2009,204:96-99.
CHUO R Y. Review on the development of automatic pavement detection system abroad[J]. Transportation Standardization,2009,204:96-99.
[22] KIMJ Y. Development of new automated crack measurement algorithm using laser images of pavement surface[D].Iowa:The University of Iowa,2008.
[23] TOSHIHIKO F,KEIJI T,MAKOTO N,et al. Automatic pavement distress survey system[J]. Journal of Transportation Engineering,1990,116(3):280-286.
[24] 梁昌華. 淺議路面雷達在路面無損檢測中的應用[J]. 中國科技財富,2011(3):140.
LIANG C H. Briefly discuss the application of road radar in road nondestructive testing[J]. China Science and Technology Fortune Magazine,2011(3):140.
[25] 孫江偉. 基于車載移動設備震動信號的路面缺陷檢測[D]. 北京:北京交通大學,2022.
SUN J W. Pavement defect detection based on vehicle-mounted mobile devices vibration signal[D]. Beijing:Beijing Jiaotong University,2022.
[26] KELVIN C P W. Designs and implementations of automated systems for pavement surface distress survey[J]. Journal of Infrastructure Systems,2000,6(1):24-32.
[27] SJOGREN L,OFFRELL P. Automatic crack measurement in sweden[C]//Nantes:4th International Symposium on Pavement Surface Characteristics on Roads and Airfields,2000.
[28] MONTI M. Large-area laser scanner with holographic detector optics for real-time recognition of cracks in road surfaces[J]. Optical Engineering,1995,34(7):2017-2023.
[29] PYNN J,WRIGHT A,LODGE R. Automatic identification of cracks in road surfaces[C]//Manchester:7th International Conference on Image Proceeding and its Application,1999.
[30] RIEHM M,GUSTAVSSON T,BOGREN J,et al. Ice formation detection on road surfaces using infrared thermometry[J]. Cold Regions Science and Technology,2012,83/84:71-76.
[31] YANG B S,LIU Y,DONG Z,et al. 3D local feature BKD to extract road information from mobile laser scanning point cloud[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2017,130:329-343.
[32] KWANG K C P,GONG W G. Real-time automated survey system of pavement cracking in parallel environment[J].?Journal of Infrastructure Systems,2005,11:154-164.
[33] FUJITA Y,HAMAMOTO Y. A robust method for automatically detecting cracks on noisy concrete surfaces[J]. Lecture Notes in Computer Science,2009,5579:76-85.
[34] MA W H,DONG T,TIAN H,et al. Line-scan CCD camera calibration in 2D coordinate measurement[J]. Optik,2014,125(7):4795-4798.
[35] 王鑫,唐振民. 一種新的自動路面車轍檢測方法[J]. 計算機工程與應用,2008,44(10):246-248.
WANG X,TANG Z M. A new method for automatic road rut detection[J]. Computer Engineering and Applications,2008,44(10):246-248.
[36] 李清泉,毛慶洲. 車載道路快速檢測與測量技術研究[J]. 交通信息與安全,2009,27(1): 7-10.
LI Q Q,MAO Q Z. Land-borne pavement rapid test and measurement[J]. Journal of Transport Information and Safety,2009,27(1):7-10.
[37] 張全升,谷乾龍,王鵬越. 基于三維一體化公路病害檢測方法的病害決策支持系統研究[J]. 公路交通科技,2006,9:42-46.
ZHANG Q S,GU Q L,WANG P Y. Research on disease decision support system based on 3D integrated highway disease detection method[J]. Journal of Highway and Transportation Research and Development,2006,9:42-46.
[38] 賀安之. 比奇激光三維路面檢測系統之優勢[J]. 中國公路,2005,16:94-95.
HE A Z. Advantages of Biqi Laser 3D pavement detection system[J]. China Highway,2005,16:94-95.
[39] 章秀華,洪漢玉,侯佳,等. 路面破損圖像實時檢測方法研究[J]. 電子設計工程,2009,17(6):36-40.
ZHANG X H,HONG H Y,HOU J,et al. Research on real-time detection method for pavement surface distress image[J]. Electronic Design Engineering,2009,17(6):36-40.
[40] CHUA K M,XU L. Simple procedure for identifying pavement distresses from video images[J]. Journal of Transportation Engineering,1994,120(3):412-431.
[41] 李清泉,鄒勤,毛慶洲. 基于最小代價路徑搜索的路面裂縫檢測[J]. 中國公路學報,2010,23(6):28-33.
LI Q Q,ZOU Q,MAO Q Z. Road crack detection based on minimum cost path search[J]. China Journal of Highway?and Transport,2010,23(6):28-33.
[42] 楊洋. 基于分形維數的路面裂縫圖像分割方法研究[D].西安:長安大學,2014.
YANG Y. Research on road crack image segmentation method based on fractal dimension[D]. Xi′an:Chang′an University,2014.
[43] SARI Y,PRAKOSO P B. Road crack detection using support vector machine and OTSU algorithm[C]//Bali:2019 6th International Conference on Electric Vehicular Technology(ICEVT),2019.
[44] 張德津,李清泉,陳穎,等. 基于空間聚集特征的瀝青路面裂縫檢測方法[J]. 自動化學報,2016,42(3):443-454.
ZHANG D J,LI Q,CHEN Y,et al. Asphalt pavement crack detection method based on spatial aggregation features[J].?Acta Automatica Sinica,2016,42(3):443-454.
[45] FEI Y,WANG K C P,ZHANG A,et al. Pixel-level cracking detection on 3D asphalt pavement images through deep-learning-based crack Net-V[J]. IEEE Transactions on Intelligent Transportation Systems,2020,21(1):73-284.
[46] SONG W D,JIA G H,JIA D,et al. Automatic pavement crack detection and classification using multiscale feature attention network[J]. IEEE Access,2019,7:171001-171012.
[47] 趙春霞,唐振民,楊靜宇,等. N-1型道路狀況智能檢測系統[C]//廣州:中國人工智能學會第十屆全國學術年會,2003.
ZHAO C X,TANG Z M,YANG J Y,et al. N-1 style intelligent data gathering and processing system for the pavement surface detecting[C]//Guangzhou:10th National Academic Conference of Chinese Association for Artificial Intelligence,2003.
[48] 張顯安. ARAN多功能檢測車在路面檢測中的應用及探討[J]. 企業導報,2012,24:265-266.
ZHANG X A. Application and discussion of ARAN multifunctional detection vehicle in road surface detection[J].Cuide to Business,2012,24:265-266.
[49] 尚正強. PathRunner多功能檢測車正“駛入”中國:訪美國PSI(Pathway Services Inc.)公司董事長Rudy Blanco[J]. 中國公路,2007,10:74-75.
SHANG Z Q. PathRunner multifunctional detection vehicle is “entering” China-interview Rudy Blanco,president of PSI(Pathway Services Inc.) in the United States[J]. China Highway,2007,10:74-75.
[50] 馬建,孫守增,芮海田,等. 中國筑路機械學術研究綜述·2018[J]. 中國公路學報,2018,31(6):1-164.
MA J,SUN S Z,RUI H T,et al. Overview of academic research on road construction machinery in China·2018[J]. Journal of China Highway,2018,31(6):1-164.
[51] 馬玉靜,魏然,馬志才. 道路檢測車在北京郊區公路檢測評定中的應用[J]. 市政技術,2017,35(5):167-170.
MA Y J,WEI R,MA Z C. Application of road detection vehicle in beijing suburb highway[J]. Municipal Engineering Technology,2017,35(5):167-170.
[52] GIRSHICK R,DONAHUE J,DARRELL T,et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Columbus:2014 IEEE Conference on?Computer Vision and Pattern Recognition,2014.
[53] NIE M,WANG K. Pavement distress detection based on transfer learning[C]//Nanjing:2018 5th International Conference on Systems and Informatics(ICSAI),2018.
[54] KORTMANN F,TALITS K,FASSMEYER P,et al. Detecting various road damage types in global countries utilizing faster R-CNN[C]//Atlanta:2020 IEEE International Conference on Big Data,2020.
[55] 孫朝云,裴莉莉,李偉,等. 基于改進Faster R-CNN的路面灌封裂縫檢測方法[J]. 華南理工大學學報(自然科學版),2020,48(2):84-93.
SUN C Y,PEI L L,LI W,et al. Research on detection method of pavement sealing cracks based on improved Faster R-CNN[J]. Journal of South China University of Technology(Natural Science Edition),2020,48(2):84-93.
[56] CHEN D R,CHIU W M. Road crack detection using gaussian mixture model for diverse illumination images[C]// Melbourne:2020 30th International Telecommunication?Networks and Applications Conference(ITNAC),2020.
[57] KUMAR P,SHARMA A,KOTA S R. Automatic multiclass instance segmentation of concrete damage using deep learning model[J]. IEEE Access,2021,9:90330-90345.
[58] 楊微. 用于路面裂縫識別的Faster R-CNN優化算法研究[D]. 哈爾濱:哈爾濱理工大學,2022.
YANG W. Research on the optimization algorithm of Faster R-CNN for pavement crack recognition[D]. Harbin:Harbin University of Science and Technology,2022.
[59] FUJITA H,ITAGAKI M,ICHIKAWA K,et al. Fine-tuned surface object detection applying pre-trained mask R-CNN models[C]//Bandar:International Conference on Computational Intelligence(ICCI),2020.
[60] 毛鶯池,唐江紅,王靜,等. 基于Faster R-CNN的多任務增強裂縫圖像檢測方法[J]. 智能系統學報,2021,16(2): 286-293.
MAO Y C,TANG J H,WANG J,et al. Multi-task enhanced crack image detection method based on Faster R-CNN[J]. Journal of Intelligent Systems,2021,16(2):286-293.
[61] 李太文,范昕煒. 基于Faster R-CNN的道路裂縫識別[J].電子技術應用,2020,46(7):53-56.
LI T W,FAN X W. Road crack recognition based on Faster R-CNN[J]. Application of Electronic Technique,2020,46(7):53-56.
[62] ZHANG Y F,CHEN B,WANG J F,et al. APLCNet:Automatic pixel-level crack detection network based on instance segmentation[J]. IEEE Access,2020,8:199159-199170.
[63] 晏班夫,徐觀亞,欒健,等. 基于Faster R-CNN與形態法的路面病害識別[J]. 中國公路學報,2021,34(9):181-193.
YAN B F,XU G Y,LUAN J,et al. Road surface disease recognition based on Faster R-CNN and morphological method[J]. China Journal of Highway and Transport,2021,34(9):181-193.
[64] 徐觀亞. 基于Faster R-CNN與形態法的路橋表觀病害識別[D]. 長沙:.湖南大學,2020.
XU G Y. Road and bridge surface disease recognition based on Faster R-CNN and morphological method[D].Changsha:Hunan University,2020.
[65] LIU W,ANGUELOV D,ERHAN D,et al. SSD:Single shot multi box detector[C]//Amsterdam: European Conference on Computer Vision,2016.
[66] 楊婧. 基于SSD的路面破損檢測方法研究[D]. 武漢:武漢理工大學,2020.
YANG Q. Research on road surface damage detection method based on SSD[D]. Wuhan:Wuhan University of?Technology,2020.
[67] 王博,李齊,劉皎. 一種輕量級的SSD道路裂縫檢測算法[J]. 商洛學院學報,2022,36(4):83-90.
WANG B,LI Q,LIU J. A lightweight SSD road crack detection algorithm[J]. Journal of Shangluo University,2022,36(4):83-90.
[68] 趙雪寒,劉慶華. 改進SSD模型的路面病害圖像檢測系統[J]. 軟件導刊,2020,19(11):217-220.
ZHAO X H,LIU Q H. An improved SSD model for road surface disease image detection system[J]. Software Guide,2020,19(11):217-220.
[69] YAN K,ZHANG Z H. Automated asphalt highway pavement crack detection based on deformable single shot multi-box detector under a complex environment[J]. IEEE?Access,2021,9:150925-150938.
[70] 李鵬程. 基于深度學習的路面裂縫檢測方法研究[D]. 沈陽:沈陽建筑大學,2022.
LI P C. Research on road crack detection method based on deep learning[D]. Shenyang:Shenyang Jianzhu University,2022.
[71] 韋正璐,王家晨,劉慶華. 基于改進SSD算法的路面破損檢測[J]. 電子設計工程,2023,31(3):63-68.
WEI Z L,WANG J C,LIU Q H. Road damage detection based on improved SSD algorithm[J]. Electronic Design Engineering,2023,31(3):63-68.
[72] 李想,熊進剛. 基于深度學習SSD目標檢測算法的混凝土結構裂縫識別[J]. 南昌大學學報(工科版),2021,43(1):43-51.
LI X,XIONG J G. Identification of concrete structure cracks based on deep learning SSD object detection algorithm[J]. Journal of Nanchang University(Engineering &?Technology),2021,43(1):43-51.
[73] HOU Y,SHI H Y,CHEN N,et al. Vision image monitoring on transportation infrastructures:A lightweight transfer learning approach[J]. IEEE Transactions on Intelligent?Transportation Systems(Early Access),2022:1-12.
[74] REDMON J,DIVVALA S,GIRSHICK R,et al. You only look once:Unified,real-time object detection[C]//Las Vegas:2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016.
[75] 呂堅. 基于深度學習的路面裂縫檢測方法研究及實現[D]. 南京:東南大學,2019.
LYU J. Research and implementation of road crack detection method based on deep learning[D]. Nanjing:Southeast University,2019.
[76] 王成. 基于深度學習與多尺度分析的路面裂縫檢測的研究與應用[D]. 武漢:武漢理工大學,2019.
WANG C. Research and application of road crack detection based on deep learning and multi-scale analysis[D]. Wuhan:Wuhan University of Technology,2019.
[77] 陳旭丹,姜男,董麗娜,等. 基于深度學習YOLO模型的高原山區瀝青路面病害自動識別[J]. 公路交通科技,2019,15(11):75-78.
CHEN X D,JIANG N,DONG L N,et al. Automatic identification of asphalt pavement diseases in plateau mountain areas based on deep learning YOLO model[J]. Highway?Traffic Science and Technology(Applied Science Edition),2019,15(11):75-78.
[78] 鄧涵宇. 基于多尺度與機器學習的路面裂縫圖像高精度快速識別方法與應用[D]. 南京:東南大學,2020.
DENG H Y. High-precision and fast identification method and application of road crack images based on multi-scale and machine learning[D]. Nanjing:Southeast University,2020.
[79] HAMED M,YAW A G,WILLIAM G B. Deep machine learning approach to develop a new asphalt pavement condition index[J]. Construction and Building Materials,2020,247:118513.
[80] 王勇. 基于車載360°環視影像和深度神經網絡的路面坑塘與裂縫檢測[J]. 電氣自動化,2020,42(4):99-102.
WANG Y. Road pothole and crack detection based on vehicle-mounted 360° surround view images and deep neural networks[J]. Electrical Automation,2020,42(4):99-102.
[81] 王凱杰. 面向路面病害檢測的YOLO算法改進研究[D].武漢:華中科技大學,2020.
WANG K J. Research on improvement of YOLO algorithm for road surface disease detection[D]. Wuhan:Huazhong?University of Science and Technology,2020.
[82] LI S W,GU X Y,XU X R,et al. Detection of concealed cracks from ground penetrating radar images based on deep learning algorithm[J]. Construction and Building Materials,2021,273:121949.
[83] 李樹偉. 基于探地雷達和超聲波法的路面無損檢測技術研究[D]. 南京:東南大學,2021.
LI S W. Research on non-destructive testing technology of road surface based on ground penetrating radar and ultrasonic method[D]. Nanjing:Southeast University,2021.
[84] 姜烊. 混凝土裂縫圖像識別算法的精度研究[D]. 重慶:重慶交通大學,2022.
JIANG Y. Accuracy study of concrete crack image recognition algorithm[D]. Chongqing:Chongqing Jiaotong University,2022.
[85] ZHANG Y C,ZUOZ W,XU X B,et al. Road damage detection using UAV images based on multi-level attention mechanism[J]. Automation in Construction,2022,144:104613.
[86] ZHANG R,SHI Y X,YU X Z. Pavement crack detection based on deep learning[C]//Kunming:33rd Chinese Control and Decision Conference(CCDC),2021.
[87] 余俊英. 基于YOLO的公路路面病害檢測方法研究[D].南昌:華東交通大學,2022.
YU J Y. Research on highway pavement disease detection method based on YOLO[D]. Nanchang:East China Jiaotong University,2022.
[88] YANG Z,NI C S,LI L,et al. Three-stage pavement crack localization and segmentation algorithm based on digital image processing and deep learning techniques[J]. Sensors,2022,22(21):1-31.
[89] 李鑫. 基于深度學習的公路路面裂縫檢測[D]. 武漢:華中科技大學,2021.
LI X. Road pavement crack detection based on deep learning[D]. Wuhan:Huazhong University of Science and?Technology,2021.
[90] 孫偉凱. 基于深度學習的高分辨率圖像裂縫檢測研究[D]. 濟南:山東大學,2021.
SUN W K. Research on high-resolution image crack detection based on deep learning[D]. Jinan:Shandong University,2021.
[91] SHU Z K,YAN Z Y,XU X H. Pavement crack detection method of street view images based on deep learning[C]//Journal of Physics:Conference Series. IOP Publishing,2021,1952(2):022043.
[92] 梁槚. 瀝青路面裂縫智能化檢測關鍵技術研究[D]. 南京:東南大學,2021.
LIANG J. Research on key technologies of intelligent detection for asphalt pavement cracks[D]. Nanjing:Southeast University,2021.
[93] 仝澤興,雷斌,蔣林,等. 路面裂縫檢測融合分割方法[J].無損檢測,2023,45(1):1-7.
TONG Z X,LEI B,JIANG L,et al. Fusion segmentation method for road surface crack detection[J]. Nondestructive?Testing,2023,45(1):1-7.
[94] WANG S K,CHEN X Q,DONG Q. Detection of asphalt pavement cracks based on vision transformer improved YOLOv5[J]. Journal of Transportation Engineering,Part B:Pavements,2023,149(2):563-575.
[95] VASWANI A,SHAZEER N,PARMAR N,et al. Attention is all you need[C]//Long Beach:31 st Conference on Neural Information Processing System(NIPS),2017.
[96] XU Z S,GUAN H Y,KANG J,et al. Pavement crack detection from CCD images with a locally enhanced transformer network[J]. International Journal of Applied Earth?Observation and Geoinformation,2022,110(12):102825.
[97] 劉軍,王慧民,張興忠,等. 基于Transformer的端到端路面裂縫檢測方法[J]. 太原理工大學學報,2022,53(6):1143-1151.
LIU J,WANG H M,ZHANG X Z,et al. End-to-end road crack detection method based on Transformer[J]. Journal of Taiyuan University of Technology,2022,53(6):1143-1151.
[98] 陳虹嘉. 基于激光線掃描數據的路面紋理分析研究[D].武漢:武漢大學,2022.
CHEN H. Research on road texture analysis based on laser line scanning data[D]. Wuhan:Wuhan University,2022.
[99] XIAO S Z,SHANG K K,LIN K,et al. Pavement crack detection with hybrid-window attentive vision transformers[J]. International Journal of Applied Earth Observation and Geoinformation,2023,116:1-11.
[100] GUO F,QIAN Y,LIU J,et al. Pavement crack detection based on transformer network[J]. Automation in Construction,2023,145:1-12.
[101] 許正森,雷相達,管海燕. 多尺度局部特征增強Transformer道路裂縫檢測模型[J]. 中國圖象圖形學報,2023,28(4):1019-1028.
XU Z S,LEI X D,GUAN H Y. Multi-scale local feature enhanced Transformer model for road crack detection[J]. Journal of Image and Graphics[J]. 2023,28(4):1019-1028.
[102] 楊澤. 基于深度學習的路面裂縫提取關鍵技術研究[D].太原:太原理工大學,2022.
YANG Z. Research on key techniques of road crack extraction based on deep learning[D]. Taiyuan:Taiyuan University of Technology,2022.
[103] GUO F,LIU J,LV C S,et al. A novel transformer-based network with attention mechanism for automatic pavement crack detection[J]. Construction and Building Materials,2023,391:131852.
[104] LIN C M,TIAN D X,DUAN X T,et al. Trans crack:Revisiting fine-grained road crack detection with a transformer design[J]. Philosophical Transactions. Series A,Mathematical,Physical,and Engineering Sciences,2023,381(2254):20220172.
[105] SUN Z Y,ZHAI J Z,PEI L L,et al. Automatic pavement crack detection transformer based on convolutional and sequential feature fusion[J]. Sensors,2023,23(7):3772.
[106] 李海豐,范天嘯,黃睿,等. 聯合Self-attention與Axial-attention的機場跑道裂縫分割[J]. 鄭州大學學報,2023,55(4):30-38.
LI H F,FAN T X,HUANG R,et al. Airport runway crack segmentation using joint Self-attention and Axial-attention[J]. Journal of Zhengzhou University,2023,55(4):30-38.
[107] CHEN J Z,ZHAO N,ZHANG R H,et al. Refined crack detection via LECSFormer for autonomous road inspection vehicles[J]. IEEE Transactions on Intelligent Vehicles,2023,8(3):2049-2061.
[108] GUO J M,MARKONI H. Transformer based refinement network for accurate crack detection[C]//Ho Chi Minh?City:2021 International Conference on System Science and Engineering(ICSSE),2021.
[109] MEHAJABIN N,MA Z C,WANG Y X,et al. Real-time deep learning based road deterioration detection for smart cities[C]//Thessaloniki:2022 18th International Conference on Wireless and Mobile Computing,Networking and Communications(WiMob),2022.
[110] YU M,WU D C,RAO W Y,et al. Automated road crack detection method based on visual transformer with multi-head cross-attention[C]//Chongqing:2022 IEEE International Conference on Sensing,Diagnostics,Prognostics,and Control(SDPC),2022.
[111] FANG J,YANG C,SHI Y T,et al. External attention based TransUNet and label expansion strategy for crack detection[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23(10):19054-19063.
[112] XING J,LIU J,ZHANG G Z. Improved YOLOv5-based UAV pavement crack detection[J]. IEEE Sensors Journal,2023,23(14):15901-15909.
[113] LIU H J,MIAO X Y,MERTZ C,et al. Crack former: transformer network for fine-grained crack detection[C]//Montreal:2021 IEEE/CVF International Conference on Computer Vision(ICCV),2021.
[114] WANG Z W,FENG J,ZHANG T. Asphalt pavement crack image screening by transformer-based model[C]//Shijiazhuang:2022 International Conference on Computer Engineering and Artificial Intelligence(ICCEAI),2022.
[115] JIN X T,BU J J,YU Z,et al. FedCrack:Federated transfer learning with unsupervised representation for crack detection[J]. IEEE Transactions on Intelligent Transportation Systems,2023,24(10):11171-11184.
[116] XIANG X Z,WANG Z Y,QIAO Y L. An improved YOLOv5 crack detection method combined with transformer[J]. IEEE Sensors Journal,2022,22(14):14328-14335.
第一作者:易鈺程(1985—),男,講師,博士,碩士生導師,研究方向為智能信號處理,多模信息融合,通信與雷達系統。E-mail:ycyi@ecjtu.edu.cn。
通信作者:朱路(1976— ),男,教授,博士,碩士生導師,研究方向為物聯網、圖像處理、信號處理、機器學習、以及深度學習等。E-mail:lzhu@ecjtu.edu.cn。
(責任編輯:吳海燕)