基于車載遙感影像的高速公路廣告牌破損檢測方法及應用

朱建偉,李朝奎,周新邵,趙丁瑩,傅開鴻

(1. 湖南科技大學測繪遙感信息工程湖南省重點實驗室,湖南 湘潭 411201; 2. 湖南科技大學地理空間信息技術國家地方聯合工程實驗室,湖南 湘潭 411201; 3. 湖南城市學院信息與電子工程學院,湖南 益陽 413000; 4. 湘潭大學土木工程與力學學院,湖南 湘潭 411201)

“十三五”時期,全國公路總里程接近520萬km,高速公路通車里程達16.1萬km。每年高速公路廣告牌投放已占我國戶外廣告媒體投放金額總數的50%以上。各省高速沿線廣告管理政策正在加速完善,如2021年11月3號湖南省人民政府辦公廳印發的《湖南省經營性高速公路項目管理辦法》。根據我國公路建設的方針,計劃約用30年的時間建成“五縱十橫”共12條路線,建成后,將連接全國43%以上的城市,覆蓋人口約6億人。面對如此龐大的市場和受眾,圍繞高速公路產生的廣告形式,將日趨完善和標準化,也對其管理提出了更高的要求。目前高速公路管理局對廣告牌的主要管理形式為巡檢人員沿線驅車,逐一下車拍照及目視檢查,該方式存在嚴重的安全隱患且信息反饋遲緩、成本高。因此,建立一個集成智能巡檢與自動化信息處理的廣告牌管理系統已經成為當下迫切的需求。在無人機駕駛技術研究熱潮下,環境感知與數字圖像處理提供了新的思路。

全球經濟蓬勃發展,對社會設施、生產設備等維護和更新的效率與成本提出了更高的要求。由此基于計算機視覺的破損目標檢測已逐步應用于社會的各個角落。文獻[1]設計了基于無人機系統(UAS)的堤壩損口檢測方法,核心是比較由UAS獲取的兩種類型的多時態數據建立DTM模型。文獻[2]提出了一種基于改進自回歸模型的Lamb波信號Wigner-Vill時頻分析方法,可高效檢測金屬或復合材料中的結構缺陷。文獻[3]通過VMD將切削振動信號分解成若干個模態分量,提取各模態分量的中心頻率和能量組成特征向量,最終由SVM進行銑刀的破損檢測。文獻[4]將改進的K-mean聚類算法和引入α平衡因子的YoLov4算法,應用于集裝箱的破損檢測并取得了良好的效果。文獻[5]在路面破損檢測中采用區別于基于像素的處理方法,基于塊進行Haar小波變換,自適應分割提取初始區域并逐級迭代小波域系數,取得了良好的分割效果。但目前破損檢測在高速公路廣告牌維護管理中的應用研究較少。結合車載遙感平臺,對實時采集的廣告牌影像進行自動化破損檢測,可省去人工巡檢駐車目視檢查拍照等環節,極大地提高作業的安全性和效率。本文以車載遙感平臺代替人工駐車獲取廣告牌實時信息,以數字圖像處理代替人工問題甄別,通過圖像識別技術檢測廣告牌影像中破損目標的方式,為搭建智能巡檢系統提供良好的技術支持。

1 研究方法

文獻[6]提出SIFT算法后,諸多學者在此基礎上發展出了適合各種應用場景的改進算法[7-11]。遙感高速公路廣告牌影像具有空間分辨率高、地物豐富的特點。傳統SIFT遙感影像匹配的需求是檢測具有盡可能多的描述子[12]。但本文應用以檢測廣告牌單體為主,在大量的背景信息中生產的描述子均存在冗余。改進方法為:首先,在SIFT高斯差分空間極值點選取之前,通過離散余弦變換將圖像的光強數據轉換為頻譜數據,再進行門限操作篩除高頻系數;然后運用RANSAC穩健方法計算整體透視變換測試模型,迭代計算出最佳模型匹配點并進行精匹配。

同一廣告牌首次安裝時采集的影像與車載平臺巡檢時同機位拍攝的影像組成檢測像對。具體方法:①改進的SIFT算法分別檢測模板圖與目標圖中的描述子,并生成對應的特征描述;②圖像像素對齊,SIFT特征點組成初始內點集,利用RANSAC構建測試模型篩選最優匹配點并進行精匹配;③圖像減法,模板圖與目標圖相減后再相加,然后通過形態學處理剔除細小的噪聲,提取標記好的連通域。

1.1 SIFT改進策略

(1)離散余弦變換。離散余弦變換先將光頻信號轉化為頻率信號再進行門限操作,優異的去相關性非常適用于處理遙感影像中多尺度的地物信息。

將圖像分割成16×16的小塊;對每個小塊進行DCT變換后獲得對應不同光頻尺度的能量系數。一維DCT變換公式為

(1)

(2)

式中,f(i)和F(u)分別為某點原始的光強信號值和離散余弦變換后的頻譜能量系數;N和c(u)分別為點數和補償系數。進而二維正變換為

(3)

式中,f(i,j)、F(u,v)分別為初始信號值和離散余弦變換后的能量系數;c(u)、c(v)為補償系數。廣告牌背景中大量的邊界和紋理等聚集在高頻區域,做裁剪處理后同時保留聚集平緩區域的低頻部分,然后進行逆離散余弦變換運算,將頻率信號轉化為光強信號。

(2)尺度空間極值檢測。構建高斯金字塔,如圖1所示。運算對象的尺度空間L(x,y,σ)定義為函數I與尺度可變換的高斯函數G(x,y,σ)的卷積運算,公式為

圖1 高斯差分金字塔

(4)

式中,(x,y)為像素坐標;σ為空間尺度因子;L( )為高斯尺度空間。在不同高斯尺度空間均未被篩除的點即為特征點。極值檢測采用DOG算子,在檢測高斯極值點時,需要將同一影像分離的兩個相鄰的一維高斯模板分別進行高斯濾波后再作差。公式為

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]·

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(5)

每個像素點均與其具有三維相鄰關系的26個像素點進行比較,若在多個尺度下均能保證是最大值或最小值,則認為是一個穩定的極值點。如圖2所示,相鄰三層DOG之間,尋找中間層的極值點。

圖2 DOG尺度空間極值點檢測

(3)特征方向賦值。對特征點進行方向賦值以保證圖像平移或旋轉不變性。方法是求得各點L(x,y)的梯度的模m及方向θ,公式為

(6)

計算時分別對特征點鄰域像素進行采樣,同時統計各樣本所對應的梯度方向直方圖。將所有可能的方向以每10°為一個方向區間進行統計,共36個可能的方向。特征點領域梯度直方圖中,每個柱的方向和高低分別表示像素點的梯度和幅值。統計直方圖的能量峰值方向并賦值為該特征點的主方向。圖3為通過簡化的7個方向梯度統計方向直方圖且給描述點進行方向賦值的例子,第二柱賦值為該點的主方向。

圖3 建立特征點方向

(4)生成關鍵點描述符。描述符即完整描述某特征點的SIFT特征向量。將特征點領域均分邊長為3σ的16個正方形子域?？紤]實際計算時,需進行三次線性插值,因此特征點鄰域為3σ(d+1)·3σ(d+1)的范圍(如圖4所示圓的范圍),d為任一方向上的子域數量,取d=4,旋轉坐標軸與特征點主方向一致。在求取某特征點鄰域范圍中各子域內像素的梯度幅值后進行高斯加權,再插值計算確定每一特征點的8個梯度方向,則每個描述子由128維特征向量表述,最終進行歸一化處理,如圖4所示。

圖4 關鍵點描述符

1.2 圖像像素對齊

應用中模板圖像是廣告牌安裝時獲取的,目標圖像是巡檢時獲取的,均是基于車載遙感平臺在相同參數、同一相機和視角條件下獲取的,改進的SIFT算法獲取關鍵點描述子。分別對模板圖和實時圖建立關鍵點描述子合集。采用K近鄰法匹配模板圖與目標圖中若干對應的描述子。

確定若干對匹配的描述子后,目標圖像通過單適應矩陣進行幾何變換對齊模板圖。表述為

(7)

式中,(x1,y1,1)和(x2,y2,1)分別表示對應像素的齊次坐標;H為單適應矩陣。

解算單適應矩陣需8個方程,每個像素由二維坐標表述,故需要抽取最佳的4個像素。采用RANSAC方法對4個基準像素點進行選取。該算法能在兩個交互的不同點集中,精確地擬合出所需點集的描述模型。通過RANSAC方法從描述子中對集合抽取4個不共線的樣本,計算H矩陣以構建出測試模型。計算符合該模型的點量與投影誤差,所得投影誤差最小即為最優模型,公式為

(8)

通過上述函數精選出模板圖和目標圖中最佳的特征匹配對,采用warpPerspective函數對目標圖像投影映射,函數公式為

(9)

如圖5所示,(c)為(b)照準(a)后的結果。

圖5 圖像像素對齊

1.3 目標提取

兩張圖像對齊后迥異的連通域是目標區域,即廣告牌的破損區域。若僅對模板圖與目標圖作差,多數情況下會導致結果為負數,損失信息。解決方法是將模板圖與目標圖互相相減,然后再相加,得到迥異的連通域,算法處理結果如圖6所示。

圖6 迥異連通域

再對初步結果進行如下處理:①通過灰度轉化,降低灰度值像素的影響,增強高灰度值像素;②采用中值濾波法去除灰度轉換后較小的噪聲點;③利用區域形態學,使像素歸一化,去掉邊界;④標記。經過上述處理后便可進行連通域的提取并輸出廣告牌中的破損部分。

2 試驗分析

目標檢測算法的有效性驗證需要大量樣本,本文目前還未找到相應的成熟的測試數據集,而廣告牌不同時期且有破損的目標影像的采集需要非常久的數據樣本的積累。本文在模擬試驗與自建庫的基礎上,參照醫院影像識別中的階梯設計的整群隨機對照試驗(SW-CRT)思想,該方法對現實條件受限或“利大于弊”的干涉政策等評定非常穩健,開發工具為Matlab 2016a。高炮廣告牌模型比列為8∶1,人工植入破損模擬建立檢測對象。車載相機型號為DSC-RX1RM2,分辨率為4020萬像素,焦距為35 mm。

原始數據按影像信息復雜度將驗證數據分為三級:一級為廣告牌原始底圖;二級為地物較少的遙感影像;三級為地物豐富的遙感影像。影響因子設為Δ,通過人工統計同一目標不同復雜度背景中的地物數量,求取該數量相互比例以確定不同級別的原始數據所對應的權重因子,即ΔⅠ=0.2,ΔⅡ=0.3,ΔⅢ=0.5。

針對不同大小的模擬破損區域設置權重,可以使總體模型更加注重明顯破損區域及小目標。將模擬破損區域按從小到大分為ⅰ、ⅱ、ⅲ3個級別,越小的破損目標識別難度越大。設目標區域大小對精度判定的置信度為?,以獨立性權重思想進行定權。其中,基于不同復雜度設置三級指標,以目標檢測交并比確定復相關系數,結果見表1。

表1 獨立性權重法定權

故?ⅰ=0.5,?ⅱ=0.3,?ⅲ=0.2。在不同背景復雜度的廣告牌影像中,隨機植入1～10個不同級別的破損目標區域。各采集50對不同復雜度的遙感影像進行建庫?？傮w精度評定模型為

(10)

式中,A、B、C為分對應Ⅰ、Ⅱ、Ⅲ級數據中植入的破損區域的數量;a、b、c為相對應的算法檢測到的目標數量,結果見表2。

表2 算法精度評定

試驗結果表明,該方法在高速公路廣告牌破損目標快速檢測應用上是穩健的。在最復雜背景中植入最多數量的破損區域的干擾條件下,檢測精度也能保證在80%以上,完全滿足該應用方向的實際需求。該方法對高速公路廣告牌智能巡檢系統的搭建提供了有力的支持。部分具有代表性的結果如圖7所示。

圖7 部分試驗成果

3 結 語

本文設計了基于車載遙感影像的高速公路廣告牌破損快速檢測方法,結合快速處理影像的實際需求,對經典的SIFT圖像匹配算法進行了改進。在SIFT高斯差分空間極值點選取之前通過離散余弦變換,將圖像的光強數據轉換為頻譜數據并進行門限操作篩除高頻系數,剔除了大量需要檢測的背景冗余信息的特征點,在滿足檢測精度需求的情況下,大大提高了計算效率。采用RANSAC隨機抽取匹配點計算單適應矩陣生成測試模型,再選取最優點進行精匹配,壓縮了算法體積。基于高速公路廣告牌巡檢需求與廣告牌自身特點,對現有圖像匹配算法進行了針對性的改進和優化,實現了車載遙感廣告牌數據破損目標的高精度提取,為當下高速公路廣告牌巡檢的應用需求提供了新的思路與技術支撐。