監控視頻中交通標線的強魯棒性定位與重建(以雙黃線為例)

申小虎，安居白

(1. 大連海事大學信息科學與技術學院，遼寧 大連 116026；2. 江蘇警官學院刑事科學技術系，江蘇 南京 210031)

1 引言

雙黃線等交通標線定位與重建在交通違章行為的智能判定、統計車道線污損率等研究領域具有基礎性研究價值。但由于受到建設條件的限制，交通監控視頻中車道線目標容易受到污損、遮擋、惡劣天氣等復雜監控場景的影響，現有檢出與分割方法容易產生較大概率的漏檢與錯檢，魯棒性不強。

在交通監控視頻中的車道線分類檢出領域，學者錢將傳統圖像增強算法與深度網絡模型訓練相結合，端到端的解決復雜道路場景下的車道線目標檢出問題[1]。龐等人則提出一種語義分割神經網絡，通過逐層融合車道線邊緣特征同時建立跨層的語義連接實現了車道線的準確分類[2]。目前基于深度學習方法下提取的高維特征在目標檢測分類上具有良好的性能，但在目標精確分割問題上主流算法仍是依賴于低層統計特征。學者徐等人通過變形Sobel算子擴充雙黃線區域紋理得到雙黃線區域位置，進而使用Hough直線變換方法對雙黃線進行分割[3]。熊等人提出了一種基于彩色檢測線的線間差分與灰度幀差統計法相結合的改進混合型方法，減少陰影對雙黃線檢測精度的影響[4]。上述方法在目標定位均取得了不錯的效果，但在目標邊緣分割抗噪性較差。同時，基于紋理特征提取和基于詞袋(BOW)模型的對象分類分別在海冰分割、輸電線檢測、地形測繪等領域下的目標分割與分類領域取得過良好的結果[5-11]，為解決本文問題提供了豐富的思路。

基于上述討論，本文使用一種由粗至精的策略，依次利用了運動關系特征、局部特征、顏色紋理特征和形狀特征來提升監控視頻目標分割重建的魯棒性。首先，利用基于混合高斯模型的方法去除運動目標干擾，得到輸入視頻的靜態背景圖像。其次，為去除背景圖像中的環境噪聲干擾，采用詞袋BOW模型提取雙黃線目標Sift特征，并使用多核支持向量機(SVM)分類器[5]進行監督學習得到僅包含雙黃線目標與周邊路面的感興趣區域。接著，使用基于顏色紋理特征聚類的方法對感興趣區域圖像中的雙黃線目標進行分割，并通過形態學處理消除磨損式雙黃線的影響。最后，采用基于最小二乘法的曲線擬合方法對雙黃線的截斷部分進行定位重建。本文使用Python進行了仿真實現，并對現有方法進行了實現并比較。實驗結果表明，該方法能夠在殘缺雙黃線條件下有效完成定位與重建，提升了目標分割精度與魯棒性。

2 相關關鍵技術

2.1 混合高斯模型

在智能交通場景中，由于背景像素點具有多峰特性，為解決光線變化、視頻畫面抖動帶來的干擾，常常利用混合高斯模型進行背景建模。由于任何分布函數均可由多個高斯分布函數的線性的加權組合進行描述，假定視頻幀中坐標為(x，y)的像素點p在t時刻的像素值為Mt，并用k個高斯分布的加權混合來描述像素值隨時間變化的隨機過程，則其概率分布可表示如下

(1)

其中wt，i為t時刻混合高斯模型第i個高斯分布的權重，η為高斯分布的概率密度函數，具體公式如下

(2)

上述公式中的μ為各彩色通道分量組成的矢量，c為各顏色分量的協方差矩陣，可具體表示為

(3)

其中E為單位矩陣。與Mt相匹配的高斯分布的各參數更新過程為

μt，i=(1-ρ)·μt，i+ρ·Mt

(4)

(5)

(6)

其中ρ為參數更新速率，λ為高斯分布權值的更新速率，取值范圍均為[0，1]。

2.2 詞袋Bow模型

Bow模型最初應用于大規模文檔集的文本統計建模，后延伸至圖像目標分類研究領域[9]。Bow模型在圖像分類中，將目標圖像分成若干區域塊，并將它們量化為離散的“視覺單詞”，得到圖像中所有待識別目標的特征向量直方圖后進行分類，具體步驟如下：

1)圖像塊的檢測與描述

通常使用SIFT、SUFR等算法提取訓練樣本圖像塊中的特征向量，得到具有光照不變性的高魯棒性圖像特征。

2)詞典構建

采用非監督學習的K均值算法構建詞典。該方法首先隨機初始化K個聚類中心，并計算各特征點到K個聚類的歐式距離最小值

(7)

根據距離計算結果將特征點Xi賦與聚類Yk。針對生成的各個聚類，重新計算聚類中心。迭代重復上述操作，直至算法收斂。

3)計算圖像特征直方圖

將圖像的特征點聚類到生成的聚類中心(詞典)，同時統計落入每個詞典中的特征點的個數，特征匹配上采用快速滑動窗口策略，窗口滑過目標區域的同時，提取該目標區域的特征描述符并依次與Bow模型中的視覺單詞進行匹配，統計詞表中每個單詞在滑動窗口區域圖像中出現的次數，得到詞頻直方圖，即圖像特征直方圖。同時構造視覺單詞到圖像的索引，根據索引結果進行直方圖匹配得到圖像的分類。

2.3 顏色共生矩陣(CCM)

基于灰度級的圖像分割方法僅適用于灰度圖像，但面對信息更豐富的彩色圖像，可分別處理不同的彩色圖像通道，然后通過各種策略獲得分割結果。圖像紋理反應了圖像灰度在空間維度上的變化關系，因此在圖像處理領域，顏色共生矩陣往往被用于提取彩色圖像的局部紋理特征信息[15]。

顏色共生矩陣通過計算水平、垂直、雙方向對角線上的像素對出現的聯合概率密度來定義一個二階統計特征，反映了圖像顏色、亮度與相同顏色亮度的像素間的分布特性，即計算不同獨立顏色分量的聯合概率密度的共生矩陣，類似于顏色直方圖特征。顏色共生矩陣可由各顏色空間下的不同分量組成，假定同一顏色空間下的任意兩個顏色分量為α、β，顏色共生矩陣需對像素顏色分量α中分量值為i，同時像素顏色分量β中分量值為j的像素點進行計算，具體公式如下

(8)

其中Δx和Δy分別表示像素原點在橫坐標和縱坐標上的增量。得到顏色紋理特征后，需要對各特征矩陣進行統計。典型常用的四個不具備相關性的特征統計值分別為逆差矩(I)、對比度(C)、能量(S) 和熵(E)[13]，其實現算法如下

(9)

(10)

(11)

(12)

其中p(i，j)代表相同顏色空間下像素對出現的聯合概率密度，D為各顏色分量的量化級數，μ和σ分別表示均值和方差。

3 視頻監控中雙黃線目標的定位與重建方法

本文設計使用的雙黃線目標定位重建算法(MG-BCF)流程如圖1所示，該方法主要分為視頻處理與圖像處理兩個部分。其中視頻處理部分主要提取視頻場景背景圖像，圖像處理部分則依次執行提取ROI區域、雙黃線分割、目標重建三個步驟。其中在感興趣區域提取步驟，需對雙黃線樣本進行有監督的學習訓練建模。

圖1 本文提出的雙黃線定位與重建方法(MG-BCF)

3.1 視頻背景圖像提取

設計使用基于混合高斯模型的平均背景法從動態視頻中提取靜態背景去除運動前景目標，減少背景圖像中干擾因素，有效提升雙黃線等靜態目標的檢測精度。視頻中各視頻幀圖像的每個像素點的值隨時間呈現高斯分布，即像素值均圍繞某一中心值(均值)并在一定距離(方差)內分布。同時為應對視頻畫面抖動、光照短時間內緩慢變化等問題，通常選擇使用混合高斯模型來解決背景像素點的多峰特性問題，主要步驟：

1)取輸入視頻的第一幀圖像的各像素點灰度值設定為均值的初始值，同時設定方差初始值為15，高斯分量個數初始值為1，權重為0.001；

2)將當前圖像幀像素點p在t時刻的像素值Mt與已有的高斯分量依次進行匹配

|Mt-μt，i|<2.5σt，i

(13)

如滿足上述匹配條件，參照式(4)-(6)根據當前像素值不斷迭代更新調整第i個高斯模型的參數和權重。如果不滿足，則進入步驟3)；

3)建立新的高斯分量模型，并初始化參數。同時判斷當前高斯分量個數是否達到高斯分量個數上限，如果i=k，刪除最小權值w所對應的高斯分量模型；

4)通過判斷各高斯分量的權值與閾值T得到t時刻的背景圖像Bt，閾值T設定為0.75

(14)

5)得到不同時刻的多個背景模型后，求多幀背景圖像平均得到最終的視頻背景靜態圖像。

B=Avg(Bt)

(15)

圖2 從監控視頻中提取到的靜態背景圖像

3.2 提取感興趣區域(ROI)

通過視頻的背景圖像提取，時序視頻幀計算問題轉變為靜態圖像處理的問題。針對監控視頻背景圖像，本文設計使用基于Sift特征的Bow詞袋模型對背景圖像的ROI區域進行檢索，即對雙黃線目標位置進行粗略估計。由于BOW模型主要基于目標的局部特征進行檢索分類，而不考慮局部特征間的空間關系，因此對各類污損條件下不完整車道線圖像漏檢率較低，并且可消除雙黃線目標周圍的圖像噪聲。

在目標檢索問題上傳統SIFT特征優于Dense-SIFT特征的表現，因此利用Opencv提取標準Sift特征生成局部特征描述子并利用K均值算法進行聚類，迭代計算得到聚類中心個數(詞典中的視覺單詞個數)為5。作為SVM分類器輸入，所有詞頻直方圖均通過min-max方法進行了歸一化處理。同時ROI區域匹配上采用滑動窗口操作，以1920×1080分辨率的圖片條件下，采用240×120的區域滑動窗口，窗口依照從上至下，從左至右的方向依次滑過背景圖像。對于每一個滑動區域，使用訓練好的SVM進行分類；如匹配成功則該窗口區域定義為ROI區域。圖3顯示了某候選區域的匹配過程與最終得到的感興趣ROI區域。

圖3 從背景圖像中提取感興趣雙黃線區域

將線性不可分的數據映射到高維特征空間并可分時，SVM核函數的選擇決定了系統的分類精度。作為主流核函數，多項式核函數和高斯RBF核函數間存在互補特性，實驗證明，通過將泛化能力較強的多項式核函數與學習能力較強的高斯核函數結合起來，得到的混合高斯函數兼備良好的外推能力和內推能力[5]。如式(16)所示，在SVM核函數的選擇上，本文使用了由多項式核函數、高斯核函數組合構建混合核函數用于解決非線性劃分和二維模式分類問題。

Kcom=αKp+(1-α)Kr

(16)

其中Kp、Kr分別表示多項式核函數和高斯RBF核函數，表示多項式核函數的權重系數。利用交叉驗證方法進行權值優化，得到=0.89時，驗證精度最高。ROI區域提取結束后，去除了圖像中例如周邊建筑、路燈等非路面目標，得到了主要由雙黃線目標與路面背景組成的區域圖像，為下一步進行目標分割減少了干擾因素。

3.3 雙黃線目標分割

雙黃線等交通標線由于受到對受光照不均勻、污損、積水反光等情況的影響，背景圖像中的雙黃線目標可能會具有不同的顏色信息，同時還造成二值化圖像中車道線邊緣極不規則，因此傳統的Candy檢測與Hough變換方法在直線檢出上精確度不高，本文設計使用顏色共生矩陣(CCM)提取雙黃線目標特征，并進行邊緣分割。計算顏色共生矩陣時，本文將圖像空間顏色分量的量化級數定義為16，得到16×16的共生矩陣。為增加紋理特征的光照不變性，未采用亮度顏色分量，同時考慮到RGB顏色空間下三種顏色分量存在線性相關，本文最終選用RGB空間的R、G，Lab空間的a *、b *與HSI空間的H和S共9個顏色分量作為顏色聚類空間的組成，定義為[Frr，Frg，Fgg，Faa，Fab，Fbb，Fhh，Fhs，Fss]。圖4展示了雙黃線目標圖片的各顏色分量。

圖4 雙黃線目標圖片各顏色分量

通過對雙黃線圖像樣本的分析，提取ROI區域內有效區分雙黃線和路面背景的顏色特征。在中心像素的0°、45°、90°與135°四個方向上分別計算CCM可得到各顏色分量直方圖，進一步根據式(9)-(12)計算4個特征統計值[14]，最終得到36維的特征向量。最后再根據K均值非監督聚類算法，通過計算不同區域(點)的CCM特征矩陣之間的歐式距離進行圖像區域的分割。

針對分割后圖像中仍存在噪點且部分雙黃線目標像素分布較離散的問題，可利用形態學處理中的開操作消除分散的路面噪點，閉操作來將某些區域連接在一起擴大顏色聯通區域集面積，避免因雙黃線磨損所導致的紋理特征不清晰造成目標丟失的情況。使用的形態圖像處理依次進行1次開操作與2次閉操作的方式，采用橢圓核結構元素，核大小定義為6×6。雙黃線目標的最終分割效果如圖5所示。

圖5 雙黃線部分污損區域分割的細節效果

3.4 雙黃線目標的重建

經過顏色紋理特征聚類與形態學處理后，雖然能夠消除雙黃線磨損部位對于目標分割帶來的影響，但是雙黃線截斷式部位依然存在，因此需要根據已有的雙黃線封閉區域進行重建。雙黃線幾何形狀在大多數條件下為直線，也會存在彎曲雙黃線的情形，因此本文采用基于最小二乘法的曲線擬合對截斷部位進行回歸計算。設分割后各連通區域的質心集合為T，離散的質心點個數為N

T={(xi，f′i)}i∈(1，N)

(17)

擬合多項式函數與誤差函數分別為

(18)

(19)

代碼實現上使用Numpy庫的polyfit函數，同時為防止高階多項式出現曲線擬合問題，根據所得到的雙黃線樣本的幾何形態，多項式階數m設定為3，質點的個數不小于4，得到的曲線方程為

y=ax3+bx2+cx+d

(20)

其中a、b、c、d為求得三次多項式函數的參數實數，當雙黃線圖像為直線時，a=b=0。根據前圖例中所得到的擬合曲線如圖6所示。

圖6 計算得到的三次多項式擬合曲線例

接著通過Hough直線檢測[17]得到雙黃線的邊緣基點，根據基點可將擬合曲線平移投影到雙黃線的邊緣，即

y=a(x±Δx)3+b(x±Δx)2+c(x±Δx)+(d±Δy)

(21)

其中Δx，Δy分別是雙黃線各邊緣與擬合曲線間的偏移橫坐標與縱坐標。重建后的雙黃線圖像如圖7所示。

圖7 雙黃線重建效果

4 對比實驗

本文實驗所用雙黃線圖像來源于宿遷市公安局視頻專網與北京多維視通公司提供的交通監控視頻數據，數據集對象均為CCD攝像機采錄的高清視頻，分辨率為1980×1020像素。

4.1 雙黃線定位重建結果

使用自定義的數據集中的視頻進行測試，圖8中分別為殘缺彎曲雙黃線與殘缺直線雙黃線條件下的定位重建結果。這部分實驗驗證表明，本文的算法可針對視頻集中存在遮擋、陰影、磨損等條件下的雙黃線進行有效的定位重建，取得了較好的視覺效果。

圖8 雙黃線重建效果

4.2 參數設定討論

基于BOW模型的ROI區域檢出是本文所提出的雙黃線定位重建的第一步，特別是當雙黃線區域缺損區域較多時，其作用非常關鍵。而感興趣ROI區域提取的一個重要參數是BOW模型中視覺單詞個數。視覺單詞數量決定著目標識別的精確度，而感興趣區域提取的結果則直接影響下一步紋理特征提取范圍。本文針對視覺單詞數量為2～8的條件下，評估其性能，如圖9所示。

圖9 算法準確率與計算時間的交叉驗證

可以看出，召回率和精確度與視覺單詞數個數均呈現正相關關系。同時使用本文所提算法依次測試其性能和計算時間。圖9同時也表明，計算時間會隨著視覺單詞數量的增加而迅速增加。因此，基于權衡考慮算法精度與計算成本的前提下，根據上述交叉驗證方法最終確定視覺單詞的數量為5。

4.3 算法檢測準確性評估

為驗證本文所提出雙黃線定位與重建方法的有效性，將部分視頻中的清晰完整的雙黃線作為基準模板，并對其進行了遮擋或軟件處理模擬殘缺雙黃線用于實驗測試，同時利用現有數據集對重建效果的與精度值(Precision) 與召回率(Recall)進行了評估

Precision=T P/(T P+F P)

(22)

Recall=T P/(T P+F N)

(23)

其中TP為重建后坐標預測正確的像素點數，TP+FP為重建雙黃線范圍內的像素點總數，而TP+FN為實際雙黃線范圍內的像素點總數。

實驗中將本文所提出的算法(MG-BCF)與基于變形Sobel算子擴充區域與霍夫直線變換方法(SO-HLT)[3]、基于線間差分與灰度幀差的統計算法(LD-GFD)[4]進行了比較分析。上述所有算法均使用相同實驗視頻，視頻根據不同的監控點位與雙黃線的幾何形狀進行分組，從視頻數據集中得到存在缺損的直線雙黃線與彎曲雙黃線的實驗視頻各10組。最終的實驗結果如圖10所示。

圖10 三種算法的性能比較

圖10表明，本文所提出的算法的分割性能與其它兩種算法相比較，召回率與精度值都有一定程度的提升。其中，針對常見的直線雙黃線，三種算法的精度值均取得了不錯實驗結果。但SO-HLT算法在彎曲雙黃線的實驗中召回率與精度值都較低，這是由于其在算法設計中未考慮雙黃線的彎曲形狀所導致。同時由于LD-GFD算法針對缺損目標檢出的魯棒性較低，導致部分缺損區域未被正確重建，因此雖精度值尚可但召回率不佳。除此之外，通過對召回率與精度值在90%以下的部分實驗組的數據集進行分析后發現，這是由于監控視頻建設安裝過程中水平俯視角度過大，造成了視頻中的遠景重建目標存在一定的幾何變形。針對這種情況，可通過透視變換原理[15]將原視頻背景圖像進行校正，將原圖像坐標映射至俯視圖坐標，進一步提升雙黃線重建的精確度。

5 結論

本文針對視頻監控中存在缺損的雙黃線目標提出了一種強魯棒性定位與重建方法。該方法采用一種由粗至精的分割策略，依次去除運動目標信息、周邊環境信息的干擾，通過顏色紋理特征進行精確分割后對破損區域進行了擬合重建。

實驗結果表明，該方法在直線、彎曲雙黃線條件下的正確檢出率分別達到了94.7%與93.1%，定位重建性能良好，準確率優于現有方法。該方法適用于各種復雜場景下雙黃線目標定位與重建，在交通違章行為檢測、事故定責等領域具有一定的實用推廣價值。