基于交通視頻分析的自適應攝像控制系統

張洪斌, 黃 山,, 印 月

(1. 四川大學計算機學院, 四川 成都 610065; 2. 四川大學電氣信息學院, 四川 成都 610065)

隨著經濟發展和城市化進程,激增的交通負荷與有限的道路資源之間矛盾凸顯.為解決由此產生的道路擁堵、事故頻發和尾氣污染等問題,各國都在大力發展智能交通系統(intelligent transport system, ITS)[1].當前具有車流監控[2]、車牌識別[3]、事件檢測[4]和違章執法[5]等綜合功能的視頻檢測技術已成為ITS科學規劃和有效管理的重要數據來源.準確的交通視頻檢測依賴于高質量攝像采集提供豐富的視覺信息.然而,多變的戶外光照和復雜的交通路況等不可控因素對全天候攝像采集提出了嚴峻挑戰.目前交通攝像控制研究主要集中在輔助駕駛和交通監控領域.西門子的Acunzo等[6]用圖像中下部區域亮度中值和方差評價成像效果.O’Malley等[7]根據前車檢測距離和尾燈色畸變推薦夜間攝像EV(exposure values)值為10.Li等[8]以5×5畫面分區的亮度均值序列辨別不同光照環境來調控相機.黃山教授[9]基于車牌圖像灰度共生矩陣分析,反饋控制模擬攝像系統完成單車道車牌成像和號牌識別.吳洪森等[10]分析了車輛速度對快門時間的制約以及曝光時長與環境光照的關系.潘薇博士[11]以變步長方式改變攝像參數,調控車牌亮度均值.Raghavan等[12]重點研究了夜間低照度下的交通視頻質量評價與故障檢測.Torres等[13]基于圖像直方圖分析,最大化場景對比度.

綜合分析以上研究發現,在智能視頻監控的高清化發展趨勢[14]下,現有交通攝像控制方法難以滿足綜合監控的整體需求:一方面,基于監控畫面分析的自動曝光算法沒有考慮運動車輛和車牌細節,無法確保晝夜高動態光照環境中車牌成像效果;另一方面,車牌識別專用攝像系統局限于最優化號牌成像效果,致使逆光與順光等復雜光照情況下場景過曝或昏暗,既不能滿足交通執法[15]對監控圖像中場景信息完整性要求,又影響車輛檢測的準確性.本文從構建面向道路交通綜合檢測的高清晰大場景攝像系統出發,通過系統辨識確定攝像系統控制特性,針對車牌和場景成像需求提出代表性圖像分析指標及算法,結合圖像反饋信號和高層檢測結果實現自適應優化控制,并通過實驗與應用驗證了算法和系統的有效性.

1 高清交通攝像系統

1.1 硬件系統設計

為實現全天候交通圖像采集,構建了圖1的高清交通攝像系統.整套系統由高清攝像采集設備和智能分析檢測器兩部分構成,以千兆以太網連接.

圖1 高清交通攝像系統Fig.1 High-definition traffic-imaging system

高清攝像采集設備在智能分析檢測器的調控下持續采集交通場景視頻,其組件包括位于防護罩內的高清數字攝像機、工業定焦鏡頭、LED(light emitting diode)驅動器和外置的LED補光燈組.其中,高清數字攝像機分辨率為2 448×2 048像素,同時監控3條機動車道,提供水平解析度高于110像素的車牌圖像.LED補光燈專為低光照環境設計,以頻閃方式補光車牌,有高亮度低功率的優點.LED驅動器把攝像機曝光同步電平轉為光耦方式隔離驅動LED補光燈組,并通過自動倍頻以消除低頻閃爍感對司機的影響.

智能分析檢測器實時處理高清攝像采集設備輸出的交通視頻,分析圖像質量,檢測車輛信息,反饋調控攝像參數,實現各種條件下高質量交通視頻的獲取.檢測器采用搭載Intel Atom D2700 CPU、4 GB DDR3內存和1 TB SATA2硬盤的小型工控系統.

1.2 控制特性辨識

快速準確的攝像控制需要對攝像系統控制特性進行辨識.為此,在可控的穩定光照環境中通過實驗對曝光時長、攝像機增益和LED補光時長這3個攝像控制量與成像亮度的關系進行分析測定.

1.2.1測定可靠觀測延遲

視頻采集是一個連續的光學成像、信號處理和圖像傳輸的流水線過程,從檢測器發出改變攝像參數命令到收到對應的亮度響應圖像幀之間存在一個固有延遲.因此,確定可靠觀測延遲后才能以其為時間間隔準確觀測控制量對成像亮度的影響.

這里僅簡述對曝光時長的觀測延遲測定過程:首先,對準穩定光源拍攝,把曝光時長調為較大值使得觀測亮度穩定在200.然后,程序控制曝光時長在較大值和極小值(100 μs)之間切換100次,并記錄每次觀測到亮度變化幀的延時.最后,統計數據得到圖2中的曝光響應延時分布.經反復實驗驗證,所有控制量的觀測延時都在0.24 s以內.

1.2.2辨識攝像參數控制特性

對3個控制量(曝光時長、攝像機增益和LED補光時長)與成像亮度關系的實驗分析如下:

在不使用LED燈并且置零增益的情況下測定曝光時長的亮度響應.首先,將曝光時長設為實際使用的上限值6 ms,調節光圈使觀測亮度剛好穩定達到255.然后,程序控制曝光時長遞減,以可靠觀測延遲記錄亮度響應值.最后,得到圖3中紅線所示成正比關系的曝光時長控制特性.

圖2 攝像系統延時統計Fig.2 Imaging-system time-lag statistical graph

圖3 攝像參數控制特性Fig.3 Control characteristics of imaging parameters

在穩定的低照度環境下,使用與曝光時長類似的方法對固定車牌進行LED補光實驗,測得圖3綠線所示成線性關系的補光時長控制特性.

本文攝像系統采用的Point Grey ZBRA-50S5C高清攝像機的增益標稱范圍為[0,24].程序控制增益從0開始遞增,測得圖3藍線所示的增益亮度響應.將亮度觀測值序列除以零增益時的起始亮度值得到對應的放大倍率值序列.通過改變初始值重復實驗和數據擬合分析,得出攝像機增益值(Ggain)與放大倍率(KG)的關系為

Ggain=19.2 lgKG.

(1)

上述辨識過程揭示了攝像系統的固有延時與控制特性,為可靠觀測與控制計算奠定了基礎.

2 圖像分析反饋算法

2.1 車輛號牌成像指標

車牌是車輛惟一法定標識,車牌識別對圖像質量要求也最高,因此確保車牌成像效果是交通攝像控制的重點之一.基于對我國汽車號牌的亮度直方圖分析,定義了車牌亮度中點值作為車牌圖像調控指標,具體計算如圖4所示:使用經典的Otsu閾值算法[16]分割車牌識別[17]得到的車牌圖像為字符和底板兩部分,分別統計這兩部分的亮度均值,取其中間點為車牌亮度中點值.車牌亮度中點值有兩個優點:(1) 數值穩定,能夠避免不同車牌因字符筆畫數不同而導致的觀測值波動;(2) 便于調控,當中點值處于適當范圍內時,能有效確保車牌字符清晰、對比明顯.根據不同光照下的成像效果,把車牌亮度中點值的亮度范圍劃分為圖5的5個區段:在欠曝光區和過曝光區,車牌對比度很低,無法正確識別;在偏暗區,圖像信噪比低,不利于準確識別;在偏亮區,顏色失真,部分筆畫細節丟失;位于中段的亮度適中區,車牌對比明顯,字符邊緣清晰.實際應用中,亮度適中區間為[80,160].

(a) 車牌圖像(b) 閾值分割結果(c) 亮度中點值在直方圖中的位置圖4 計算車牌亮度中點值Fig.4 Computation of license plate mid-value

圖5 車牌亮度中點值的分區Fig.5 Partition of license plate mid-value range

在每個觀測統計周期內對相繼檢出的車牌亮度中點值按式(2)加權統計,以反映最新的光照情況,并減小號牌污損的不良影響.

Vsta(k)=(1-0.4cnew)Vsta(k-1)+

0.4cnewVnew,

(2)

式中:Vsta為車牌亮度中點值的統計量;Vnew和cnew分別為新檢出車牌的亮度中點值和識別結果可信度(有效車牌的可信度范圍為[0.85,1.00]).

2.2 交通場景成像指標

良好的交通場景成像是準確車輛檢測、跟蹤和計數的前提.根據我國道路渠化標準,選取監測路面上普遍存在的白色標線區塊(如圖6)作為交通場景的代表性觀測對象與調控指標;與車牌亮度中點值計算方法相同,定義了標線區塊中點值.白色標線區塊有3個優點:(1) 代表性好,區塊圖像同時包含白色標線和深色路面;(2) 觀測性好,停止線橫貫整個畫面,分道線位于車道之間,都不易被車輛全部遮擋;(3) 模式穩定,規范的白色線條,便于檢測定位[18]和可見性判別.

(a) 停止線區塊(b) 分道線區塊(c) T形區塊的場景位置圖6 交通場景中的標線區塊Fig.6 Road-marking blocks of a traffic scene

具體場景的標線區塊定位由系統架設時的初始人工選定和監控運行時的在線自動校正相結合.在路口場景中,首選停止線和分道線交匯處的T形區塊(圖6(c)中的3個黑色方框標示區域)進行觀測.在線自動校正功能基于標線區塊定位算法:首先以PPHT(progressive probabilistic hough transform)[19]方法提取邊緣線段,然后使用標線朝向、長度和線寬等先驗信息進行篩選,從而實現區塊位置的持續鎖定,并適時刷新區塊模板圖像.

標線區塊的可見性判別基于式(3)的圖像相關系數計算,能夠較好地抑制光照變化帶來的影響.

(3)

圖7顯示了一天中標線區塊的相關系數變化,紅線對應圖6(c)中間位置的T形區塊,綠線是所有3個T形區塊的聯合最大值,藍線是對聯合最大值二值化判別的結果.

圖7 標線區塊的可見性判別Fig.7 Visibility detection of road-marking blocks

3 自適應攝像控制方法

由系統辨識和圖像分析可見,高清交通攝像控制是一個多控制量、多控制目標的最優控制問題.為此,以自適應控制框架綜合不同層面視頻分析信息,實現對復雜交通環境下成像的優化調控.

3.1 整體控制架構

自適應交通攝像控制系統的工作原理見圖8.

圖8 自適應攝像控制系統Fig.8 Adaptive imaging control-system graph

高清攝像采集設備作為控制對象,以控制量u(曝光時長、增益和LED補光時長)為攝像參數,捕獲場景光線生成交通視頻.

綜合檢測功能模塊完成對交通視頻的在線檢測分析[17](運動檢測、車牌識別、車輛檢測、車輛跟蹤、違章判別和車流統計),并為圖像分析反饋和自適應控制決策提供高層信息(車牌識別和運動檢測結果).

圖像分析反饋單元實時分析視頻圖像,生成反饋信號b(車牌亮度中點值和標線區塊中點值),饋送給自適應控制決策模塊和攝像控制模塊.

自適應控制決策模塊作為控制核心,基于高層信息、反饋信號b和當前控制量u,感知環境,優化決策,合理配置控制目標值r(期望達到的車牌亮度中點值或標線區塊中點值).

攝像控制模塊根據反饋信號b和控制目標值r計算出控制量u,發送給采集設備實現反饋控制.

3.2 自適應優化決策

自適應控制決策模塊具有在線感知學習能力,能綜合圖像分析指標和高層檢測結果,判斷光照環境,切換控制狀態,消除不確定性,實現最優控制.

3.2.1基于光照感知的控制目標優化

高清交通攝像控制是一個需要兼顧車牌和場景成像效果的多目標優化問題.但逆光和順光等光照情況常會導致這兩個控制目標相矛盾,嚴重影響成像和檢測效果.逆光時,日光從攝像機前方射來,車牌處于車輛陰影中,車牌亮度明顯低于場景;順光時則剛好相反,日光直射車牌形成強反光,車牌亮度明顯高于場景.自適應控制決策模塊按照圖9的光照模式感知規則優化配置控制目標值r.

圖9 光照模式的感知與控制Fig.9 Detection and control of different illumination modes

以逆光為例簡述原理:隨著逆光增強,按常規光照模式調控車牌亮度會使場景亮度超出上限時,系統進入強逆光模式,以調控場景亮度在VS,max為新的控制目標,允許車牌亮度位于[VP,min,VP,center).如果逆光嚴重,會使車牌亮度低于下限時,轉入極端逆光模式,以調控車牌亮度在VP,min為目標,以允許場景過亮為代價確保車牌識別.

順光與逆光相反,其控制規則呈現對偶形式.

3.2.2結合高層信息的控制狀態適應

實際運行時,自適應控制決策與高層綜合檢測分析密切配合,在圖10所示的3種控制狀態間自主切換,實現最優控制:(1) 剛啟動或者長期無車輛通過時,系統處于場景控制狀態,僅以場景亮度為控制目標,檢測車輛和車牌.(2) 當有車牌檢出時,系統轉入優化控制狀態,按前述光照模式感知規則進行調控.(3) 極少見的突變性極端逆光或順光有可能導致持續有車輛經過而無車牌識別,系統自動轉入光照探查狀態,通過有規律的試探性配置控制目標值,使得系統在合適的亮度控制范圍捕獲可識別車牌,消除光照不確定性,轉入優化控制.光照探查控制參考當前時段的歷史光照模式記錄,優先選擇遞增或遞減的亮度調控方向.例如在逆光多發時段,優先配置場景控制目標值為高亮度值250,而后在每個觀測周期結束時以30為步長遞減.

圖10 控制狀態轉換圖Fig.10 Control state-transition graph

3.3 實時控制量計算

為應對戶外場景晝夜間巨大的光照強度變化,攝像控制模塊的控制量輸出水平由低到高分為快門調控、增益調節、LED補光和快門補償4個等級.

在日光較強的白天時段只需調控快門便可達到目標亮度.由曝光時長的正比特性有調節算式:

(4)

式中:tsh(n)、tsh(n+1)分別為當前幀和下一步的曝光時長;V(n)、Vref分別為亮度的觀測值和目標值.

在日光減弱且曝光時長調至上限后,開啟增益調節.由式(1)可得攝像機增益值調節算式為

(5)

在增益已達上限的低光照環境中,攝像控制系統進行LED補光,確保車牌成像亮度.由LED補光時長的線性貢獻有調控算式:

tLED(n+1)=tLED(n)+k(Vref-V(n)),

(6)

式中:tLED(n)、tLED(n+1)分別為當前幀和下一幀的LED補光時長;k為與攝像距離有關的系數,在攝像機固定安裝的監控場景中基本不變,一般在經驗值基礎上結合LED實際控制效果自動反饋微調.

夜間時段的道路照明遠不及白天的日光,當LED補光時長超過設定門限值時,攝像控制模塊將額外增加1 ms曝光時長作為快門補償,以提升整體場景亮度,增強背景和車輛對比.

4 實驗與分析

本文圖像分析算法、攝像控制方法以及相關綜合檢測功能[17]均采用C/C++編程實現,并以多線程方式運行于前述智能分析檢測器上.以此構建的高清晰大場景綜合交通檢測系統已在北京、廣州、成都、合肥等地的ITS建設中有上千套的實際應用.

4.1 系統抗擾性實驗

圖11是在可控條件下通過快速改變光照以測試系統抗擾性的亮度觀測記錄.實驗中設定亮度控制目標值為120,并在短時間內3次降低、3次增強

和2次來回變換環境光照的強度.對于這些光照突變,系統均能在3幀的固有延遲內控制亮度快速恢復到目標值附近并保持穩定.

圖11 光照擾動下的攝像控制效果Fig.11 Imaging control results with illumination changes

4.2 特殊光照對比實驗

為評測攝像控制算法的實際光照適應性能,在特殊光照多發路段進行了對比實驗.

圖12和圖13分別為逆光和順光情況下的成像效果對比.

(a) 算法1的場景(b) 算法2的場景(c) 本方法的場景(d) 算法1的車牌(e) 算法2的車牌(f) 本方法的車牌圖12 逆光成像效果對比Fig.12 Imaging effects comparison of backlighting

(a) 算法1的場景(b) 算法2的場景(c) 本方法的場景(d) 算法1的車牌(e) 算法2的車牌(f) 本方法的車牌圖13 順光成像效果對比Fig.13 Imaging effects comparison of front-lighting

圖12～13中,算法1是基于畫面中下部直方圖的自動曝光控制[13],算法2是針對車牌亮度均值的變步長反饋調控[11],本方法即本文的光照感知優化算法.表1是綜合檢測系統采用不同攝像控制算法的檢測性能統計.其中,場景完整率為系統抓拍圖片中道路標線和車輛輪廓都清晰可辨的圖片占比.

表1特殊光照檢測結果
Tab.1 Detection results under special illumination conditions %

攝像控制算法車牌識別率逆光順光場景完整率逆光順光算法154.833.296.498.0算法294.493.255.686.2本方法96.696.097.898.8

實驗結果表明,本文光照感知優化算法融合了現有兩類算法的優點,能有效兼顧高清晰車牌成像和大場景監控取證.此外,基于控制特性辨識的攝像調控可以快速響應光照突變,車牌識別率優于變步長調控;以標線區塊中點值為成像指標能夠減小來自前景車輛的干擾,場景成像效果更加穩定.

4.3 全天監控效果

圖14和表2分別為成都市某路口24 h攝像控制量曲線和典型時段成像檢測效果.

圖14 攝像控制量24 h曲線Fig.14 Twenty-four-hour curves of imaging parameters

表2 典型時段成像檢測效果Tab.2 Imaging and detection results at typical moments

圖14的雙縱軸曲線圖從整體上反映了曝光時長、攝像機增益和LED補光時長的全天調控過程.在光線充足多變的白天,主要靠對曝光時長的優化控制適應各種復雜日照情況.在光線微弱的夜間,曝光時長和攝像機增益處于高水平,通過反饋調控LED補光時長獲取良好的車牌成像效果.晨昏交替時段,3個攝像參數快速聯動,以適應高動態范圍的持續光照變化.

表2中的觀測統計包含了6個典型時段的成像效果和檢測數據.從觀測圖例可見,高清攝像控制系統能平衡不同環境下的車牌與場景成像,確保車牌圖像細節和場景整體效果.統計數據顯示,系統平均車流準確率97.0%,平均車牌識別率96.3%(白天97.9%,夜晚94.1%),均超過我國現行的國家標準[15,20](車流準確率90%;車牌識別率白天95%,夜晚90%).

5 結 論

針對智能交通中大場景高清晰綜合檢測需求設計了一套完整的高清攝像系統,通過系統辨識確定的系統特性為控制計算提供了依據,視頻分析提取的車牌亮度中點值和標線區塊中點值構成了穩定的成像調控指標,基于光照模式感知平衡優化車牌與場景控制目標,綜合高層檢測信息自動變換當前控制狀態.實驗與應用結果表明,本文系統能夠快速響應外界光線變化,有效應對特殊光照情況,持續采集優良的全天交通視頻,支持視頻檢測實現了平均97.0%的車流準確度和96.3%的車牌識別率.

[1] JIM B, GUSTAVE C, DOMINIE G, et al. ITS strategic plan 2015-2019[R]. Washington D. C.: U.S. Department of Transportation, 2014.

[2] YU C C, CHENG H Y, JIAN Y F. Raindrop-tampered scene detection and traffic flow estimation for nighttime traffic surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(3): 1518-1527.

[3] ZANG Di, CHAI Zhenliang, ZHANG Junqi, et al. Vehicle license plate recognition using visual attention model and deep learning[J]. Journal of Electronic Imaging, 2015, 24(3): 1-10.

[4] REN Jianqiang, CHEN Yangzhou, XIN Le, et al. Detecting and positioning of traffic incidents via video-based analysis of traffic states in a road segment[J]. IET Intelligent Transport Systems, 2016, 10(6): 428-437.

[5] KLUBSUWAN K, KOODTALANG W, MUNGSING S. Traffic violation detection using multiple trajectories evaluation of vehicles[C]∥Proceedings of International Conference on Intelligent Systems, Modelling and Simulation.[S.l.]: IEEE Computer Society, 2013: 220-224.

[6] ACUNZO D, ZHU Y, XIE B, et al. Context-adaptive approach for vehicle detection under varying lighting conditions[C]∥Intelligent Transportation Systems Conference, 2007, IEEE.[S.l.]: IEEE, 2007: 654-660.

[7] O’MALLEY R, JONES E, GLAVIN M. Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions[J]. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2): 453-462.

[8] LI T, SONG Y, MEI T. An auto exposure control algorithm based on lane recognition for on-board camera[C]∥Proceedings of IEEE Intelligent Vehicles Symposium.[S.l.]: IEEE, 2015: 851-856.

[9] 黃山. 車牌識別技術的研究和實現[D]. 成都:四川大學,2005.

[10] 吳洪森,李志能. “電子警察”視頻檢測系統的分析與設計[J]. 浙江大學學報:工學版,2005,39(10): 1517-1519.

WU hongsen, LI Zhineng. Analysis and design of auto-monitoring and recording system for electronic police[J]. Journal of Zhejiang University: Engineering Science, 2005, 39(10): 1517-1519.

[11] 潘薇. 嵌入式車牌識別系統關鍵技術研究[D]. 成都: 四川大學, 2010.

[12] RAGHAVAN A, LIU J, SAHA B, et al. Reference image-independent fault detection in transportation camera systems for nighttime scenes[C]∥Proceedings of IEEE Conference on Intelligent Transportation Systems.[S.l.]: IEEE, 2012: 963-968.

[13] TORRES J, MENéDE J M. Optimal camera exposure for video surveillance systems by predictive control of shutter speed, aperture, and gain[C]∥Real-Time Image and Video Processing.[S.l.]: SPIE, 2015: 1-14.

[14] 黃凱奇,陳曉棠,康運鋒,等. 智能視頻監控技術綜述[J]. 計算機學報,2015,38(6): 1093-1118.

[15] 公安部道路交通管理標準化技術委員會. GA/T 496—2014闖紅燈自動記錄系統通用技術條件[S]. 北京:中華人民共和國公安部,2014.

[16] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 1979, 9(1): 62-66.

[17] 張洪斌,黃山. 面向城市路口的高清晰智能監控系統研究[J]. 四川大學學報:工程科學版,2012,44(增刊1): 224-228.

ZHANG Hongbin, HUANG Shan. Research on the high definition intelligent surveillance system for urban intersection[J]. Journal of Sichuan University： Engineering Science Edition, 2012, 44(Sup.1): 224-228.

[18] MAMMERI A, BOUKERCHE A, TANG Z. A real-time lane marking localization, tracking and communication system[J]. Computer Communications, 2015, 73(2): 229-233.

[19] MATAS J, KITTLER J, GALAMBOS C. Robust detection of lines using the progressive probabilistic Hough transform[J]. Computer Vision and Image Understanding, 2000, 78(1): 119-137.

[20] 公安部道路交通管理標準化技術委員會. GA/T 833—2016 機動車號牌圖像自動識別技術規范[S]. 北京:中華人民共和國公安部,2016.