主-從PTZ視頻檢測軟件模塊化設計及架構

張志杰，楊 碩

(1.西南民族大學計算機科學與技術學院，四川成都 610000; 2.沈陽化工大學計算機科學與技術學院，遼寧沈陽 110142)

主-從PTZ視頻檢測軟件模塊化設計及架構

張志杰1，楊 碩2

(1.西南民族大學計算機科學與技術學院，四川成都 610000; 2.沈陽化工大學計算機科學與技術學院，遼寧沈陽 110142)

前方路面車輛的檢測和跟蹤是智能交通系統中的重要問題。使用單定焦相機的系統，對處于復雜環境下的車輛視野有限，遠處目標的特征細節很難捕獲，較寬視野區域中的特征分辨率較低;而要獲得較高分辨率，就只能夠縮小監控區域的視野，因此檢測效果較差。為解決單定焦相機視野與分辨率之間的沖突，文中引入主-從PTZ系統加以改進。其中，主系統采用固定的廣角鏡頭以獲得較寬的視野，同時采用高清晰度的PTZ相機作為從系統，提升較寬的視野中特定目標區域的分辨率。文中提出并實現了一個主-從PTZ視覺檢測軟件的模塊化解決方案。該方案利用主系統進行廣角搜索，利用從PTZ增強特征細節。測試結果表明，該系統能夠實現較寬視野中特定目標的較快檢測，提高目標圖像細節分辨率，改進目標特征細節檢測率，同時具有簡單、快速、高效、易于二次開發等優點。

視覺檢測;主-從PTZ;系統框架;智能交通;設計模式

0 引言

智能交通系統(Intelligent Transportation System，ITS)的目的是實現全方位、大范圍內交通運輸管理的實時、準確、高效。為此，智能交通系統正在將數據通訊傳輸技術、電子傳感技術、自動控制技術、數據挖掘技術等進行交叉、集成，力圖將先進的信息技術有效地集成運用于整個交通管理系統，實現立體管理［1］。

美、歐、日等發達國家基本上完成了ITS體系框架，現階段的重點是在發展領域進行大規模的應用。ITS的應用發展表明，ITS能夠更加高效地利用現有交通設施、保證交通安全、提高運輸效率、減少交通負荷和環境污染［2］。

ITS的一個重要特點是與物聯網技術關系密切，其具體應用均圍繞信息的收集、處理、發布、交換、分析、利用等內容，動態交通信息流是ITS研發與應用的主線。

高效、智能的視頻檢測技術，是智能控制也是物聯網服務的研發目標之一，具有良好的市場應用前景，且經濟效益與社會效益良好。

通過對主-從PTZ視覺檢測系統的研究，再輔以信息技術、通信技術、控制技術、傳感技術和系統綜合等主要技術手段，以智能道路、智能路口、智能監控和智能車輛等為主要研究內容，可以進一步降低交通事故率，其應用前景廣闊。

1 視覺檢測

視覺檢測，是指利用攝像機作為記錄設備，通過對目標圖像、目標視頻進行預處理，然后再進行后繼分析，以獲得動態信息流的檢測手段［3］。

視覺檢測能夠應用于許多領域:工業自動化中的工程控制，比如工業機器人;醫學圖像與信號處理，比如超聲波視頻檢測、CT圖像檢測等;監控視頻的自動篩選，比如人數統計與特定目標的識別;軍用民用的各類交通工具、運載武器的自動識別，比如精確制導導彈的目標識別與戰場感知。

此外，視覺檢測快速發展的一個應用領域是各類無人機(Unmanned Aerial Vehicle，UAV)，此類應用不僅包括無人機，另有無人潛水艇、無人車輛、特種作業機器人等，均依賴于基于計算機視覺的視覺檢測系統，實現機器自主導航(Machine Navigation or Robot Navigation)、障礙物檢測(Obstacle Detection)、機器路線規劃(Route Planning)、環境生成(Simultaneous Localization And Mapping，SLAM 或 Concurrent Mapping and Localization，CML)、檢測特定的事件等功能。該類視覺檢測技術，尤其在NASA的太空探索計劃中，得到大量的應用，例如:探月車、火星探測器等，其技術水平正在不斷進步與提升中。

具體到ITS的信息采集方式，主要是自動采集。而現階段ITS自動采集的技術手段，又可以分為磁性檢測器、光學檢測器、微波檢測器、路況傳感器及測重傳感器等。在ITS中，視覺檢測的優勢在于其形象、直觀、易于獲取，作為第一手的信息，其可靠性、信息包含的內容都具有明顯優勢。

而在現有水平的ITS中，視覺檢測存在的主要問題在于:

(1)精度與價格相關。其可靠性、精確性依賴采集設備的物理特性，且往往與設備的價格成正比例關系，高精度的設備價格也更高。

(2)數據分析、處理的工作量大。作為攝像頭采集圖像、視頻信息，其采集具有自動、全方位、大范圍、多角度等特點，數據量與采集設備工作時間成正比;采集的圖像、視頻信息中，存在大量的冗余信息，需要進行篩選。現階段，篩選工作仍然在很大程度上依賴于人力，其工作效率與機器數據采集的速度，存在很大差異。

(3)復雜環境下的精確度降低。視頻檢測的精度、速度，在很多情況下會隨著環境的復雜性變化而受到很大的影響。比如，晴朗天氣下視頻的單獨車輛車牌識別，就比雨天、雪天、霧天、復雜背景、快速變化、遮擋阻攔等情況下的精度、速度要高;換而言之，復雜環境下的視頻檢測還有待改進。

(4)算法設計的局限性。由于復雜環境下的視頻檢測算法在實際應用中存在諸多局限，因此，ITS作為視頻檢測的應用背景，彰顯出若干視頻檢測算法的若干局限性，所有這些局限性為視頻檢測算法的發展提出了新的要求［4］。

2 主－從PTZ解決方案

視頻檢測，作為動態信息流采集的重要渠道，一直是研究的熱點。而前方路面車輛的檢測和跟蹤則是ITS中動態信息交通流的重要問題，因而，日益受到各國的重視。

因此，解決好復雜環境下周圍車輛的檢測和跟蹤問題是降低事故發生率的一個有效手段。復雜環境分為:自然環境的復雜性(如雨天、霧天、能見度低等)和獲取的視頻圖像的復雜性(如復雜的圖像背景、劇烈的光照度變化、遮擋、運動平臺下相機的抖動等)。

在現有文獻中，基于視頻的車輛檢測算法可以分為兩個步驟:

(1)假設生成:獲得圖像或視頻幀中可能包含車輛的候選區域;

(2)假設檢驗:用分類器或類似方法測試候選區域是否真實包含車輛。

假設生成一般使用簡單的特征和快速的搜索算法將整個圖像區域內可能包含車輛的候選提取出來，使用的方法可以分為:基于先驗知識的、基于立體視覺的和基于運動信息的。假設檢驗用于進一步驗證候選的正確性，可以分為兩種:基于模板(知識)模型的和基于外觀模型的［5］。

上述經典方法在特定環境下(如白天、高速公路、簡單路況、無遮擋)取得了良好的檢測效果，但在復雜環境下，由于可供提取的車輛特征較少并且容易受到干擾，使得實際的檢測效果受到了限制。在課題組前期的研究中，主要針對復雜環境并對局部方法、稀疏表達和在線訓練等方法做了一些研究，雖然取得了一定成果，但在實際環境下的效果依然不理想。

主-從PTZ視頻檢測方法(Master-Slave PTZ)，是目前較好的解決復雜環境中目標視覺檢測的方法。清華大學在2013年度國家自然科學基金的研究課題中，就進行過這方面的探索與研究:Cui Zhigao等的《Master-slave tracking algorithm using dual PTZ cameras based on ground plane constraint》、《A Master-slave Tracking Algorithm Using Two PTZ Cameras》。其主要研究內容，即為一主一從的主-從PTZ。

主-從PTZ視頻檢測方法，從各類相關文獻與自主軟硬件研發的結果中，被發現可以從物理結構上一定程度地解決復雜背景、快速變化、遮擋阻攔等復雜環境帶來的問題，同時結合專門的去霧、去雪、去雨等算法的設計，可以較好地解決若干視頻檢測算法的局限性［6-8］。

通過分析發現，原有算法效果不理想的主要原因之一是:為了增加檢測范圍，實驗采用了較寬視野的廣角鏡頭，使圖像細節丟失較多，不利于特征的提取和分類，從而降低了車輛檢測率。因此，在前期研究基礎上，文中提出使用主-從-PTZ相機構建超分辨率圖像的方法，以提高復雜環境下的車輛檢測率。其中主相機具有固定的廣角鏡頭可以獲得較寬的視野，而通過PTZ相機可以將圖像、視頻的具體細節進行保留，以便于特征的提取與分類。

3 系統整體框架

計算機視覺系統實現的方法、結構、模塊、接口等，很大程度上依賴并取決于其具體應用方向、技術要求等。標準的視覺檢測系統一般由圖像獲取、預處理、特征提取、檢測分割、后期處理等功能模塊組成。其中，后期處理模塊往往與機器學習、數據挖掘、人工智能等內容密切相關，其具體的目的就是要對獲得的視頻信息進行分類與識別，其典型算法的代表即為2010年1月《IEEE Transactions on Pattern Analysis and Machine Intelligenc》上，Zdenek Kalal的《Tracking Learning Detection》。

作為一個系統的框架設計，還需要考慮到系統的框架、模塊的功能以及劃分、接口的定義與數據的統一格式、算法庫的架構等因素，同時，算法庫要保持較好的可擴展性，易于二次開發。其中，比較有挑戰性的內容為算法庫中不同視覺檢測算法的實現、效果比較、分析與改進。

具體到該主-從PTZ視覺檢測系統，從現階段功能需求進行劃分，主要包含如下模塊:運動目標檢測模塊、運動目標分類模塊、車輛跟蹤模塊、車牌檢測模塊、車牌字符分割模塊、車牌字符識別模塊以及其他輔助功能模塊。

其中，運動目標檢測模塊主要進行運動目標的捕獲，采用盡可能簡單的算法排除掉盡可能多的非目標對象。運動目標分類模塊主要進行運動目標的分類，其分類的依據主要是若干常用的圖像預處理、特征提取，由于視頻的工作量，仍然優先選擇簡單高速的算法。車輛跟蹤模塊與檢測模塊主要進行基于不同特征的車輛檢測分類，作為系統的分類檢測依據，主要是進行特征的綜合提取。車輛字符分割與字符識別模塊，是對需要捕獲車牌信息的特定檢測對象進行車牌的分識別等處理。

綜上所述，該主-從PTZ視覺檢測系統主要結構如圖1所示。

其中，運動目標檢測模塊主要實現的方法為Visual Background Extractor，以下簡稱為VIBE［9-11］。

VIBE是一種像素級的視頻背景檢測算法，其算法簡單、實用，對于硬件內存的占用較少，因此，可以達到較高的處理速度和理想的處理結果。其具體實現如下:首先用第一幀初始化VIBE算法，該函數只調用一次，其中input是函數輸入，為視頻的第一幀，24位RGB彩色圖像。

在視頻的隨后幀中，每幀或隔幀(跳幀)調用處理函數，完成背景差分，并對運動目標進行檢測。

運動目標分類模塊主要實現的方法如下:檢測該目標底部是否有陰影(該陰影就是本影)。因為車輛在白天時車底必出現本影，不管是陰天還是晴天，而且車底本影的長度與車寬一致［12-14］。

其具體的實現如下:陰影像素的灰度值遠低于車身灰度值，充分利用車底陰影作為特征進行特征提取，就可將車輛和行人(或自行車)分開。

車輛跟蹤模塊主要實現的方法如下:包圍框覆蓋法。

由于車輛屬于剛性目標(本身不會形變)，且速度不會發生突變，在屏幕中的視角一般也不變，因此，對車輛的跟蹤就可以使用帶自適應參數的包圍框覆蓋法［15-16］。

其中，自適應參數主要解決某些干擾會導致包圍框偏離正常位置，或者過小、過大，從而導致跟蹤失敗的問題。

車牌檢測模塊主要實現的方法如下:定位、特征點檢測與特征點提取。其中，定位主要是為了提升特征提取的角度;而特征提取車牌主要的問題是車輛高速移動時造成的車牌圖像、視頻模糊。

為盡可能排除干擾，采用綜合特征提取方法，結合了顏色特征、梯度特征、形狀特征、幾何特征等，提高特征點提取的精確度。

車牌字符分割模塊主要實現的方法為濾波器字符分割。

由于車牌的有用信息要包括0到9的數字、A到Z的字母，外加代表省的字符，有用字符一共為7個，所以，車牌檢測的主要功能就是在包含車牌的圖像中找到車牌的位置并將7個字符分割出來［17-18］。

這里采用一個8條豎線的“柵欄狀”濾波器，對投影圖進行濾波。通過改變“柵欄線”的間距和位置可得到最大響應，根據得到的最大響應就可以將字符彼此分開。

車牌字符識別模塊主要實現的方法為模板匹配。即將待識別字符與事先獲取的字符模板庫(10個數字、24個英文字母和31個漢字)逐一對比，找到最接近的作為識別結果［19-20］。

由于類別較少，且現代計算機的處理速度很高，模板匹配的實時性很好，車牌字符識別模塊完全適用于視頻連續識別。同時，模板匹配在各類圖像上的識別率表現比較穩定，因此模板匹配仍然具有很高的使用和研究價值。

另外，該系統還包括車型識別、駕駛員異常行為檢測、特定目標跟蹤等功能。

4 實驗結果與分析

該主-從PTZ視覺檢測系統中，主相機具有較寬的視野，從相機可以獲得圖像的細節。經過初步研究發現，該系統可以在一定程度上提高現有算法的檢測率，但具體的效果的改進評估，則還需要進一步的數學證明、實驗和論證。

該主-從PTZ視覺檢測系統部分運行結果見圖2。

對運動目標檢測之后，還需要進行本影檢測，因此，良好、可靠、抗干擾的運動目標檢測就成為先決條件，其質量的優劣將直接影響到后面的運算結果。

特征提取的關鍵在于根據特征的特點，將干擾特征點進行過濾。從圖3可見，該優化特征提取方法效率相當高。

5 結束語

該主-從PTZ視頻檢測系統主要依靠實時弱標定算法，基于局部表達模型對車輛檢測局部特征的檢測效果進行改進。實驗結果表明，該系統能夠進行基于局部特征的車輛視覺效果的檢測，同時進行有效特征的檢測與分析，減少了算法的運算量，其運算速度較快，對于復雜環境的抗干擾性有所提高，且其運算的精準度也有所提升。下一步將繼續進行主-從PTZ視頻檢測算法的相關研究。

［1］ Wang F Y.Scanning the issue and beyond:five transportations in one—a new direction for ITS from qingdao［J］.IEEE Transactions on Intelligent Transportation Systems，2015，16(5): 2310-2317.

［2］ Rimmer P J.Port dynamics since 1965:past patterns，current conditions and future directions［J］.Journal of International Logistics and Trade，2007，5(1):75-97.

［3］ Bertozzi M，Broggi A.GOLD:a parallel real-time stereo vision system for generic obstacle and lane detection［J］.IEEE Transactions on Image Processing，1998，7(1):62-81.

［4］ Sivaraman S，Trivedi M M.Looking at vehicles on the road:a survey of vision-based vehicle detection，tracking，and behavior analysis［J］.IEEE Transactions on Intelligent Transportation Systems，2013，14(4):1773-1795.

［5］ Bertozzi M，Broggi A，Cellario M，et al.Artificial vision in road vehicles［J］.Proceedings of the IEEE，2002，90(7):1258-1271.

［6］ Everts I，Sebe N，Jones G A.Cooperative object tracking with multiple PTZ cameras［C］//Proc of the international conference on image analysis and processing.［s.l.］:［s.n.］，2007: 323-330.

［7］ Kumar P，Dick A，Sheng T S.Real time target tracking with pan tilt zoom camera［C］//Proc of digital image computing: techniques and applications.［s.l.］:IEEE，2009:492-497.

［8］ Liao H C，Chen W Y.A dual-PTZ-camera system for visual tracking of a moving target in an open area［C］//Proc of 11th international conference on advanced communication technology.［s.l.］:IEEE，2009:440-443.

［9］ Barnich O，van Droogenbroeck M.ViBe:a powerful random technique to estimate the background in video sequences ［C］//Proc of IEEE International conference on acoustics，speech and signal processing.［s.l.］:IEEE，2009:945-948.

［10］ Barnich O，van Droogenbroeck M.ViBe:a universal background subtraction algorithm for video sequences［J］.IEEE Transactions on Image Processing，2011，20(6):1709-1724.

［11］Feng W，Liu R，Jia B，et al.An efficient pixel-wise method for moving object detection in complex scenes［C］//Proc of 10th IEEE international conference on advanced video and signal based surveillance.［s.l.］:IEEE，2013:389-394.

［12］Johansson B，Wiklund J，Forssén P E，et al.Combining shadow detection and simulation for estimation of vehicle size and position［J］.Pattern Recognition Letters，2009，30(8):751-759.

［13］Song X，Nevatia R.Detection and tracking of moving vehicles in crowded scenes［C］//Proc of IEEE workshop on motion and video computing.［s.l.］:IEEE，2007.

［14］Messelodi S，Modena C M，Zanin M.A computer vision system for the detection and classification of vehicles at urban road intersections［J］.Pattern Analysis and Applications，2005，8 (1):17-31.

［15］Lempitsky V，Kohli P，Rother C，et al.Image segmentation with a bounding box prior［C］//Proc of 12th international conference on computer vision.［s.l.］:IEEE，2009:277-284.

［16］Assarsson U，Moller T.Optimized view frustum culling algorithms for bounding boxes［J］.Journal of Graphics Tools，2000，5(1):9-22.

［17］Casey R G，Lecolinet E.A survey of methods and strategies in character segmentation［J］.IEEE Transactions on Pattern A-nalysis and Machine Intelligence，1996，18(7):690-706.

［18］ Fujisawa H，Nakano Y，Kurino K.Segmentation methods for character recognition:from segmentation to document structure analysis［J］.Proceedings of the IEEE，1992，80(7):1079 -1092.

［19］Lalonde M，Beaulieu M，Gagnon L.Fast and robust optic disc detection using pyramidal decomposition and Hausdorff-based template matching［J］.IEEE Transactions on Medical Imaging，2001，20(11):1193-1200.

［20］Battiato S，Farinella G M，Furnari A，et al.Vehicle tracking based on customized template matching［C］//Proc of international workshop on ultra wide context and content aware imaging.［s.l.］:［s.n.］，2014:755-760.

Modular Design and Architecture of Master-slave PTZ Video Detection Software

ZHANG Zhi-jie1，YANG Shuo2
(1.College of Computer Science＆Technology，Southwest University for Nationalities，Chengdu 610000，China; 2.College of Computer Science＆Technology，Shenyang University of Chemical Technology，Shenyang 110142，China)

The detecting and tracking of vehicles on the road is an important problem in intelligent transportation system.To the vehicle in complicated environment，only using single fixed-focus camera system，the details of remote environment around the vehicle are hard to capture for limited vision，and the effect of detection is poorer for same reason.For single fixed-focus camera system，the common method that could improve the details and higher resolution of remote object is focusing on a smaller vision coverage area.In order to solve the conflict between vision coverage area and resolution，the master-slave Pan/Tilt/Zoom camera system(M-S PTZ)is introduced.The master camera with fixed wide-angle lens is used to achieve a wider field of vision，and the slave one used PTZ lens to enhance the detail of the image and improve the detection rate.A modular video detection system of master-slave PTZ is presented and implemented in this paper.The system of M-S PTZ as solution has many advantages such as faster detection for specific object under field environment，higher resolution for specific target image，and more feature details of given target.At the same time，it is simple，rapid，efficient and easy to conduct secondary development.

vision detection;master-slave PTZ;system framework;intelligent transportation;modular design

TP31

A

1673-629X(2016)09-0114-05

10.3969/j.issn.1673-629X.2016.09.026

2015-11-17

2016-03-10< class="emphasis_bold">網絡出版時間:

時間:2016-06-22

四川省科技支撐計劃(2014GZ0150)

張志杰(1972-)，男，博士，高級實驗師，研究方向為算法設計、信號與圖像處理與物聯網。

http://www.cnki.net/kcms/detail/61.1450.TP.20160622.0845.062.html