基于視頻目標檢測與提取技術研究

摘要：針對物體在視頻中的檢測和提取的需求，結合目前視頻傳輸技術和經典的Canny邊緣檢測算法，設計并且實現了基于動態目標檢測及提取技術。在綜合考慮可能需要的實際業務生產和檢測的基本需求上，設計了基于Ubuntu16.04系統下的實時傳輸網絡并對傳輸之后的視頻做實時檢測以及分析的設計方案。最后通過海思HI3518e開發板和OV9712攝像頭，以運動中乒乓球作為對象進行了測試和驗證。結果證明，此方案設計具有能夠快速，高效的實現從視頻中動態提取器件的外觀邊緣的功能。

關鍵詞：視頻中的檢測和提?。籐inux系統；HI3518e開發板；opencv；Canny邊緣檢測；

伴隨視頻行業的不斷發展，越來越多的視頻處理相關的技術逐漸應用在了工業生成過程中。本設計基于生產過程中，需要提取產品的外觀輪廓實現生成和檢測功能[1]。不同的廠家陸續推出了不同的視頻傳輸方案。目前市面上主要流行的是安霸，TI，海思的方案[2]。本設計決定采用海思的解決方案。該方案具有能外接豐富資源的特性，且方案本身成熟可靠，適合研究和開發使用。

1 系統總體設計目標

1.1 系統結構設計

本系統參考了華為海思推薦的設置，即hi3518e和OV9712攝像頭Sensor，在此基礎上設計實現了RTSP流媒體服務器，Ubuntu16.04系統，opencv2.4.9，電源部分和網卡芯片模組。系統流程如圖所示。

1.2 系統運行流程

1.2.1視頻采集編碼的流程

下載華為海思官方開發工具包，可以啟動運行hi3518e芯片內部已經集成實現了視頻采集壓縮編碼模塊[3]。

1.VI模塊捕獲視頻圖像，可對其做剪切、縮放等處理，并輸出多路不同分辨率的圖像數據。

2.VPSS模塊接收VI和解碼模塊發送過來的圖像，可對圖像進行去噪、增強、銳化等處理，并實現同源輸出多路不同分辨率的圖像數據用于編碼、預覽或抓拍。

3.VI數據路線解碼模塊對編碼后的視頻碼流進行解碼，并將解析后的圖像數據送VPSS進行圖像處理或直接送VO顯示?？蓪?H264/MPEG4/MPEG2 格式的視頻碼流進行解碼。

4.VENC模塊由編碼通道子模塊（VENC）和編碼協議子模塊（H.264/H.265/JPEG/MJPEG）組成。REGION模塊支持對圖像內容進行遮擋和疊加。完成視頻區域管理之后，圖像被送入具體協議類型編碼通道，完成視頻編碼，輸出碼流。

1.2.2 視頻傳輸過程

在venc.c文件中嵌入RTSP協議的代碼，就可以在hi3518e編碼的過程中將h.264碼流通過RTSP協議封裝打包發送[4]。由于RTSP協議是基于文本的實時流傳輸協議，其使用UDP等協議實現傳輸。

2 opencv處理視頻

OpenCV是一個基于BSD許可（開源）發行的跨平臺計算機視覺庫，可以運行在Linux、Windows、Android和Mac OS操作系統上。

2.1 Canny算法在程序中實現的步驟

Canny邊緣檢測算子是John F.Canny于1986年提出的一個多級邊緣檢測算法[5]。Canny的目標是找到一個最優的邊緣檢測算法。雖然Canny算法年代久遠，但可以說它是邊緣檢測的一種標準算法，而且仍在研究中廣泛使用。

Canny邊緣檢測算法在實際應用中，可以分為以下6個步驟：

2.2 opencv接收網絡視頻流

通過了解opencv相關的API函數，并且查閱資料實現了視頻流的接受和實時分析。首先將視頻流的一幀提取出來，將該幀圖像做為Canny算法的數據源，通過Canny算子的運算之后得到圖像并顯示出來。之后清空該幀圖像數據，取視頻流的新一幀圖像的數據填充。再將新的幀圖像重新參與Canny算子運算且重新展示便結果。如此快速循環就能實現實時的邊緣檢測同時仍然復制一路圖像不做算法處理，用來做效果對比。

3 系統實驗和成果展示

本設計在實驗室內測試。在實驗室內的的局域網中，將hi3518e開發板和上位機Ubuntu16.04搭建在一個網關下。并分別配置了不同的網址。將以運動中乒乓球作為對象的視頻圖像傳入處理函數。經過Canny邊緣檢測算法，顯示處理結果。如圖3所示。

4 系統實驗總結

本設計實現了視頻高清傳輸之外，還兼具視頻實時分析。豐富了同類產品的功能，顯示出hi3518e在視頻編解碼優秀的能力。同時使用opencv將Canny邊緣檢測算法加入，實現實時處理和顯示結果。由于邊緣檢測功能具有較廣的應用場景，又將擴大此類產品的功能性，豐富應用面，提升競爭力。促進了產業的發展和進。

參考文獻：

[1]黃凱奇， 陳曉棠， 康運鋒， et al. 智能視頻監控技術綜述 [J]. 計算機學報， 2015， 06）： 1093-118.

[2] 王瑩. 車用半導體需要兼顧經濟和節能——訪英飛凌公司汽車電子事業部副總裁Hans Adlkofer [J]. 電子產品世界， 2015， 04）： 1-2.

[3] 白雪. 基于圖像處理的目標識別及檢測技術 [D]； 蘭州理工大學， 2016.

[4] 晉海軍， 李明偉. 基于Hi3518E的高清網絡視頻監控系統設計與實現[J]. 電視技術， 2016， （03）： 34-37+47.

[5] Canny J. A Computational Approach to Edge Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， PAMI-8（6）： 679-698.

作者簡介：張俊赟（1991— ），碩士生，主研控制工程及其嵌入式方向.