一種基于OpenCV提高文件拍攝流暢性的方法和系統?

一種基于OpenCV提高文件拍攝流暢性的方法和系統?

王咸鋒

（廣東建設職業技術學院建筑信息系廣州510440）

針對目前圖像視頻處理過程中存在渲染速度慢、效率低、CPU損耗大、流暢性不高、很難滿足用戶體驗需求的問題，論文提出了一種基于開源計算機視覺庫（Open Source Computer Vision，OpenCV）提高文件拍攝流暢性的方法和系統。將渲染的幀數據和攝像頭獲取的幀數據的速率進行分離，通過異步渲染的方式將幀處理的邏輯和渲染的邏輯分別運行于兩個不同的線程中；然后通過適當的丟幀操作，提高文件拍攝的流暢度。該方法可以降低CPU的使用率，提高圖像渲染的速度和效率，從而提升圖像視頻的流暢性，為用戶提供更好的體驗。該方法和系統可廣泛應用到各領域的圖像視頻處理中，具有重要的應用價值。

OpenCV；文件拍攝；流暢性；幀處理；異步渲染

Class NumberTP391.41

1 引言

近年來，隨著計算機和電子技術的發展，圖像視頻處理技術已廣泛應用到工業技術、醫療診斷、航空航天、農業、資源、環境、氣象、交通監測及文化教育等領域，并且取得了巨大的經濟效益和社會效益［1～10］。例如，梁濤等在VC++開發平臺上，結合OpenCV技術和外接攝像頭，提出了一種人眼識別和跟蹤的視頻圖形檢測方法［11］。王徐華等設計了一種圖像視頻處理系統，用于輔助飛行員完成目標搜索、自動跟蹤目標、測量目標方位/速度、控制武器發射等功能［12］。馬新明等采用OpenCV計算機視覺庫混合編程，設計實現了一種用于快速診斷作物病害的圖像處理系統，為用戶提供輔助決策，以降低病害對作物生產的影響［13］。總結分析現有的相關研究，圖像以視頻方式展示的過程主要可以分為三大部分：幀處理、渲染和顯示。綜合而言，目前在圖像視頻幀處理、渲染和顯示的過程中，主要存在如下問題：1）圖像的流暢性與圖像渲染的幀率密切相關，當渲染的幀率提高到大于攝像頭本身支持的最大幀率時，從攝像頭獲取每一幀數據，會拖慢渲染的速度，直接影響用戶體驗；2）渲染后的開源計算機圖像庫圖像要轉換為hbitmap（位圖句柄）圖像才能顯示到屏幕上，這個過程相當損耗CPU性能；同時由于bitblt（位圖動畫）的渲染沒有通過硬件加速，渲染效率比較低，幀數據經過幀處理到渲染整個過程所需要的時間變長，直接影響圖像的流暢性和用戶的體驗。

針對以上不足，本文基于OpenCV研發了一種提高文件拍攝流暢性的方法和系統。通過將渲染的幀數據和攝像頭獲取的幀數據的速率進行分離，渲染較快時幀進行重復使用，可以在界面操作頻繁的時候設置較大的渲染速度，讓繪圖或者批注的操作相對流暢；同時，通過異步渲染的方式使得幀處理的邏輯和渲染的邏輯分別運行在不同的兩個線程當中；當從攝像頭獲取的視頻圖像幀數大于幀處理的視頻圖像幀數時，通過適當的丟幀操作，提高文件拍攝的操作效率和流暢度，降低CPU的損耗，提高圖像視頻的流暢性，為用戶提供更好的體驗。

2 OpenCV簡介

OpenCV（Open Source Computer Vision）誕生于Intel研究中心，是一個開放源碼的計算機視覺庫。OpenCV是專門用于數字圖像處理的函數庫，能夠在Windows、Linux、Mac平臺中運行，它由一系列C函數和少量C++類構成，提供了針對各種格式的視頻圖像源文件（如：bitmap圖像、video文件和實時攝像機視頻流）的幀提取函數和多種標準圖像處理算法，這些函數在具體的開發項目中直接調用，即可完成復雜龐大的開發任務［14～20］。OpenCV的設計簡單易用，其中大部分類及庫函數的設計都有其特定的在實際應用的背景，因此整個庫的體系結構非常簡單明了，提供了一些諸如Python、Ruby、Matlab等其他預言或環境的接口。OpenCV的體系結構如圖1所示。

圖1 OpenCV基本結構

OpenCV的CV模塊包含基本的圖像處理函數和高級的計算機視覺算法。MLL是機器學習庫，包含一些基于統計的分類和聚類工具。HighGUI包含圖像和視頻輸入/輸出的函數。CXCore包含OpenCV的一些基本數據結構和相關函數。圖1中并沒有包含OpenCV中另外一個模塊：CvAux模塊，該模塊中一般存放一些即將被淘汰的算法和函數，同時還有一些新出現的實驗性的算法和函數［20～21］。

本文基于OpenCV原理和方法，提出一種提高文件拍攝流暢性的方法和系統，解決了目前圖像視頻處理、渲染和顯示過程中存在的主要問題，提高圖像處理、渲染速度和效率，降低CPU損耗，提高圖像視頻的流暢性，為用戶提供更好的體驗。

3 系統的設計與實現

3.1系統結構

論文研發的提高文件拍攝流暢性的方法和系統，主要由圖像掃描單元、采集和存儲單元、處理單元以及渲染和顯示單元四大系統單元組成，系統的功能單元模塊如圖2所示。

圖2 系統功能單元模塊示意圖

1）圖像掃描單元模塊，主要用于通過攝像頭對文件進行圖像掃描，獲取所述文件的在前視頻圖像；該單元還包括音頻信息采集單元，用于通過麥克風捕獲音頻信息。本系統圖像掃描的流程如圖3。

圖3 本系統圖像掃描流程

2）圖像采集和存儲單元模塊，主要用于采集所述在前視頻圖像，并將所述在前視頻圖像以及采集該在前視頻圖像的時間存儲到存儲單元中。視頻圖像通過視頻采集卡進行采集，然后再由視頻采集過濾器（Video Capture Filter）從視頻采集卡中獲得視頻圖像數據流進行解碼。解碼后的視頻圖像直接存儲到存儲單元中，這樣幀處理可直接從存儲單元中調取。采集存儲單元的流程如圖4所示。

圖4 本系統圖像采集和存儲流程圖

3）處理單元模塊，主要用于通過幀處理線程對存儲單元中的在前視頻圖像進行幀處理。為了實現異步渲染，將原本只有一個線程實現幀處理和渲染的過程，分割成由獨立的幀處理線程實現幀處理過程以及由獨立的渲染隊列處理線程實現渲染過程，幀處理過程的幀數據（為在前視頻圖像）來自于存儲單元，幀處理后的幀數據在儲存到渲染隊列中，渲染隊列處理線程只針對渲染隊列中的幀數據進行渲染。創建幀處理線程以及渲染隊列處理線程只執行一次，之后的各種操作時忽略這兩個步驟。

幀處理是通過幀處理線程讀取攝像頭采集的幀數據并轉換成開源計算機圖像庫OpenCV圖像，并將該圖像送入每個自定義的過濾器（Filter）中進行處理，過濾器是基于DirectShow創建的組件對象模型（COM），執行一些多媒體流的操作，如繪圖、批注等。過濾器的種類有很多，不同種類的過濾器相互連接在一起就形成了過濾器圖表。同時，幀處理過程還包括通過OpenCV對視頻圖像進行的處理包括如視頻繪圖、視頻的旋轉、圖像的糾偏、圖像的自動捕捉與拍照、圖像的自動去黑邊、剪切等，高效率的實現了視頻圖像的實時處理。

在幀處理過程中，為了控制幀率和CPU的使用率，在線程中每處理完一幀都調用了sleep函數執行掛起操作，這樣即可以降低了CPU的使用率，也可以控制幀率。如果在單位時間內從攝像頭獲取的視頻圖像幀數大于幀處理的視頻圖像幀數，則執行丟幀操作，所述丟幀操作為將多余部分不進行幀處理以及渲染而直接釋放，所述多余部分為在單位時間內從攝像頭獲取的視頻圖像幀與幀處理的視頻圖像幀相減后的視頻圖像幀。

本系統幀處理的流程如圖5所示。

圖5 本系統幀處理流程圖

4）渲染和顯示單元模塊，主要用于通過渲染隊列處理線程對該在前視頻圖像進行渲染后使其顯示在用戶指定的窗口中。主要包含如下過程：

創建渲染隊列：在渲染模塊啟動的時候，即幀處理完成后，創建一個有別于幀處理線程的渲染隊列處理線程和一個對渲染隊列處理線程相對應的渲染隊列，渲染隊列處理線程只調用渲染隊列中的視頻圖像進行渲染操作，同時，渲染隊列是在內存中創建。

壓入：將幀處理后的在前視頻圖像壓入到所述渲染隊列中，使得渲染隊列處理線程只處理該壓入到所述渲染隊列中的視頻圖像。

渲染隊列檢測：通過渲染隊列處理線程實時檢測所述渲染隊列中是否存在在前視頻圖像，如果存在，則進行渲染和顯示，反之，如果未有壓入的視頻圖像，而渲染的時間又小于時間間隔，則渲染隊列處理線程繼續將之前渲染過的視頻圖像再次渲染并顯示。

渲染和顯示：通過渲染隊列處理線程對該在前視頻圖像進行渲染后使其顯示在用戶指定的窗口中。渲染的時候先把OpenCV的圖像轉化為hbit?map對象，即轉換成適應于位塊轉換方式的位圖句柄圖像，然后通過bitblt的方式進行圖像的顯示。

文件再掃描，獲取在后視頻圖像：如果渲染在前視頻圖像的時間小于間隔時間，則對文件進行再次圖像掃描，獲取所述文件的在后視頻圖像，并將該在后視頻圖像依次執行圖像采集和存儲、幀處理、壓入、檢測、渲染和顯示的操作。即當在前視頻圖像渲染完后要判斷現在的時間是否到了可以從攝像頭獲取下一幀視頻圖像（即在后視頻圖像）的時間間隔，這里的時間間隔是指攝像頭采集在后視頻圖像的時間與采集在前視頻圖像的時間之差，如果幀處理過程中設定了掛起操作，則包括該掛起時間，如果還沒到，但是已經到了要渲染下一幀的時間了，這時候，這一個要渲染的幀不再通過攝像頭獲取，而是直接讀取存儲單元中的在前視頻圖像；但是當走到渲染和顯示中發現如果渲染存儲到渲染隊列中的在前視頻圖像的時間（這個時間理應包括壓入渲染隊列中的時間）已經足夠可以從攝像頭獲取下一幀視頻圖像的時候，到了必須要通過攝像頭獲取下一幀數據的時候（如果不在攝像頭獲取，而是長時間通過存儲單元獲取，會導致界面看到的圖像數據延時比較嚴重），就通過攝像頭獲取幀數據并同樣的把這一幀數據和獲取這幀數據的時間在存儲單元中保存起來，然后對該在后視頻圖像的處理方式與在前視頻圖像的處理方式相同，對待后續每一幀視頻圖像均采用該方式。這樣做，刷新（渲染）較快時候在前視頻圖像重復使用，可方便在界面操作頻繁的時候設置較大的渲染速度，讓繪圖或者批注的操作相對流暢，同時硬件幀的采集速度也控制了起來，提供了更好的用戶體驗。

本系統渲染和顯示的流程如圖6所示。

圖6 本系統的渲染和顯示流程示意圖

3.2系統整體處理流程

該系統的整體處理流程如圖7所示。

步驟1、通過攝像頭對文件進行圖像掃描，獲取所述文件的在前視頻圖像；

步驟2、采集所述在前視頻圖像，并將所述在前視頻圖像以及采集該在前視頻圖像的時間存儲到存儲單元中；

步驟3、創建幀處理線程；

步驟4、通過幀處理線程對存儲單元中的在前視頻圖像進行幀處理；

步驟5、幀處理完畢后，創建一渲染隊列和與所述渲染隊列對應的渲染隊列處理線程，所述渲染隊列在內存中建立；

步驟6、將幀處理后的在前視頻圖像壓入到所述渲染隊列中；

步驟7、通過渲染隊列處理線程實時檢測所述渲染隊列中是否存在在前視頻圖像，如果存在，則執行步驟8；

步驟8、通過渲染隊列處理線程對該在前視頻圖像進行渲染后使其顯示在用戶指定的窗口中；

步驟9、在步驟8中，如果渲染該在前視頻圖像的時間小于間隔時間，則繼續執行步驟8，反之，則執行步驟10；

步驟10、對文件進行再次圖像掃描，獲取所述文件的在后視頻圖像，并將該在后視頻圖像依次執行步驟2、4、6、7的操作，所述間隔時間為采集所述在后視頻圖像的時間與采集在前視頻圖像的時間之差。

圖7 本系統的整體處理流程示意圖

3.3 系統的特征

與現有技術相比，本研究提出的提高文件拍攝流暢性的方法和系統，可廣泛應用到圖像的采集、顯示、存儲和應用中。具有如下的特征：

1）通過將渲染的幀數據和通過攝像頭獲取的幀數據的速率進行分離，刷新較快時幀進行重復使用，可以在界面操作頻繁的時候設置較大的渲染速度，讓繪圖或者批注的操作相對流暢，提供了更好的用戶體驗。

2）通過異步渲染的方式使得幀處理的邏輯和渲染的邏輯分別運行在不同的兩個線程當中，比原來兩個邏輯都在同一個線程當中進行流水式的操作效率更好，也提高了用戶的體驗度。

3）在每次幀處理后執行掛起（通過sleep函數實現）操作，這樣既可以降低CPU的使用率，也可以控制幀率。

4）在人眼分辨不出的情況下，通過適當的丟幀操作，進一步提高流暢度。

4 系統儀器及其應用實例

4.1系統軟件介紹

應用上述理論和方法，本文研發了具有自主知識產權的高拍儀及其系統軟件，可以一鍵快速拍攝高清文檔，使視頻制作更加高效、流暢；可廣泛應用到多媒體教學等領域，軟件界面如圖8所示。

圖8 本文研發的高拍儀軟件界面示意圖

打開軟件，進入軟件主界面，用戶可以在這個界面進行實物演示、拍照或者視頻制作等。主界面包含了標題欄、視頻工具、視頻圖像區、白板工具區和設置區。標題欄主要用于顯示本軟件的標題，包含了系統菜單；視頻展示工具區可以使用戶實現對視頻畫面的任意放大和縮小，即使是很小的文字、細節、實物也能清晰的顯示，并能通過旋轉工具調整畫面實現任意角度的顯示；設置區，用戶可以選擇更換視頻設備、文件類型、文件質量、去黑邊、糾正、顏色模式、分辨率等進行設置；視頻圖像區主要展示視頻展臺捕捉到的圖像；白板工具區主要是對圖像進行批注，如顏色、線條大小、形狀、文字輸入、橡皮擦、拍照、連拍、指定拍攝等。

4.2應用實例

下面以多媒體教學為例對高拍儀和系統軟件進行實例分析。本軟件在對媒體教學中可以高效實現：1）一鍵快速高清文檔拍攝，課件制作更加高效高速；2）可以實現全屏高清實物展示，畫面逼真、視覺沖擊力強，使多媒體互動式教學更加富有活力、生動、有趣；3）實時縮放、旋轉、移動，實時對展示畫面進行批注，高清音視頻錄制，多分屏對比教學，文檔拍攝、進行課件采集、收集課件素材，一鍵PDF轉換，支持圖片完美拼接和拆分等功能，讓多媒體教學更便捷、內容更豐富多彩。圖9是利用該軟件拍攝到的多媒體教學過程中的圖像視頻截圖展示實例。

圖9 多媒體教學過程中的軟件圖像視頻截圖展示實例

5 結語

通過大量文獻分析，論文總結了目前圖像視頻處理、渲染和顯示過程中存在的主要問題；以此為基礎，基于OpenCV，提出了一種提高文件拍攝流暢性的方法和系統，通過將渲染的幀數據和攝像頭獲取的幀數據的速率分離，同時通過異步渲染的方式將幀處理的邏輯和渲染的邏輯分別運行于兩個不同的線程中；通過適當丟幀的操作，進一步提高文件拍攝流暢度；論文對該系統的體系結構、處理流程和系統特征等進行了詳細論述；基于此系統理論方法，研發了高拍儀及其處理系統軟件，并對其在多媒體教學中的應用開展了實例分析。結果表明，論文提出的提高文件拍攝流暢性的方法和系統，可以提高圖像的處理、渲染速率，降低CPU損耗，提高圖像視頻的流暢性，提供更好的用戶體驗，可廣泛應用到各領域的圖像視頻處理，具有重要的應用價值。

［1］陸旭，梁光明，陳韻迪.一種基于ARM的嵌入式圖像處理系統設計［J］.計算機與數字工程，2016，44（9）：1812-1815.

LU Xu，LIANG Guangming，CHEN Yundi.Embedded Im?age Processing System based on ARM［J］.Computer& Digital Engineering，2016，44（9）：1812-1815.

［2］錢俊，符意德，逯沛龍.雙目視覺的圖像采集模塊設計［J］.計算機與數字工程，2015，43（4）：725-728.

QIAN Jun，FU Deyi，LU Peilong.Design of Image Acquisi?tion Module of Binocular Vision［J］.Computer&Digital Engineering，2015，43（4）：725-728.

［3］葉青，胡昌標.基于圖論的圖像分割方法關鍵技術研究［J］.計算機與數字工程，2016，44（8）：1563-1566.

YE Qing，HU Changbiao.Key Techniques of Image Seg?mentation based on Graph Theory［J］.Computer&Digital Engineering，2016，44（8）：1563-1566.

［4］J.Kapur，P.Sahoo，A.Wong.A new method for gray-lev?el picture thresholding using the entropy of the histogram computer vision［J］.Graphics and Image Processing，1985，29：273-285.

［5］張歡歡.基于嵌入式圖像處理的儀表智能識別技術研究［D］.杭州：浙江理工大學，2015.

ZHANG Huanhuang.Meter Intelligent Identification Tech?nology based on Embedded Image Processing［D］.Huang?zhou：Zhejiang Sci-Tech University，2015.

［6］檀柏紅，任立肖，張麗.基于視頻圖像處理技術的汽車防撞系統的研究現狀［J］.北華航天工業學院學報，2008，18（5）：7-10.

TAN Baihong，REN Lixiao，ZHANG Li.State-of Art of Vehicle Collision Avoidance System based on Video Im?age Processing［J］.Journal of North China Instutite of Aerospace Engineering，2008，18（5）：7-10.

［7］徐東彬，劉昌平，黃磊.融合邊緣和角點特征的實時車輛檢測技術［J］.小型微型計算機系統，2008，29（6）：1142-1145.

XU Dongbin，LIU Changping，HUANG Lei.Real-time Ve? hicle Detection Uing Edge and Corner Feature［J］.Journal of Chinese Computer Systems，2008，29（6）：1142-1145.

［8］江超，艾矯燕.基于OpenCV的攝像頭動態手勢軌跡識別及其應用［J］.計算機應用，2012，32（S1）：129-133.

JIANG Chao，AI Jiaoyan.Dynamic Gesture Trajectory Rec?ognition and its application design for camera based on OpenCV［J］.Journal of Computer Applications，2012，32（S1）：129-133.

［9］賈小軍，喻擎蒼.基于開源計算機視覺庫OpenCV的圖像處理［J］.計算機應用與軟件，2008，25（4）：276-278.

JIA Xiaojun，YU Qingcang.The Image Processing based on OpenCV［J］.Computer Applications and Software，2008，25（4）：276-278.

［10］梁濤，張志文.基于OpenCV的視頻圖像人眼跟蹤方法的研究［J］.科學技術與工程，2013，13（5）：1354-1358.

LIANG Tao，ZHANG Zhiwen.Eye Tracking Method based on the OpenCV Video Image［J］.Science Technol?ogy and Engineering，2013，13（5）：1354-1358.

［11］王徐華，樊曉光，徐顯亮.基于TMS320DM642的視頻圖像處理系統設計與實現［J］.器件與應用，2009，33（10）：28-31.

WANG Xuhua，FAN Xiaoguang，XU Xianliang.Design ofVideoImageProcessingSystembasedon TMS320DM642［J］.Video Engineering，2009，33（10）：28-31.

［12］馬新明，趙曉莉，時雷，等.基于OpenCV的圖像處理系統設計與實現［J］.河南農業大學學報，2014，48（1）：87-90.

MAXinming，ZHAOXiaoli，SHILei，etal. OpenCV-based Image Processing System Design and Im?plementation［J］.Journal of Henan Agricultural Universi?ty，2014，48（1）：87-90.

［13］劉麗梅，鄭新武，陳永明，等.基于OpenCV的圖像處理程序開發方法的研究［J］.計算機技術與應用，2010（5）：21-24.

LIU Limei，ZHENG Xinwu，CHEN Yongming，et al. OpenCV-based Image Processing Program Method［J］. Computer Technology and Application，2010（5）：21-24.

［14］滕俊，王弟林，文漢云.基于OpenCV下的Visual C++數字圖像處理方法［J］.現代計算機：專業版，2012（11）：70-72.

TENG Jun，WANG Dilin，WEN Hanyun.Visual C++Dig?ital Image Processing Method based on OpenCV［J］. Modern Computer，2012（11）：70-72.

［15］尹俊超，劉直芳.基于OpenCV的運動目標檢測與跟蹤［J］.計算機工程與設計，2011，32（8）：2817-2820.

YIN Junchao，LIU Zhifang.Detection and Tracking of Moving Objects based on OpenCV［J］.Computer Engi?neering and Design，2011，32（8）：2817-2820.

［16］王浩，許志聞，謝坤，等.基于OpenCV的雙目測距系統［J］.吉林大學學報（信息科學版），2014，32（2）：188-194.

［17］WANG Hao，XU Zhiwen，XIE Kun，et al.Binocular Mea?suring System based on OpenCV［J］.Journal of Jilin Uni?versity（Information Science Edition），2014，32（2）：188-194.

［18］秦小文，溫志芳，喬維維.基于OpenCV的圖像處理［J］.電子測試，2011（7）：39-41.

QIN Xiaowen，WEN Zhifang，QIAO Weiwei.Image Pro?cessing based on OpenCV［J］.Electronic Test，2011（7）：39-41.

［19］王咸鋒，黃妙燕.基于OpenCV實現文檔物體的糾偏方法［J］.電腦知識與技術，2016（24）：87-89.

［20］WANG Xianfeng，HUANG Miaoyan.Realization of Docu?ment Object Rectification Method Based on OpenCV［J］. Computer Knowledge and Technology，2016（24）：87-89.

［21］區文博.基于DorectShow和OpenCV的視頻圖像處理系統［D］.北京：北京郵電大學，2011.

QU Wenbo.The Video Processing System based on Di?rectShow and OpenCV［D］.Beijing：Beijing University of Posts and Telecommunications，2011.

A Method and System for Improving Fluidity of Document Filming Based on OpenCV

WANG Xianfeng
（Department of Construction Information，Guangdong Construction Vocational Technology Institute，Guangzhou510440）

Based on the problems of slow rendering speed，low efficiency，large CPU loss，low fluency，and the difficulty of meeting the needs of users'experience，this paper presented a method and system for improving fluency of document filing based on the OpenCV（Open Source Computer Vision）.The rate of the frame data from rendering and the frame data from the camera are sep?arated to run in two different threads through the asynchronous rendering of the frame processing logic and rendering logic.Then，through the appropriate drop frame operation to improve the file shooting fluency，this method can reduce the CPU usage and im?prove the speed and efficiency of image rendering，thereby enhancing the fluency of image and video to provide users with a better experience.The method and system can be widely applied to various fields of image and video processing，and has important appli?cation value.

OpenCV，document filming，fluidity，frame data，asynchronous rendering

TP391.41

10.3969/j.issn.1672-9722.2017.05.023

2016年11月15日，

2016年12月19日

國家自然科學基金（編號：50908037）資助。

王咸鋒，男，副教授，研究方向：軟件開發與圖像處理。