多目超高清機場視頻拼接系統(tǒng)設計與軟件實現(xiàn)

方諍言，陳賢富

(中國科學技術大學 微電子學院，安徽 合肥 230026)

0 引言

圖像拼接技術是將數(shù)張有重疊部分的圖像(可能是不同時間、不同視角或者不同傳感器獲得的)拼成一幅大型無縫高分辨率圖像[1]。日本的內藤誠[2]采用多個PC 平臺的分布式架構來實現(xiàn)4K 超高清實時視頻的編碼，同時基于MPI(信息傳遞接口)通信協(xié)議實現(xiàn)多機通信。布朗[3]采用不變的局部特征作為全局特征進行匹配，該方法適用于攝像機偏移忽略不計的理想狀態(tài)。民航二所科研中心自主研發(fā)的全景增強監(jiān)視系統(tǒng)，采用8 臺激光投影機與幕布，通過投影融合和視頻墻控制顯示全景視頻。其優(yōu)點是可以實現(xiàn)相對的無縫拼接，缺點是采用硬件的手段構建全景視頻，硬件成本高。國防科技大學的李靜[4]等人運用了一種貝葉斯特征細化模型來自適應地去除不正確的局部匹配點，提高匹配點的正確率，減少拼接后的圖像出現(xiàn)重影。但對于實時性要求高的場景，該方案無法實現(xiàn)實時顯示。電子科技大學的張浩[5]實現(xiàn)了基于異構多核的DSP 處理器進行高清1 920×1 080 分辨率圖像拼接。這種基于DSP 處理器系統(tǒng)架構對于4K 以上分辨率的圖像處理實時性較差。

經過文獻調研后，本文設計了一種全景多路超高清監(jiān)控視頻拼接系統(tǒng)。該系統(tǒng)運用了分布式架構，使用了多線程處理技術，并提出了一種基于SMB(Server Message Block)協(xié)議的跨服務器傳輸視頻流算法，采用了基于預計算拼接參數(shù)的拼接模塊，大大提高了拼接的實時性。最終實現(xiàn)了機場監(jiān)控8 路4K 視頻實時拼接。

1 開發(fā)環(huán)境和總體架構設計

1.1 軟件開發(fā)環(huán)境

OpenCV 是一個開源的跨平臺計算機視覺庫。OpenCV 計算機視覺庫作為常用的圖像處理庫之一,功能強大,支持目前先進的圖像處理技術且體系十分完善,幾乎涵蓋了近十年內的主流算法[6]，可用于開發(fā)實時的圖像處理、計算機視覺以及模式識別程序。

VLC 多媒體播放器(VLC media player)是可移植的、開源的支持多數(shù)音視頻編碼及各種流媒體協(xié)議的多媒體播放器。

OpenCV 的優(yōu)點在于靈活性強，可對視頻幀進行處理。VLC 獲取視頻流速度快，支持多種格式。

1.2 硬件開發(fā)環(huán)境

該系統(tǒng)通過千兆交換機連接8 臺索尼（SNCVB770）4K 網絡攝像機與5 臺服務器。交換機為思科catalyst 3560 千兆交換機。網絡攝像機每秒最高輸出30 幀4K(3 840×2 160)視頻。

服務器硬件參數(shù)如表1 所示。

表1 計算機詳細參數(shù)（5 臺）

1.3 總體架構設計

傳統(tǒng)的圖像處理技術對于4K 分辨率圖片處理，時間過長且無法保證實時性。表2 是使用傳統(tǒng)圖像處理技術對4K 圖片操作進行測試，得出的花費時間。

表2 對4K 圖片處理時間

表2 給出了4K 圖像獲取視頻幀、色差處理、視頻拼接、視頻顯示所花費的時間。視頻拼接這一操作，僅僅針對兩張圖片進行處理，花費的時間大于100 ms，也就是每秒處理圖像小于10 幀。如果對視頻處理速度小于每秒10 幀，視頻顯示的流暢度則無法保證。故本文不僅選用了性能更強的設備，而且使用并行處理技術，還設計了如圖1 所示的分布式系統(tǒng)架構來加速視頻拼接算法的運行速度。

該系統(tǒng)有5 臺服務器，包括4 臺下位機、1 臺上位機。每臺下位機負責對2 路4K 視頻流進行處理：獲取視頻幀、縮放視頻幀、色差調整、傳輸?shù)缴衔粰C，上位機獲取8 路視頻進行拼接、存儲以及顯示。利用該分布式系統(tǒng)能夠提高系統(tǒng)的處理速度，輸出20 幀/s 的畫面。

2 系統(tǒng)設計與軟件實現(xiàn)

2.1 系統(tǒng)總體設計

本系統(tǒng)依據視頻拼接逐幀拼接的特點，將整個視頻拼接流程分配到上下位機5 臺機器上，上位機、下位機邏輯流程圖如圖2 所示。

下位機使用VLC 拉取視頻流，獲得視頻幀后，由OpenCV 進行視頻幀縮放。這里的縮放是為了能夠顯示在4K 顯示器上，并且可以減少拼接視頻花費的時間。若不縮放直接使用4K 視頻拼接會花費大量時間，無法滿足實時性的要求，且會對后續(xù)的顯示造成困難。故采用先對視頻幀進行縮放，后進行拼接的處理過程。

在4K 圖片拼接測試中，針對大場景的圖像進行拼接，得到的全景圖會出現(xiàn)色差，人肉眼就能感受到拼接的痕跡，影響拼接效果。圖3 所示為截取的拼接全景圖的部分圖像。

圖1 系統(tǒng)架構圖

圖2 邏輯流程圖

圖3 全景色差圖

故在傳輸之前，下位機對視頻幀進行色差校正后再對視頻幀進行縮放、色差校正等一系列處理，之后傳輸?shù)缴衔粰C。上位機進行拼接，最后存儲并顯示。

2.2 系統(tǒng)關鍵功能設計

2.2.1 視頻傳輸模塊

在傳輸中，全景視頻的超大分辨率帶來諸多困難，包括帶寬不足和實時性不佳等問題。這些問題為算法設計與軟件實現(xiàn)提出了挑戰(zhàn)[7]。

SMB(Server Message Block)協(xié)議是一種基于TCP/IP協(xié)議實現(xiàn)的網絡文件共享傳輸協(xié)議。利用該協(xié)議可將視頻文件寫入上位機中。本文提出了一種交替讀取寫入策略。以一路視頻流為例：

(1)初始化：上位機開辟緩沖區(qū)建立文件夾V1，下位機向上位機V1 文件夾寫入第一個文件1.avi 與第二個文件2.avi。同時置標志文件1.txt，2.txt 為0。視頻幀數(shù)量控制為50 幀左右。

(2)上位機循環(huán)讀?。荷衔粰C讀取標志文件1.txt。此時1.txt 標志位為0，讀取1.avi。讀取完畢之后釋放1.avi，置標志文件1.txt 為1。上位機讀取標志文件2.txt。如此反復。

(3)下位機循環(huán)寫入：下位機讀取標志文件，查看標志位。若標志位為1，則寫入視頻幀；反之等待。如此反復。

視頻傳輸流程如圖4 所示。

通過這種傳輸機制，實現(xiàn)了將下位機初步處理后的8 路視頻寫入上位機進行視頻拼接。該機制初始化時，設置初始文件大小為50 幀左右，是考慮到初始化時間過長會導致拼接圖像與實際圖像存在時延。

2.2.2 視頻拼接模塊

圖4 視頻傳輸流程圖

視頻拼接模塊是該系統(tǒng)的核心，也是該系統(tǒng)的設計難點。考慮一種特殊情況：視頻拼接的速度小于視頻寫入的速度，該情況下會導致拼接圖像與實際圖像出現(xiàn)越來越大的時延。此種情況說明該系統(tǒng)的瓶頸是視頻拼接的時間。

如何有效降低視頻拼接的耗時是該系統(tǒng)的一個重點。本文結合系統(tǒng)的使用場景和硬件環(huán)境，提出了一個基于預計算拼接參數(shù)的拼接模塊。

傳統(tǒng)圖像拼接根據相鄰圖片之間存在的重疊區(qū)域，找出圖片的特征點進行匹配，之后利用匹配好的特征點計算出單應矩陣即像素點坐標的變換矩陣。而上述流程在拼接過程中花費大量時間。針對監(jiān)控攝像頭有位置相對固定的特點，以機場這一場景為例：攝像機是布置在位于跑道一側的中間位置，在該位置修建了監(jiān)控高塔用以布置攝像機。攝像機在塔頂呈扇形布置，并在外側設置保護罩防止外界因素對攝像機造成干擾。攝像機位置是固定保持不變的，利用圖像配準算法一次計算出單應矩陣作為固定參數(shù)，可直接用于后續(xù)的圖像拼接中，將大大減少耗時。設原圖中某一像素點的坐標為(x，y)，變換后的坐標為(x′，y′)。單應矩陣為：

則(x，y)與(x′，y′)的變換關系為：

則有：

若直接利用單應矩陣進行圖像映射和拼接，會花費大量時間。因此本文采用通過單應矩陣得出像素點的映射關系，并存儲在矩陣中，具體步驟如下：

(1)構造一個指針矩陣，矩陣大小為合成圖后的像素大小；

(2)將對應像素點的映射關系寫入指針矩陣中；

(3)合成圖像時遍歷指針矩陣，即可得到對應關系。

變換前的原坐標能夠用單應矩陣與變換后的坐標表示，推導如下：

由式(3)、(4)可得：

最后可得x、y：

采用該方法進行拼接，對下位機傳輸?shù)? 路視頻，拼接一幀全景圖只需要14～15 ms。

2.3 系統(tǒng)軟件界面

根據系統(tǒng)功能實際需要，使用C# 語言構建系統(tǒng)軟件。該軟件客戶端由四個部分組成，分別是視頻拼接、視頻回放、日志管理、系統(tǒng)設置。

圖5 展示了視頻拼接界面，該界面可以完成拼接后顯示全景視頻，而且保留傳統(tǒng)監(jiān)控平臺對多路視頻進行播放顯示的功能。

圖6 展示了視頻回放界面，監(jiān)控視頻通常需要保存一個月以上，該模塊能夠通過時間檢索視頻，并且實現(xiàn)了倍速播放，方便快速查找具體某個時間點的視頻片段。

日志管理界面用于記錄所有操作記錄及錯誤信息，配合系統(tǒng)設置中的用戶管理，對客戶端進行系統(tǒng)權限控制。如普通用戶無法查看后臺視頻回放和系統(tǒng)設置中的權限管理功能；超級管理員用戶擁有最高管理權限，能夠使用系統(tǒng)所有功能，并能分配系統(tǒng)賬號及權限。

圖5 視頻監(jiān)控界面

圖6 視頻回放界面

3 系統(tǒng)測試

3.1 系統(tǒng)實時性與穩(wěn)定性測試

由于機場場景特殊，無法進入機場內搭建測試環(huán)境進行測試，故自行搭建了測試環(huán)境。在樓頂架設攝像機平臺，安裝攝像機并保證視頻間具有一定的重疊區(qū)域。攝像機平臺如圖7 所示。

圖7 攝像機平臺

該系統(tǒng)要實現(xiàn)對8 路4K 視頻進行拼接并輸出4K 拼接后全景視頻。下位機完成了旋轉圖像、色差調整、圖像縮放、圖像寫入。上位機完成了8 路視頻圖像拼接、視頻顯示、視頻存儲。表3 是系統(tǒng)實時性測試結果。測試了上下位機處理1 000 幀圖像的平均時間。測試結果表明該系統(tǒng)實時性較高，處理速度達到預期，速度達到25 幀/s。

表3 實時性測試結果(ms)

調試系統(tǒng)后連續(xù)不間斷運行24 h，未發(fā)現(xiàn)視頻有明顯延遲，運行速度及拼接效果無明顯下降，說明系統(tǒng)穩(wěn)定性良好。

3.2 系統(tǒng)拼接效果

圖8 是未拼接前的部分視頻圖像，由于后期調整了攝像機位置，因此視角有所縮小；圖9 展示了系統(tǒng)實時運行拼接效果圖，該圖無明顯拼接痕跡與畸變，圖像質量良好，達到了設計的預期效果。

圖8 未拼接視頻圖像

圖9 全景視頻圖像展示

4 結論

視頻監(jiān)控是安全防范的重要組成部分，監(jiān)控的第一要務是用最短時間從被監(jiān)控的地方獲取盡可能多的信息反饋[8]。傳統(tǒng)監(jiān)控攝像頭的布置較為分散，監(jiān)控人員需要目不轉睛地專注于多個攝像頭的內容來保證對某個區(qū)域的監(jiān)控。超出一定數(shù)量的攝像頭，監(jiān)控人員難以保持長時間的注意力。本設計針對這一問題，設計并實現(xiàn)了一個基于分布式系統(tǒng)的全景視頻拼接軟件，在一定程度上減少了監(jiān)控人員的工作壓力，也給決策人員提供了更加全面、有效的支持。

經多次調試驗證后，該全景拼接軟件系統(tǒng)穩(wěn)定性和實時性滿足設計要求，并順利通過驗收。但是對于視頻拼接的質量，如對圖像色差進一步調整以實現(xiàn)更大對比度下的流暢過渡、整個系統(tǒng)的可靠性、處理速度的提升以實現(xiàn)30 幀以上的視頻處理等問題，還有待進一步研究。