視頻拼接融合技術(shù)在斗輪機(jī)無(wú)人值守系統(tǒng)中的研究應(yīng)用

串志強(qiáng) 周洪利

[摘 ? ?要]隨著數(shù)字化煤場(chǎng)信息化的快速發(fā)展，煤場(chǎng)管理人員和技術(shù)人員以及操作員缺乏視頻監(jiān)控信息集成手段的認(rèn)識(shí)，無(wú)法實(shí)現(xiàn)將有效的監(jiān)控信息與實(shí)際的場(chǎng)景建立關(guān)聯(lián)，在斗輪機(jī)工作過(guò)程中可能會(huì)存在大量的盲點(diǎn)，無(wú)法實(shí)時(shí)掌握監(jiān)控區(qū)域的整體實(shí)時(shí)狀況，無(wú)法最大化發(fā)揮出視頻監(jiān)控的價(jià)值，故原有視頻監(jiān)控模式在條形煤場(chǎng)斗輪機(jī)無(wú)人值守系統(tǒng)中無(wú)法滿足現(xiàn)實(shí)需求。提出一種實(shí)現(xiàn)視頻圖像融合的技術(shù)方案并成功應(yīng)用于項(xiàng)目，系統(tǒng)采用視頻圖像特征提取、視頻圖像融合等算法，結(jié)合攝像機(jī)合理布局，完成對(duì)數(shù)字化條形煤場(chǎng)的圖像拼接與融合。結(jié)合項(xiàng)目實(shí)際情況，將煤場(chǎng)馬道上六個(gè)攝像機(jī)進(jìn)行視頻融合，完成在一幅圖像中查看整個(gè)煤場(chǎng)的實(shí)時(shí)動(dòng)態(tài)情況，實(shí)現(xiàn)了將視頻監(jiān)控信息與傳感器信息進(jìn)行有效融合，從而獲得實(shí)際應(yīng)用場(chǎng)景的三維全景圖，提升故障診斷能力，將視頻監(jiān)控應(yīng)用提升一個(gè)臺(tái)階。為斗輪機(jī)設(shè)備、周邊設(shè)備及人員的工作安全提供有力的技術(shù)支撐和保障，為斗輪機(jī)無(wú)人值守系統(tǒng)安全運(yùn)行提供決策支持。

[關(guān)鍵詞]全景拼接;圖像配準(zhǔn);圖像融合;特征點(diǎn)去噪

[中圖分類號(hào)]TM621 [文獻(xiàn)標(biāo)志碼]A [文章編號(hào)]2095–6487（2022）01–0–04

[Abstract]With the rapid development of digital coal yard informatization， The managers， technicians and operators of coal yard are lack of large-scale discrete video information means of effective integration for the traditional video monitoring system， and can't associate the effective monitoring video with the real scene in isolation. There may be a lot of blind spots in the working process of bucket wheel， and they can't grasp the overall real-time situation of the monitoring area in real time， and can't maximize the use of video monitoring Therefore， the original video monitoring mode can not meet the practical needs in the unattended system of bucket wheel machine in strip coal yard. In this paper， a fusion algorithm of strip image and video image is proposed and applied to the project. Combined with the actual situation of the project， the video fusion of six cameras on the raceway of the coal yard is completed to view the real-time dynamic situation of the whole coal yard in one image， so as to effectively integrate， analyze and process massive video monitoring and various complex sensor information， so as to obtain the panoramic visualization and fault judgment ability in three-dimensional space-time， and enhance the application of video monitoring to a higher level steps. It provides strong technical support and guarantee for the safety of the bucket wheel machine equipment， peripheral equipment and personnel， and provides decision support for the safe operation of the unattended system of the bucket wheel machine.

[Keywords]panoramic mosaic; image registration; image fusion; feature point denoising

隨著攝像機(jī)應(yīng)用技術(shù)的不斷演進(jìn)和成熟，圖像拼接技術(shù)在視頻領(lǐng)域應(yīng)用受到越來(lái)越多的重視。國(guó)內(nèi)外很多研究者對(duì)其進(jìn)行了不同方式的探索和研究，取得了一定的成果。在高空飛行拍攝森林圖像時(shí)，受到地理地貌、飛行高度、無(wú)人機(jī)穩(wěn)定性、鏡頭分辨率等因素的影響，無(wú)人機(jī)只能一次獲取部分林區(qū)圖像。因此需要使用圖像拼接技術(shù)對(duì)拍攝圖像進(jìn)行拼接，以此獲取整個(gè)林區(qū)全貌。然而，國(guó)內(nèi)外大部分研究針對(duì)圖像拼接技術(shù)、視頻拼接技術(shù)發(fā)展起步較晚，技術(shù)尚未成熟完善。視頻拼接原理上雖然是多副圖像的拼接，但是在實(shí)際使用時(shí)應(yīng)考慮同步性，這就需要發(fā)現(xiàn)一種效果更佳的圖像拼接技術(shù)來(lái)提高處理速度，保證同步性。

在傳統(tǒng)的視頻監(jiān)控系統(tǒng)中只能觀察到攝像機(jī)周邊的情況，對(duì)于大場(chǎng)景觀察到的情況有一定的受限性，可能并不能清晰地觀察到對(duì)應(yīng)場(chǎng)景的整體情況，視線相對(duì)比較狹窄，水平方向和垂直方向僅僅是在25°～70°，在傳統(tǒng)的視頻監(jiān)控系統(tǒng)中，相關(guān)的操作人員或技術(shù)人員在根據(jù)視頻觀察實(shí)際情況時(shí)，對(duì)技術(shù)人員或者操作人員有比較高的要求，對(duì)場(chǎng)景的熟悉程度提出更高的要求，對(duì)多個(gè)屏幕來(lái)進(jìn)行觀察分析時(shí)，只觀察其中某幾個(gè)視頻圖像，需要視線不停切換，因?yàn)槊總€(gè)圖像之間只是有比較小的區(qū)域存在區(qū)別，如此無(wú)形之中增加了工作人員的工作負(fù)擔(dān)，對(duì)正常運(yùn)行操作有比較大的影響。總之，操作人員不能及時(shí)地從全場(chǎng)景觀察到對(duì)應(yīng)具體的事物變化情況，可能存在安全隱患或事故的發(fā)生，存在一定的事故風(fēng)險(xiǎn)，不利于企業(yè)經(jīng)營(yíng)和生產(chǎn)的有序安全運(yùn)行。

煤場(chǎng)管理人員、技術(shù)人員以及操作員對(duì)傳統(tǒng)的視頻監(jiān)控系統(tǒng)缺乏有效集成的大場(chǎng)景在空間上分割、隔離視頻信息手段，不能迅速將孤立視頻內(nèi)容與真實(shí)的場(chǎng)景相關(guān)聯(lián)。在斗輪機(jī)工作過(guò)程中可能會(huì)存在大量的盲點(diǎn)，無(wú)法實(shí)時(shí)掌握監(jiān)控區(qū)域的整體實(shí)時(shí)狀況，無(wú)法最大化發(fā)揮出視頻監(jiān)控的價(jià)值，故原有視頻監(jiān)控模式在條形煤場(chǎng)斗輪機(jī)無(wú)人值守系統(tǒng)中無(wú)法滿足現(xiàn)實(shí)需求。

該系統(tǒng)首先是在軟件架構(gòu)上的創(chuàng)新，將整個(gè)系統(tǒng)應(yīng)用微服務(wù)架構(gòu)的思想，將服務(wù)根據(jù)實(shí)際業(yè)務(wù)需求劃分為多個(gè)層級(jí)，盡可能減少服務(wù)的耦合度，更高更有效地利用服務(wù)器資源。另外，將位置上相關(guān)聯(lián)的視頻進(jìn)行特征提取，完成特征篩選;采用拼接融合算法，完成圖像拼接以及深度融合，將位置相關(guān)聯(lián)的視頻圖像拼接成高分辨率、寬視角的完整圖像。該研究適用于比較開(kāi)闊、場(chǎng)景比較單一可控的大場(chǎng)景區(qū)域或者工業(yè)場(chǎng)景，如煤場(chǎng)、礦場(chǎng)、港口等區(qū)域，該方案提高視頻使用效率，提升用戶體驗(yàn)，共同提升視頻指揮體系或者應(yīng)急指揮體系的價(jià)值。

1 系統(tǒng)關(guān)鍵流程與實(shí)施

本系統(tǒng)關(guān)鍵業(yè)務(wù)主要分為兩部分：①業(yè)務(wù)方面，結(jié)合大數(shù)據(jù)技術(shù)方面的應(yīng)用;②視頻處理方面，包括原始視頻數(shù)據(jù)和融合視頻數(shù)據(jù)，以及結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其主要流程如圖1所示。

（1）客戶端將業(yè)務(wù)請(qǐng)求（Request）數(shù)據(jù)發(fā)送給消息中間件（RocketMQ）服務(wù)。

（2）通過(guò)消息中間件服務(wù)將客戶端業(yè)務(wù)數(shù)據(jù)請(qǐng)求分發(fā)給管理服務(wù)。

（3）經(jīng)過(guò)管理服務(wù)內(nèi)部處理后，將返回的數(shù)據(jù)格式化。

（4）管理服務(wù)將處理好的數(shù)據(jù)通過(guò)消息中間件，將數(shù)據(jù)返回給UI客戶端。

（5）UI客戶端發(fā)送請(qǐng)求視頻融合。

（6）管理服務(wù)生成視頻融合任務(wù)，并制定相應(yīng)的策略，同時(shí)負(fù)責(zé)動(dòng)態(tài)負(fù)載均衡地將任務(wù)分配到比較空閑的視頻融合服務(wù)上進(jìn)行計(jì)算。

（7）在管理服務(wù)生成任務(wù)和確定視頻融合服務(wù)后，將任務(wù)下發(fā)給制定的視頻融合服務(wù)上。

（8）視頻融合服務(wù)啟動(dòng)任務(wù)后，通過(guò)GB28181協(xié)議從視頻監(jiān)控服務(wù)拉取視頻流，并進(jìn)行視頻融合算法計(jì)算。

（9）視頻融合服務(wù)將計(jì)算結(jié)果事實(shí)推送給UI客戶端，UI客戶端對(duì)融合后的視頻進(jìn)行解碼播放。

其中結(jié)構(gòu)化數(shù)據(jù)包含的流程包括：UI與管理服務(wù)，管理服務(wù)與視頻融合服務(wù)之間的消息通信;非結(jié)構(gòu)化數(shù)據(jù)包括：與視頻監(jiān)控服務(wù)之間視頻流存儲(chǔ)與拉取以及視頻融合服務(wù)與客戶端（Client）之間的視頻流拉取或推送。

2 視頻融合模型計(jì)算

2.1 視頻圖像配準(zhǔn)

2.1.1 視頻圖像特征點(diǎn)提取

基于SIFT特征點(diǎn)的圖像匹配算法，需要采用的步驟為：①根據(jù)算法獲取相鄰圖像間的重疊區(qū);②對(duì)重疊區(qū)做特征檢測(cè)，獲取特征點(diǎn);③對(duì)特征點(diǎn)做特征匹配，以完成對(duì)圖像配準(zhǔn)的前期數(shù)據(jù)準(zhǔn)備。

2.1.2 特征點(diǎn)優(yōu)化與去噪

在提取的特征點(diǎn)中，存在部分極值點(diǎn)不是關(guān)鍵點(diǎn)的情況，所以需要優(yōu)化調(diào)對(duì)比度比較低的特征點(diǎn)，剔除處于圖像邊緣的特征點(diǎn)。達(dá)到更能符合實(shí)際情況以及特征點(diǎn)能夠精確反映真實(shí)情況的目的。另外，根據(jù)實(shí)際情況，劃分場(chǎng)景為敏感區(qū)域和非敏感區(qū)域，針對(duì)敏感區(qū)域增大特征點(diǎn)密度處理;針對(duì)實(shí)際場(chǎng)景中非敏感區(qū)域，降低特征點(diǎn)密度。對(duì)特征點(diǎn)所屬不同區(qū)域做加權(quán)處理，盡可能無(wú)限逼近現(xiàn)場(chǎng)情況。

2.1.3 特征匹配算法

在采用SIFT匹配算法時(shí)，通過(guò)算法找到最近鄰點(diǎn)與次近鄰點(diǎn)進(jìn)行特征匹配。

2.2 視頻圖像融合

多個(gè)攝像機(jī)在不同方位對(duì)同一個(gè)場(chǎng)景進(jìn)行拍攝，因?yàn)樗幍姆轿徊煌赡軙?huì)產(chǎn)生因?yàn)橥獠凯h(huán)境不同而造成圖像亮度不同的情況。，利用視頻融合技術(shù)可消除圖像重疊部分的拼接縫問(wèn)題和亮度等問(wèn)題。

3 實(shí)施效果

四期煤場(chǎng)共4個(gè)條形煤場(chǎng)，#2斗輪機(jī)在3.4號(hào)煤場(chǎng)作業(yè)，煤場(chǎng)東西長(zhǎng)270 m，單個(gè)條形煤場(chǎng)寬45 m。2#斗輪機(jī)上方中間和北面有兩臺(tái)檢修馬道，上布置有10個(gè)球機(jī)，每條馬道布置5個(gè)，間隔45 m。本文選擇攝像頭6、攝像頭7和攝像頭8作為示例，煤場(chǎng)攝像機(jī)部署如圖2所示。

本系統(tǒng)設(shè)備采用海康網(wǎng)絡(luò)攝像機(jī)，型號(hào)為：DS-SDE7232IW-A（C），經(jīng)過(guò)視頻圖像特征點(diǎn)提取、配準(zhǔn)以及視頻圖像融合，實(shí)施效果如圖3和圖4所示。

另外，視頻融合后的結(jié)果如圖5所示，融合后基本上能夠覆蓋煤場(chǎng)的部分位置。

由上述結(jié)果所示，基本上滿足目前需求。

4 結(jié)論

本研究引入目前比較流行通用的大數(shù)據(jù)開(kāi)發(fā)的微服務(wù)架構(gòu)，對(duì)系統(tǒng)開(kāi)發(fā)進(jìn)行了有益的嘗試。算法方面，采用視頻圖像特征提取、視頻圖像融合等算法，完成對(duì)條形煤場(chǎng)的圖像拼接與融合，達(dá)到了整合數(shù)據(jù)、動(dòng)態(tài)分析、實(shí)時(shí)處理海量視頻信息的目的，同時(shí)與各類復(fù)雜傳感器信息進(jìn)行深度融合，通過(guò)上述數(shù)據(jù)整合獲得在三維時(shí)空中的全景可視及故障判斷能力的目的，同時(shí)也將視頻監(jiān)控應(yīng)用提升一個(gè)臺(tái)階。在數(shù)字化煤場(chǎng)安全運(yùn)營(yíng)方面，為斗輪機(jī)設(shè)備、周邊設(shè)備及人員的工作安全提供有力的技術(shù)支撐和保障，保障斗輪機(jī)無(wú)人值守安全運(yùn)行。

參考文獻(xiàn)

[1] 陳淑清.一種改進(jìn)的圖像無(wú)縫拼接算法[J].武夷學(xué)院學(xué)報(bào)，2016，35（6）：65-69.

[2] 梁高升. 基于多攝像頭的全景圖像拼接系統(tǒng)[D].濟(jì)南：濟(jì)南大學(xué)，2016.

[3] 楊艷春，李嬌，王陽(yáng)萍.圖像融合質(zhì)量評(píng)價(jià)方法研究綜述[J].計(jì)算機(jī)科學(xué)與探索，2018，12（7）：1021-1035.

[4] 朱煉，孫楓.夏芳莉，等.圖像融合研究綜述[J].傳感器與微系統(tǒng)，2014，33（2）：14-18.

[5] CHANG C H，SATO Y，CHUANG Y.Shape—preserving half-projective warps for image stitching[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：3254-3261.

[6] 資訊新視界編導(dǎo).諾基亞推出虛擬現(xiàn)實(shí)攝像機(jī)OZO[J].上海國(guó)資，2015，26（8）：14.

[7] 王糍，周軍.圖像美感質(zhì)量評(píng)價(jià)方法研究[J].網(wǎng)絡(luò)新媒體技術(shù)，2018，7（3）：19-24.

[8] CANNY J.A computational approach to edge detection [J].IEEE Transactions on Pattern analysis and Machine Intelligence，1986，8（6）：679-698.

[9] 鄒超洋.基于多攝像頭全景圖像拼接的實(shí)時(shí)視頻監(jiān)控技術(shù)研究[D].廣州：華南理工大學(xué)，2014.

[10] 趙小川，何灝，繆遠(yuǎn)誠(chéng).MATLAB數(shù)字圖像處理實(shí)戰(zhàn)[M].北京：機(jī)械工業(yè)出版社，2013.

[11] 劉瑞禎，于仕琪.OpenCV教程基礎(chǔ)篇[M].北京：北京航空航天大學(xué)出版社，2007.

[12] Rafael C. Gonzalez， Richard E. Woods， Steven L. Eddins. Digital Image Processing Using MATLAB（阮秋琦譯）[M].北京：電子工業(yè)出版社，2014.

[13] 朱云芳，葉秀清，顧偉康.視頻序列的全景圖拼接技術(shù)[J].中國(guó)圖象圖形學(xué)報(bào)，2006，11（8）：1150-1155.

[14] 苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究[J].儀器儀表學(xué)報(bào)，2009，30（4）：857-861.

[15] 施明登，周鵬，白鐵成.全景圖像拼接技術(shù)在胡楊研究中的應(yīng)用[J].湖南農(nóng)業(yè)科學(xué)，2014，53（22）：5539-5542.

[16] 陸文周.Qt5開(kāi)發(fā)及實(shí)例[M].北京：電子工業(yè)出版社，2015.

[17] 劉艷英.高清視頻切換技術(shù)的研究與實(shí)現(xiàn)[D].泉州：華僑大學(xué)，2014.

[18] 庫(kù)德強(qiáng).基于工控機(jī)和PLC的監(jiān)控系統(tǒng)的研究[D].沈陽(yáng)：沈陽(yáng)工業(yè)大學(xué)，2006v.

[19] Brown M， Lowe D.G. Automatic Panoramic Image Stitching using Invariant Features International Journal of Computer Vision[J]， 2007， 74（1）：59-73.

[20] Ozawa T， Kitani K.M， Koike H. Human-centric Panoramic Imaging Stitching[C]// AH12 Proceedings of the 3rd Augmented Human International Conference Article No.20， New York：ACM， 2012.

[21] 劉李緯.基于特征的多路視頻實(shí)時(shí)拼接技術(shù)的研究與實(shí)現(xiàn)[D].北京：北京工業(yè)大學(xué)，2015.

[22] 施明登，周鵬，白鐵成.全景圖像拼接技術(shù)在胡楊研究中的應(yīng)用[J].湖南農(nóng)業(yè)科學(xué)，2014，53（22）：5539-5542.

[23] 李宗辰，朱秀昌.基于VLC的Android多路視頻監(jiān)控系統(tǒng)[J].現(xiàn)代電子技術(shù)，2013，36（24）：63-66.

[24] 趙書(shū)睿.全景圖像拼接關(guān)鍵技術(shù)研究[D].成都：電子科技大學(xué)，2013.

[25] 吳瓊.多攝像頭視頻融合系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2013.

[26] 霍春寶，童帥，趙立輝.SIFT特征匹配的顯微全景圖拼接[J].遼寧工程技術(shù)大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，34（1）：93-96.

[27] 徐杰，金湘亮，白瑞廣.一種改進(jìn)的攝像頭視頻實(shí)時(shí)拼接方法[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（24）：179-181.

[28] 阮芹.實(shí)時(shí)視頻拼接系統(tǒng)關(guān)鍵技術(shù)研究[D].武漢：華中科技大學(xué)，2011.

[29] 尹文生，羅榆林，李世其.基于OpenCV的攝像機(jī)標(biāo)定[J].計(jì)算機(jī)工程與設(shè)計(jì)，2007，28（1）：197-199.

[30] 張春林，余黃河.基于FPGA的圖像融合處理系統(tǒng)方案設(shè)計(jì)[J].信息安全與技術(shù)，2013，28（1）：59-61.

[31] 唐福明.圖像拼接中顏色校正及圖像融合研究[D].長(zhǎng)沙：中南大學(xué)，2013.

[32] 朱偉，趙春光.OpenCV圖像處理編程實(shí)例[M].北京：電子工業(yè)出版社，2016.

[33] 張恒.基于SIFT的圖像拼接算法研究[D].天津：河北工業(yè)大學(xué)，2012.

[34] 薛佳樂(lè)，趙萌，張哲，等.針對(duì)大視差圖像拼接的顯性子平面配準(zhǔn)[J].中國(guó)圖象圖形學(xué)報(bào)，2018，23（3）：323-332.

[35] 王震，許曉航，王靜，等.多路高清YUV視頻GPU實(shí)時(shí)拼接研究[J].計(jì)算機(jī)工程，2016，42（12）：314-320.

[36] XIANG T Z，XIA G S，BAI X，et al. Image Stitching by Line-guided Local Warping with Global Similarity Constraint[J].Pattern Recognition，2018，83：481-497.

[37] OTSU N. A threshold selection method from gray - level histograms[J]. IEEE transactions on systems， man， and cybemetics， 1979，9（1）：62-66.

[38] ZHANG C， XIE Y，LIU D， et al. Fast threshold image segmentation based on 2D fuzzy Fisher and random local optimized QPSO[J]. IEEE Transactions on Image Processing，2017，26（3）：1355-1362.

[39] 王偉，陸佩忠.數(shù)字圖像拼接技術(shù)[J].小型微型計(jì)算機(jī)系統(tǒng)，2006，27（7）：6.