面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)設(shè)計(jì)

韓亞輝

(河北工業(yè)職業(yè)技術(shù)學(xué)院宣鋼分院，河北 張家口 075100)

0 引言

多維視頻監(jiān)控系統(tǒng)是采用計(jì)算機(jī)視覺技術(shù)處理多維視頻信號(hào)，并分析多維視頻中的圖像信息，對(duì)視頻圖像進(jìn)行準(zhǔn)確定位、有效識(shí)別以及及時(shí)跟蹤，從而做出判斷和分析，針對(duì)多維視頻圖像的異常特征發(fā)出警報(bào)，實(shí)現(xiàn)提前預(yù)警的功能[1]。國外很多國家都在多維視頻監(jiān)控系統(tǒng)領(lǐng)域投入了人力財(cái)力，美國研究了多維視頻的檢測(cè)系統(tǒng)，通過多維視頻的圖像匹配模型將圖像展示出來，從而檢測(cè)出視頻圖像的整體特征，完成多維視頻的圖像檢測(cè)，實(shí)現(xiàn)監(jiān)控功能[2]；國內(nèi)對(duì)于多維視頻監(jiān)控系統(tǒng)的研究起步較晚，但是在政府、機(jī)構(gòu)的大力支持下，多維視頻監(jiān)控系統(tǒng)受到了高度重視并取得一定進(jìn)步[3]。

文獻(xiàn)[4]提出基于OpenCV與Socket的多維視頻監(jiān)控系統(tǒng)，采用OpenCV與Socket之間的編程軟件，滿足多個(gè)用戶同時(shí)發(fā)出監(jiān)控請(qǐng)求，并以視頻流的方式將多維視頻圖像發(fā)送給系統(tǒng)客戶端，結(jié)果表明該系統(tǒng)的研發(fā)開銷較小；文獻(xiàn)[5]提出基于ZigBee技術(shù)的多維視頻監(jiān)控系統(tǒng)，采用嵌入式處理器來采集多維視頻，通過基于ZigBee技術(shù)將多維視頻傳輸?shù)奖O(jiān)控終端，實(shí)現(xiàn)多維視頻的監(jiān)控，結(jié)果表明該系統(tǒng)具有運(yùn)行穩(wěn)定和安全的特性。

基于以上背景，本文將工業(yè)4.0應(yīng)用到多維視頻監(jiān)控系統(tǒng)設(shè)計(jì)中，從而提高多維視頻監(jiān)控系統(tǒng)的性能。

1 多維視頻監(jiān)控系統(tǒng)硬件設(shè)計(jì)

1.1 多維視頻采集器設(shè)計(jì)

多維視頻采集端將單片機(jī)作為主控制單元，基于第四次工業(yè)革命的生產(chǎn)模式，使主控芯片的最高頻率可達(dá)到168 MHz，將其應(yīng)用到多維視頻采集器設(shè)計(jì)中具有比較高的性價(jià)比，從而達(dá)到監(jiān)控系統(tǒng)的設(shè)計(jì)要求[6]。

在第四次工業(yè)革命的背景下，多維視頻的采集對(duì)整個(gè)監(jiān)控系統(tǒng)來講是基礎(chǔ)，多維視頻采集器可以及時(shí)采集到監(jiān)控區(qū)域內(nèi)的多維視頻信號(hào)，選擇TKF240采集傳感器作為監(jiān)控?cái)z像頭的采集模塊，完成多維視頻的控制曝光、圖像增益以及白平衡等功能。TKF240采集傳感器功能框圖如圖1所示。

圖1 TKF240采集傳感器功能框圖

從圖1可以看出，TKF240采集傳感器的感光整列共包括1 632×1 232個(gè)像素，最大可達(dá)到兩百萬像素，采集傳感器的視頻信號(hào)處理模塊是整個(gè)模塊的核心，利用采集傳感器將多維視頻圖像的邊緣銳化[7]。

為了確保多維視頻數(shù)據(jù)的完整性，需要采用多維視頻采集器將多維視頻數(shù)據(jù)保存，面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)選用的是32位處理器，多維視頻采集器也要選擇32位，考慮到視頻采集器大于8 M才能保證多維視頻數(shù)據(jù)的完整性，因此選用SCD985芯片，芯片的單片容量為16×16，由于運(yùn)動(dòng)視頻監(jiān)控系統(tǒng)需要32位的視頻數(shù)據(jù)傳輸，則采用兩片構(gòu)成的16×32的采集器[8]。

1.2 監(jiān)控網(wǎng)絡(luò)傳輸接口設(shè)計(jì)

若將監(jiān)控?cái)z像頭采集到的多維視頻圖像在監(jiān)控終端顯示出來，必須通過監(jiān)控網(wǎng)絡(luò)傳輸接口來實(shí)現(xiàn)。采用工業(yè)4.0中的以太網(wǎng)來完成多維視頻圖像的傳輸，將監(jiān)控終端作為監(jiān)控系統(tǒng)的服務(wù)器端，將多維視頻采集器作為客戶端[9]。監(jiān)控網(wǎng)絡(luò)傳輸接口是連接多維視頻控制器與介質(zhì)訪問控制器的數(shù)據(jù)接口，同時(shí)可以支持多維視頻獨(dú)立的接口[10]。通過監(jiān)控網(wǎng)絡(luò)傳輸接口與監(jiān)控終端進(jìn)行數(shù)據(jù)通信，在系統(tǒng)寄存器中通過配置工業(yè)4.0中的信息技術(shù)與計(jì)算機(jī)技術(shù)，來實(shí)現(xiàn)多維視頻數(shù)據(jù)的傳輸[11]。監(jiān)控網(wǎng)絡(luò)傳輸接口原理如圖2所示。

圖2 監(jiān)控網(wǎng)絡(luò)傳輸接口原理

監(jiān)控網(wǎng)絡(luò)傳輸接口允許監(jiān)控應(yīng)用程序來訪問寄存器，基于工業(yè)4.0的監(jiān)控網(wǎng)絡(luò)傳輸接口支持多種輸入模式，并且支持最大輸入分辨率為8 192×8 192的多維視頻圖像[12]。監(jiān)控網(wǎng)絡(luò)傳輸接口具有視頻數(shù)據(jù)縮放、預(yù)覽視頻鏡像等功能，同時(shí)還支持旋轉(zhuǎn)和翻轉(zhuǎn)功能[13]。多維視頻監(jiān)控系統(tǒng)可以通過監(jiān)控網(wǎng)絡(luò)傳輸接口來捕捉多維視頻，采用工業(yè)4.0設(shè)計(jì)的監(jiān)控?cái)z像頭具有300萬的超高像素，滿足運(yùn)動(dòng)視頻分辨率的要求[14]。

以上基于第四次工業(yè)革命的優(yōu)勢(shì)，在監(jiān)控系統(tǒng)硬件平臺(tái)內(nèi)部集成多個(gè)視頻處理單元，在采集傳感器上采集多維視頻的圖像數(shù)據(jù)，完成多維視頻采集器設(shè)計(jì)[15]；利用以太網(wǎng)開發(fā)了監(jiān)控系統(tǒng)的監(jiān)控網(wǎng)絡(luò)傳輸接口，通過分析監(jiān)控網(wǎng)絡(luò)傳輸接口的性能及電路接口功能，完成了監(jiān)控網(wǎng)絡(luò)傳輸接口設(shè)計(jì)，實(shí)現(xiàn)了運(yùn)動(dòng)視頻監(jiān)控系統(tǒng)的硬件設(shè)計(jì)[16]。

2 多維視頻監(jiān)控系統(tǒng)軟件設(shè)計(jì)

2.1 提取多維視頻背景

在工業(yè)4.0的背景下，提取多維視頻的背景，首先要確定多維視頻背景中的圖片像素點(diǎn)，采集器采集到的多維視頻中，每一個(gè)像素點(diǎn)的取值都服從特定的規(guī)律。對(duì)于多維視頻監(jiān)控系統(tǒng)而言，由于監(jiān)控場(chǎng)景不同，多維視頻的背景通常都會(huì)呈現(xiàn)出單模態(tài)特征[17]。假設(shè)對(duì)于一個(gè)多維視頻幀序列F={f1,f2,…,fn}，多維視頻中的像素取值共同構(gòu)成了一個(gè)像素點(diǎn)集合P={p1,p2,…,pn}，令μ為像素點(diǎn)集合P的均值，δ為像素點(diǎn)集合P的方差，當(dāng)P中的多維視頻像素符合正態(tài)分布時(shí)，就存在：

(1)

在提取多維視頻背景時(shí)，監(jiān)控?cái)z像頭通常是靜止的，提取到的多維視頻背景值為統(tǒng)計(jì)值的均值，假設(shè)提取的多維視頻背景為B(x,y)，系統(tǒng)采集到的多維視頻幀為fi(x,y)，(i=1,2,3,…,N)，則提取到的多維視頻背景為：

(2)

在多維視頻監(jiān)控系統(tǒng)中，當(dāng)監(jiān)控?cái)z像頭出現(xiàn)輕微擺動(dòng)，就會(huì)使采集到的多維視頻像素點(diǎn)不服從正態(tài)分布，上述方法就會(huì)導(dǎo)致提取到的多維視頻背景混亂[18]。在服從正態(tài)分布基礎(chǔ)上，引入一個(gè)表示像素更新快慢的系數(shù)α，來控制多維視頻背景的比例，更新后的多維視頻背景提取公式為：

Bi(x,y)=μi=(1-α)μi-1+αfi(x,y)

(3)

由于原始多維視頻背景提取公式很難做到服從正態(tài)分布，通過引入更新快慢的系數(shù)，更新了多維視頻背景提取公式[19]。

2.2 更新多維視頻背景

多維視頻背景的更新與提取不同，更新多維視頻背景是從兩方面實(shí)現(xiàn)的，一是通過低通濾波來阻止多維視頻中快變圖像對(duì)視頻背景更新的影響，二是根據(jù)當(dāng)前幀多維視頻的檢測(cè)結(jié)果來更新多維視頻的背景[20]。

在多維視頻的監(jiān)控信號(hào)處理中，多維視頻濾波器可以把監(jiān)控信號(hào)從視頻噪聲中提取出來，監(jiān)控信號(hào)差分模型為：

x(n)=s(n)×v(n)

(4)

式中，s(n)表示有用監(jiān)控信號(hào)，v(n)表示多維視頻的噪聲。假設(shè)濾波器去噪的單位函數(shù)為h(m)，輸出的監(jiān)控信號(hào)為：

y(n)=h(m)×x(n)

(5)

式(5)可以從觀測(cè)值來估計(jì)有用監(jiān)控信號(hào)的值，背景幀為Bk(x,y)，更新多維視頻的背景幀為Bk+1(x,y)，多維視頻的差分函數(shù)為Dk(x,y)，則利用式(6)來實(shí)現(xiàn)多維視頻背景的更新：

Bk+1(x,y)=Bk(x,y)+gk×Dk(x,y)

(6)

式中，gk表示背景更新的權(quán)系數(shù)。

以上利用多維視頻背景更新方式，建立了監(jiān)控信號(hào)差分模型，結(jié)合多維視頻監(jiān)控信號(hào)的輸出，更新了多維視頻背景[21]，通過多維視頻跟蹤算法設(shè)計(jì)，來實(shí)現(xiàn)多維視頻的監(jiān)控。

2.3 多維視頻跟蹤算法設(shè)計(jì)

在設(shè)計(jì)多維視頻跟蹤算法時(shí)，先假設(shè)監(jiān)控系統(tǒng)的狀態(tài)具有獨(dú)立性，多維視頻后驗(yàn)概率的求解分為預(yù)測(cè)和更新兩個(gè)過程：

(7)

(8)

對(duì)于多維視頻監(jiān)控系統(tǒng)，式(7)和式(8)不能對(duì)多維視頻進(jìn)行解析計(jì)算，利用工業(yè)4.0時(shí)代的計(jì)算機(jī)技術(shù)將t時(shí)刻多維視頻的后驗(yàn)概率表示為：

(9)

(10)

采用多維視頻跟蹤算法來實(shí)現(xiàn)監(jiān)控的具體步驟如下。

1)跟蹤算法初始化：

3)根據(jù)上一時(shí)刻的多維視頻狀態(tài)，來預(yù)測(cè)當(dāng)前幀多維視頻的狀態(tài)；

7)t=t+1，回到2)。

研究地位于甘肅省武威市涼州區(qū)黃羊鎮(zhèn)農(nóng)墾農(nóng)場(chǎng)甘肅農(nóng)業(yè)大學(xué)牧草試驗(yàn)站，地理位置N 37°52′20″，E 102°50′50″。地處甘肅河西走廊東端，屬典型內(nèi)陸荒漠氣候區(qū)，海拔1 581 m；全年平均無霜期156 d，降水量164.4 mm，蒸發(fā)量1 919 mm，年均氣溫7.8℃，日照時(shí)數(shù)2 968.2 h，≥10℃年積溫2 985.4℃；年太陽輻射總量504～630 kJ/cm2。供試土壤為灌漠土，耕層有機(jī)質(zhì)15.71 g/kg、全氮0.87 g/kg、全磷1.02 g/kg、速效磷13.38 mg/kg、速效鉀248.63 mg/kg，土壤pH8.2。

多維視頻監(jiān)控系統(tǒng)軟件實(shí)現(xiàn)流程如圖3所示。

圖3 多維視頻監(jiān)控系統(tǒng)軟件實(shí)現(xiàn)流程圖

綜上所述，在引入更新快慢的系數(shù)基礎(chǔ)上，更新了多維視頻背景提取公式，完成多維視頻背景的提取，通過建立監(jiān)控信號(hào)差分模型，實(shí)現(xiàn)了多維視頻跟蹤算法設(shè)計(jì)，最后結(jié)合多維視頻跟蹤算法設(shè)計(jì)，完成了系統(tǒng)的軟件設(shè)計(jì)，實(shí)現(xiàn)了多維視頻的監(jiān)控[23]。

3 實(shí)驗(yàn)對(duì)比分析

3.1 測(cè)試步驟設(shè)計(jì)

通過運(yùn)動(dòng)視頻監(jiān)控系統(tǒng)測(cè)試，驗(yàn)證系統(tǒng)是否滿足設(shè)計(jì)要求，系統(tǒng)測(cè)試的軟硬件設(shè)備參數(shù)如下。

硬件平臺(tái)：MP658攝像頭、智能手機(jī)、MRT9642開發(fā)板。

軟件平臺(tái)：安卓版本4.4.4、VS2012。

運(yùn)動(dòng)視頻監(jiān)控系統(tǒng)的測(cè)試步驟如下。

步驟1：打開多維視頻監(jiān)控終端，設(shè)置端口號(hào)和波特率為57600，多維視頻的數(shù)據(jù)位設(shè)置為8，給開發(fā)板通電；

步驟2：在命令行中輸入“打開”，將多維視頻服務(wù)器打開；

步驟3：打開監(jiān)控軟件，進(jìn)入登錄界面；

步驟4：通過計(jì)算機(jī)技術(shù)連接到監(jiān)控系統(tǒng)的局域網(wǎng)，輸入服務(wù)器端的IP地址，設(shè)置端口號(hào)為8080；

步驟5：點(diǎn)擊登錄按鈕，客戶端會(huì)向系統(tǒng)服務(wù)器發(fā)出請(qǐng)求，驗(yàn)證成功后直接進(jìn)入運(yùn)動(dòng)視頻監(jiān)控界面，否則提示用戶登錄失敗；

步驟6：如果有目標(biāo)入侵，多維視頻監(jiān)控系統(tǒng)會(huì)自動(dòng)檢測(cè)并跟蹤；

步驟7：記錄實(shí)驗(yàn)數(shù)據(jù)。

3.2 多維視頻圖像的壓縮比對(duì)比試驗(yàn)

多維視頻圖像的壓縮比對(duì)比實(shí)驗(yàn)利用3.1設(shè)計(jì)的測(cè)試步驟，分別利用基于OpenCV與Socket的多維視頻監(jiān)控系統(tǒng)、基于ZigBee技術(shù)的多維視頻監(jiān)控系統(tǒng)以及面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)進(jìn)行了多維視頻圖像壓縮比對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 多維視頻壓縮比對(duì)比結(jié)果

從表1的實(shí)驗(yàn)結(jié)果可以看出，采用基于OpenCV與Socket的多維視頻監(jiān)控系統(tǒng)來監(jiān)控多維視頻時(shí)，由于該系統(tǒng)對(duì)多維視頻圖像的噪聲去除效果較差，使得監(jiān)控到的多維視頻摻雜了更多的噪聲，導(dǎo)致多維視頻圖像的壓縮比都在15:1附近，只有第8幀運(yùn)動(dòng)視頻圖像的壓縮比超過了16:1，十幀運(yùn)動(dòng)視頻圖像的平均壓縮比為14.999:1；采用基于ZigBee技術(shù)的多維視頻監(jiān)控系統(tǒng)來監(jiān)控多維視頻時(shí)，該系統(tǒng)中引入的嵌入式處理器可以進(jìn)一步消除多維視頻圖像的噪聲，達(dá)到更好的圖像去噪效果，使多維視頻圖像的壓縮比提高了近一倍，經(jīng)計(jì)算，十幀運(yùn)動(dòng)視頻圖像的平均壓縮比為44.813:1；而采用面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)來監(jiān)控多維視頻時(shí)，系統(tǒng)硬件端口與軟件程序之間的有效結(jié)合，可以將多維視頻圖像的噪聲消除掉80%～90%，獲取到更高質(zhì)量的多維視頻圖像，使得多維視頻的壓縮比變大。經(jīng)計(jì)算，十幀運(yùn)動(dòng)視頻圖像的平均壓縮比為80.004:1。因此可以得到面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)可以監(jiān)控到更大壓縮比的多維視頻。

3.3 多維視頻的分辨率對(duì)比試驗(yàn)

多維視頻圖像的分辨率對(duì)比實(shí)驗(yàn)中，分別利用基于OpenCV與Socket的多維視頻監(jiān)控系統(tǒng)、基于ZigBee技術(shù)的多維視頻監(jiān)控系統(tǒng)以及面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)進(jìn)行了多維視頻圖像分辨率對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

從表2的實(shí)驗(yàn)結(jié)果可以看出，采用基于OpenCV與Socket的多維視頻監(jiān)控系統(tǒng)來監(jiān)控多維視頻時(shí)，由于每一幀多維視頻的飽和度是不同的，飽和度低的多維視頻更容易摻雜更多的噪聲，使多維視頻圖像的分辨率變低，經(jīng)計(jì)算，監(jiān)控的十幀多維視頻圖像的平均分辨率大約為239*239dpi；采用基于ZigBee技術(shù)的多維視頻監(jiān)控系統(tǒng)來監(jiān)控多維視頻時(shí)，監(jiān)控到的多維視頻圖像分辨率略有提高，該系統(tǒng)中的嵌入式處理器具有增強(qiáng)多維視頻圖像飽和度的功能，從而解決圖像噪聲的影響，使監(jiān)控的十幀多維視頻圖像的平均分辨率大約為369*369 dpi；采用面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)來監(jiān)控多維視頻時(shí)，系統(tǒng)軟件配置的背景獲取和更新，可以提高整幀視頻圖像的清晰度，消除圖像噪聲對(duì)多維視頻質(zhì)量的影響，經(jīng)計(jì)算，監(jiān)控的十幀多維視頻圖像的平均分辨率大約為533*533 dpi。

表2 多維視頻圖像分辨率對(duì)比結(jié)果

綜合以上實(shí)驗(yàn)結(jié)果，無論是在壓縮比還是分辨率方面，面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)可以監(jiān)控到更高質(zhì)量的多維視頻圖像。

4 結(jié)束語

多維視頻監(jiān)控系統(tǒng)是利用計(jì)算機(jī)視覺技術(shù)對(duì)多維視頻信號(hào)進(jìn)行處理，分析多維視頻中的圖像信息，對(duì)視頻圖像進(jìn)行準(zhǔn)確定位、有效識(shí)別和及時(shí)跟蹤，從而做出判斷和分析，對(duì)多維視頻圖像的異常特征進(jìn)行預(yù)警，實(shí)現(xiàn)提前預(yù)警。本文提出了面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)設(shè)計(jì)。通過多維視頻監(jiān)控系統(tǒng)的硬件設(shè)計(jì)和軟件設(shè)計(jì)，完成了監(jiān)控系統(tǒng)的設(shè)計(jì)，實(shí)現(xiàn)了多維視頻的監(jiān)控。測(cè)試結(jié)果顯示，面向工業(yè)4.0的多維視頻監(jiān)控系統(tǒng)監(jiān)控到的多維視頻圖像質(zhì)量更高。