基于嵌入式技術(shù)的煤礦井下通信中圖像信號(hào)處理方法

張辰宇

(國(guó)家能源集團(tuán)烏海能源公司，內(nèi)蒙古 烏海 016000)

煤礦井下監(jiān)控是煤炭企業(yè)安全管控的重中之重，但礦井內(nèi)巷道較深與地面距離較遠(yuǎn)[1]，為其安全管控帶來了一定難度。當(dāng)代通訊技術(shù)的不斷發(fā)展，使煤礦礦井內(nèi)逐步被通信網(wǎng)絡(luò)覆蓋，使監(jiān)控設(shè)備遍布整個(gè)礦井開采工作面內(nèi)，為煤礦安全管控提供了有效手段，但煤礦井下監(jiān)控視頻圖像受其拍攝環(huán)境以及傳輸條件影響，其視頻圖像信號(hào)內(nèi)存在大量的干擾噪聲導(dǎo)致圖像信號(hào)缺失[2-3]，其呈現(xiàn)的視頻監(jiān)控畫面不夠真實(shí)。針對(duì)該類問題，董本志等和田子建等分別提出了圖像信號(hào)出路算法，前者利用小波閾算法對(duì)煤礦井下視頻圖像進(jìn)行重建處理[4]，以提升其整體分辨率，后者對(duì)煤礦井下視頻圖像進(jìn)行雙域分解，然后利用二階微分算子去除分解后的煤礦井下視頻圖像內(nèi)所含噪聲[5]，達(dá)到其圖像信號(hào)處理目的。但這2種方法在實(shí)際應(yīng)用中受圖像一維離散信號(hào)和相似性影響，效果不佳。

嵌入式技術(shù)是將某些裝置或者設(shè)備以嵌入的形式連接到嵌入式控制面板內(nèi)的技術(shù)[6-7]，其可使終端用戶在不變更固態(tài)硬件情況下擴(kuò)展終端功能。目前嵌入式技術(shù)被廣泛應(yīng)用在手機(jī)、電子元件開發(fā)等多個(gè)領(lǐng)域。在此將嵌入式技術(shù)應(yīng)用到煤礦井下通信中圖像信號(hào)處理過程中，提出基于嵌入技術(shù)的煤礦井下通信中圖像信號(hào)處理方法，為煤炭企業(yè)安全生產(chǎn)管控提供技術(shù)支持。

1 中圖像信號(hào)處理技術(shù)架構(gòu)和流程

1.1 圖像信號(hào)處理技術(shù)架構(gòu)

FPGA(可編程邏輯陣列)具備豐富的布線資源，其內(nèi)置嵌入式RAM、硬核以及可配置邏輯塊等[8]，其可處理數(shù)量較大的圖像采集、展示、存儲(chǔ)和圖像傳輸?shù)炔僮鳌SP(信號(hào)處理)芯片內(nèi)置數(shù)字信號(hào)處理算法，其負(fù)責(zé)對(duì)數(shù)字信號(hào)進(jìn)行壓縮感知、高分辨率重建等操作[9]。在此本文使用FPGA和DSP嵌入式芯片，設(shè)計(jì)煤礦井下通信中圖像信號(hào)處理方法技術(shù)架構(gòu)，如圖1所示。

圖1 井下通信中圖像信號(hào)處理技術(shù)架構(gòu)Fig.1 Technical framework of image signal processing method in underground communication

1.2 圖像信號(hào)處理流程

在煤礦井下通信中圖像信號(hào)處理方法技術(shù)架構(gòu)內(nèi)，利用圖像采集單元采集煤礦井下視頻圖像信號(hào)后，將其傳輸?shù)角度胧紽PGA芯片內(nèi)，F(xiàn)PGA芯片將接收到的煤礦井下視頻圖像信號(hào)緩存在SDRAM內(nèi)。

FPGA芯片同時(shí)將煤礦井下視頻圖像信號(hào)經(jīng)由雙口RAM傳輸?shù)紻SP芯片內(nèi)，該芯片通過啟動(dòng)圖像信號(hào)處理單元內(nèi)的圖像信號(hào)處理算法對(duì)煤礦井下視頻圖像信號(hào)進(jìn)行壓縮感知、高分辨率重建等操作后，將其傳輸?shù)絊DRAM內(nèi)進(jìn)行緩存，然后利用FLASH視頻模塊進(jìn)行對(duì)處理后的煤礦井下視頻圖像信號(hào)進(jìn)行動(dòng)態(tài)編輯后，經(jīng)由雙口RAM回傳到FPGA芯片內(nèi)。

FPGA芯片將處理后的煤礦井下視頻圖像信號(hào)存儲(chǔ)到數(shù)據(jù)存儲(chǔ)SD卡和幀存SDRAM內(nèi)后，控制視頻D/A轉(zhuǎn)換器輸出視頻圖像VGA信號(hào)，為用戶展示當(dāng)前處理后礦井下視頻圖像。

2 信號(hào)處理相關(guān)設(shè)備設(shè)計(jì)

2.1 煤礦井下視頻圖像采集設(shè)備

煤礦井下視頻圖像采集單元是實(shí)現(xiàn)其圖像信號(hào)處理的基礎(chǔ)。使用CCD攝像頭、視頻解碼芯片和FPGA芯片共同協(xié)作實(shí)現(xiàn)煤礦井下視頻圖像采集。煤礦井下視頻圖像采集單元結(jié)構(gòu)如圖2所示。

圖2 煤礦井下視頻圖像采集單元結(jié)構(gòu)示意Fig.2 Structure diagram of underground video image acquisition unit in mine

2.2 嵌入式硬件設(shè)備硬件選擇

FPGA、雙口RAM、DSP以及CCD攝像頭和視頻解碼芯片均為本文重要嵌入式硬件設(shè)備，不同型號(hào)的嵌入式硬件設(shè)備應(yīng)用功能上存在一定差異[10-12]，因此嵌入式硬件設(shè)備選型極為重要。

2.2.1 FPGA選擇

FPGA選擇EP2C70F896C6N，該FPGA運(yùn)行電壓為1.2 V，具備高密度的邏輯單元和7萬個(gè)左右的LE(載入允許功能)，內(nèi)置嵌入式RAM、512個(gè)校驗(yàn)位和4 096位內(nèi)存塊。該FPGA支持讀寫雙端口，具備嵌入式乘法器[13]，以及若干個(gè)高級(jí)通用I/O端口。其始終管理電路的局部時(shí)鐘網(wǎng)絡(luò)傳輸接近400 MHz，4個(gè)鎖相環(huán)為FPGA提供時(shí)鐘分頻、相移等功能。

2.2.2 RAM選擇

雙口RAM選擇CYPRESS公司生產(chǎn)的CY7C026型，該雙口RAM為靜態(tài)RAM，其存取信息速度不超過25 ns，支持同時(shí)存、取數(shù)據(jù)信息[14-15]。雙口RAM的2個(gè)端口對(duì)應(yīng)獨(dú)立的控制線、數(shù)據(jù)傳輸線以及數(shù)據(jù)傳輸?shù)刂罚ㄟ^2個(gè)端口可實(shí)現(xiàn)該芯片內(nèi)的信息共享。

2.2.3 DSP芯片選擇

DSP芯片是圖像信號(hào)處理的主要芯片，在此選擇TMS320VC550型號(hào)芯片作為本文應(yīng)用的主要芯片。該型號(hào)芯片價(jià)格較低廉[16]，其是該類芯片內(nèi)功耗最低的DSP芯片，運(yùn)行功耗僅為200 mW。在該DSP芯片上，其指令高速緩存容量為16 KB，該芯片嵌入的DARAM總?cè)萘扛哌_(dá)64 KB，ROM則為34 KB。其嵌入2個(gè)運(yùn)算邏輯短語以及若干條數(shù)據(jù)讀總線和寫總線，在其指令周期內(nèi)可運(yùn)行2次信息的讀寫操作。其外部并行總線數(shù)量為32位，向外傳輸信息速度較快。

2.2.4 CCD攝像頭選擇

CCD攝像頭型號(hào)為Y-HM750E，該攝像頭總像素和動(dòng)態(tài)有效像素均為660萬，內(nèi)置3CCD傳感器和VC高速圖像處理器，拍攝視頻格式為MOV/MPEG-4 AVC/H.264，其拍攝視頻圖像高清規(guī)格為1080P。視頻解碼芯片選擇型號(hào)為TVP5150，該型號(hào)的視頻解碼芯片具備通用接口，可與不同型號(hào)的DSP、FPGA相連，其通過FPGA內(nèi)的I2C總線控制其復(fù)位(初始化)，內(nèi)嵌多個(gè)通用的預(yù)留地質(zhì)數(shù)據(jù)等接口[17]，負(fù)責(zé)將圖像轉(zhuǎn)換為數(shù)字量。

3 圖像信號(hào)處理相關(guān)技術(shù)設(shè)計(jì)

3.1 煤礦井下視頻圖像采集過程

煤礦井下視頻圖像采集單元使用CCD攝像頭拍攝礦井下視頻圖像后，將其發(fā)送到視頻解碼芯片內(nèi)，F(xiàn)PGA芯片利用I2C控制器對(duì)視頻解碼芯片進(jìn)行初始化后，利用視頻解碼芯片將煤礦井下視頻圖像解碼為數(shù)字量(即A/D轉(zhuǎn)換)，并將其傳輸?shù)紽PGA芯片的視頻解碼模塊內(nèi)，該模塊對(duì)礦井下視頻圖像數(shù)字量信號(hào)進(jìn)行解碼處理，然后通過Avallon總線和SDRAM控制器將解碼后的煤礦井下視頻圖像數(shù)字量信號(hào)保存到SDRAM幀緩沖器內(nèi)進(jìn)行緩存。上述過程即為煤礦井下視頻圖像采集單元采集煤礦井下視頻圖像信號(hào)過程。

3.2 信號(hào)處理流程

在嵌入式技術(shù)內(nèi)，嵌入式軟件設(shè)計(jì)是其不可或缺的組成部分，利用UC/OS-Ⅱ嵌入式操作系統(tǒng)，將圖像信號(hào)算法進(jìn)行模塊化處理，然后通過啟動(dòng)函數(shù)調(diào)用程序[18]，實(shí)現(xiàn)煤礦井下視頻圖像信號(hào)的采集和處理，其詳細(xì)過程如圖3所示。

圖3 井下視頻圖像信號(hào)處理功能流程示意Fig.3 Function flow diagram of video image signal processing in underground

煤礦井下視頻圖像信號(hào)處理流程在啟動(dòng)時(shí)，首先，對(duì)CCD攝像頭進(jìn)行初始化并設(shè)置其視頻捕獲和顯示驅(qū)動(dòng)相關(guān)參數(shù)后，控制器拍攝煤礦井下視頻圖像；其次，對(duì)視頻解碼器進(jìn)行初始化處理，將CCD攝像頭拍攝的煤礦井下視頻圖像傳輸?shù)匠跏蓟蟮囊曨l解碼器內(nèi)，該解碼器對(duì)其進(jìn)行數(shù)字量信號(hào)轉(zhuǎn)換后，啟動(dòng)DSP調(diào)度程序，利用該程序調(diào)取視頻解碼器內(nèi)煤礦井下視頻圖像數(shù)字量信號(hào)；然后，啟動(dòng)圖像信號(hào)壓縮感知算法，對(duì)該數(shù)字量信號(hào)進(jìn)行壓縮感知后，使用基于非局部相似性的鄰域嵌入超分辨率圖像重建方法，對(duì)其進(jìn)行重建處理；最后，輸出煤礦井下視頻圖像。

3.3 圖像信號(hào)處理算法

煤礦井下視頻圖像信號(hào)處理共分為2步，首先利用圖像壓縮感知算法對(duì)其進(jìn)行壓縮感知處理，其次是對(duì)壓縮后的圖像信號(hào)進(jìn)行重建，輸出高分辨率的煤礦井下視頻圖像。

3.3.1 數(shù)字量信號(hào)壓縮感知處理

煤礦井下視頻圖像經(jīng)過視頻解碼器進(jìn)行數(shù)字量轉(zhuǎn)換后，其形成一維離散信號(hào)，在此使用分段處理的壓縮感知算法對(duì)煤礦井下視頻圖像數(shù)字量信號(hào)進(jìn)行轉(zhuǎn)換，使其形成二維圖像信號(hào)。令X表示原始的煤礦井下視頻圖像數(shù)字量信號(hào)，其數(shù)據(jù)大小為N=p×q，將該圖像信號(hào)劃分為若干個(gè)大小為B×B的子塊，引入利用正交獨(dú)立高斯分布矩陣，對(duì)第i個(gè)煤礦井下視頻圖像數(shù)字量子塊進(jìn)行變換后，即可將圖像一維離散信號(hào)轉(zhuǎn)換成二維圖像塊信號(hào)。

3.3.2 鄰域嵌入超分辨率重建步驟

(1)以上一步壓縮感知后的煤礦井下視頻圖像的二維圖像信號(hào)為基礎(chǔ)，首先對(duì)其進(jìn)行去均值處理，以處理后的二維圖像信號(hào)的像素值作為特征向量，建立煤礦井下視頻圖像塊信號(hào)特征建立訓(xùn)練集。

(2)Ls、Hs表示低、高分辨率的特征圖像塊訓(xùn)練集，先對(duì)Ls按照大小為2×2進(jìn)行分塊操作。以其中l(wèi)1小塊為中心，與其相對(duì)應(yīng)的8×8小塊作為匹配塊，使用搜索窗口方法對(duì)其進(jìn)行檢索后，獲得2個(gè)圖像塊相對(duì)應(yīng)的像素誤差絕對(duì)值和后，以2個(gè)8×8圖像塊像素誤差絕對(duì)值和最小值為基準(zhǔn)，搜索到l1的相似圖像塊。

(3)對(duì)l1的相似圖像塊進(jìn)行特征提取后得到與其相對(duì)應(yīng)的特征向量并對(duì)其進(jìn)行歸一化處理。

(4)依據(jù)歸一化后l1的相似圖像塊特征向量，計(jì)算其相似圖像塊的加權(quán)系數(shù)，再使用近鄰搜索算法在Ls內(nèi)搜索K個(gè)低分辨率的近鄰圖像塊后，再?gòu)腍s內(nèi)搜索K個(gè)與其對(duì)應(yīng)的高分辨率圖像塊。

(5)計(jì)算K個(gè)低分辨率和高分辨率圖像塊的重建權(quán)值系數(shù)，然后對(duì)K個(gè)低分辨率和高分辨率圖像塊進(jìn)行線性重組，即可得到具備高分辨率特征的煤礦井下視頻圖像塊。

(6)將重建后的高分辨率煤礦井下高分辨率視頻圖像塊輸入到DSP芯片內(nèi)，其經(jīng)過FLASH視頻模塊動(dòng)態(tài)編輯后，經(jīng)過DSP芯片存儲(chǔ)和傳輸?shù)紽PGA芯片內(nèi)，通過視頻D/A轉(zhuǎn)換器輸出到用戶端。

將上述圖像信號(hào)處理算法以自編程形式寫入到嵌入式DSP芯片內(nèi)，通過啟動(dòng)芯片驅(qū)動(dòng)程序即可完成煤礦井下通信中圖像信號(hào)處理過程。

4 性能分析與測(cè)試

以某大型煤礦礦井為實(shí)驗(yàn)對(duì)象，該礦井屬于立井，內(nèi)部有3條井筒，主井直徑約為7 m，深度約為540 m。副井寬約為6.2 m，深度約為503 m。在該礦井內(nèi)配置防爆軸流式通風(fēng)機(jī)3臺(tái)、有4條運(yùn)輸巷道，在運(yùn)輸巷道內(nèi)有若干臺(tái)煤炭運(yùn)輸車輛和傳送臺(tái)。該礦井內(nèi)部結(jié)構(gòu)較為復(fù)雜且巷道交錯(cuò)，為其煤炭開采安全管控增加了難度。應(yīng)用本文方法對(duì)其視頻監(jiān)控圖像進(jìn)行采集和圖像信號(hào)處理，為地面管控部門提供較為真實(shí)的煤礦井下作業(yè)現(xiàn)場(chǎng)情況。

4.1 煤礦井下視頻圖像信號(hào)采集

使用SignalTapⅡ(嵌入式邏輯分析儀)測(cè)試本文方法對(duì)煤礦井下視頻圖像信號(hào)采集能力。打開SignalTapⅡ軟件后，對(duì)嵌入式FPGA控制圖像采集單元采集煤礦井下視頻圖像信號(hào)并對(duì)該信號(hào)進(jìn)行捕捉，判斷本文方法的采集煤礦井下視頻圖像信號(hào)能力，結(jié)果如圖4所示。

圖4 井下視頻圖像信號(hào)采集測(cè)試結(jié)果Fig.4 Test results of video image signal acquisition

分析圖4可知，本文方法利用FPGA嵌入式芯片控制CCD攝像機(jī)采集煤礦井下視頻圖像時(shí)的CCD_date、CCD_fval、CCD_mclk和CCD_dsat等傳輸波形均保持平直狀態(tài)，并未發(fā)生中斷情況，其說明本文方法在采集煤礦井下視頻圖像信號(hào)能力較好。

4.2 圖像信號(hào)壓縮感知測(cè)試

使用本文方法在不同下采樣率情況下采集該煤礦井下視頻圖像后，對(duì)其進(jìn)行分塊壓縮處理，以圖像的峰值信噪比作為衡量指標(biāo)，測(cè)試本文方法對(duì)煤礦井下視頻圖像信號(hào)的壓縮感知能力，結(jié)果見表1。分析表1可知，應(yīng)用本文方法對(duì)煤礦井下視頻圖像信號(hào)進(jìn)行壓縮感知處理后，在不同下采樣率情況下圖像信號(hào)的峰值信噪比數(shù)值均較原始圖像得到了提升，其中采樣率數(shù)值越高，其采集的煤礦井下圖像信號(hào)進(jìn)行壓縮感知后的峰值信噪比數(shù)值越高。綜上所述，本文方法可有效對(duì)煤礦井下視頻圖像信號(hào)進(jìn)行壓縮感知，提升視頻圖像信號(hào)的峰值信噪比數(shù)值，使視頻圖像信號(hào)內(nèi)的噪聲得到有效降低。

表1 視頻圖像壓縮感知前后峰值信噪比Tab.1 Peak signal-to-noise ratio before and after compressed sensing of video image

4.3 煤礦井下視頻圖像超分辨率重建測(cè)試

以一組煤礦井下視頻圖像信號(hào)為實(shí)驗(yàn)對(duì)象，以圖像像素密度作為衡量指標(biāo)，使用本文方法對(duì)其進(jìn)行超分辨率重建，分析本文方法對(duì)煤礦井下視頻圖像信號(hào)處理能力，結(jié)果如圖5所示。

圖5 井下視頻圖像超分辨率重建效果Fig.5 Super resolution reconstruction effect of underground video image

分析圖5可知，煤礦井下視頻圖像的像素密度隨著其圖像塊的增加而增加。其中在視頻圖像塊為30個(gè)之前時(shí)，應(yīng)用本文方法處理后的煤礦井下視頻圖像的像素密度與原始圖像像素密度差值稍大，而隨著圖像塊增加，二者之間像素密度差值逐漸降低。但在相同數(shù)量的圖像塊時(shí)，使用本文方法處理后的煤礦井下視頻圖像的像素密度數(shù)值始終較高。綜上所述：本文方法應(yīng)用后可有效提升煤礦井下視頻圖像的像素密度，使煤礦井下視頻圖像所呈現(xiàn)的細(xì)節(jié)更清晰，畫面質(zhì)感更佳。

4.4 圖像信號(hào)處理能力測(cè)試

為更好地呈現(xiàn)本文方法對(duì)煤礦井下視頻圖像信號(hào)處理能力，以灰度直方圖形式描述某組煤礦井下視頻圖像信號(hào)處理效果，結(jié)果如圖6所示。

圖6 井下視頻圖像信號(hào)處理前后灰度值Fig.6 Gray value before and after video image signal processing

分析圖6可知，初始煤礦井下視頻圖像信號(hào)的灰度值稍小，其無法呈現(xiàn)煤礦井下畫面特點(diǎn)。而經(jīng)過本文方法對(duì)其信號(hào)進(jìn)行處理后，在圖像幀數(shù)相同時(shí)的圖像信號(hào)灰度值均得到了較大的提升。在圖像幀數(shù)為20時(shí)，處理后的圖像信號(hào)灰度值由原來的48上升到了73。上述結(jié)果說明，應(yīng)用本文方法對(duì)煤礦井下視頻圖像信號(hào)進(jìn)行處理后，其灰度值得到增強(qiáng)，在實(shí)際應(yīng)用中具備較好的應(yīng)用效果。

5 結(jié)論

本文研究基于嵌入技術(shù)的煤礦井下通信中圖像信號(hào)處理方法，選擇嵌入式FPGA芯片和DSP芯片作為控制芯片和處理芯片，使用該2種芯片共同協(xié)作控制圖像采集單元采集煤礦井下視頻圖像信號(hào)，然后啟動(dòng)處理算法程序?qū)崿F(xiàn)對(duì)煤礦井下通信圖像信號(hào)的處理。實(shí)驗(yàn)結(jié)果表明，本文方法具備良好的煤礦井下視頻圖像采集能力、視頻圖像信號(hào)壓縮感知能力和圖像超高分辨率重建能力，其在煤礦開采管控中具備良好的應(yīng)用效果。