基于 IHS 與 NSST 的礦井彩色低照度圖像融合算法

付 元

中煤科工集團杭州研究院有限公司 浙江杭州 311201

煤礦智能化、智慧礦山建設是煤炭行業未來高質量發展的重要戰略方向。在煤礦智能化建設過程中，對現實世界的智能感知主要依托圖像和視頻數據。近年來，對于視頻圖像數據的技術研究和應用已經逐步推廣到煤礦的各個生產和日常管理中，在目標識別、人員信息識別、礦井圖像融合等方面都有著廣泛的應用。

有效進行煤礦圖像采集，有利于后續分析、響應，進而保證井下安全生產，但是在煤礦視頻數據采集過程中，由于煤礦工作面環境復雜，環境條件差，光照差等因素，在可見光條件下，實現圖像采集時得到的光譜特征非常弱，導致最終成像非常模糊，進而很難區分工作人員與周圍環境[1]。低照度下的礦用圖像采集、降噪、去模糊等都是十分困難的，許多研究者提出了很多復雜的降噪方法[2-5]，但是局限于可見光的窄帶顏色所導致的低信噪比，往往不能很好地提升對圖像中特定特征的提取。隨著采集手段的提升，利用多頻圖像融合算法來提升圖像細節成為了一種新的研究方向。

圖像融合是對同一場景進行多信息融合形成單個圖像的過程，其目的是為了減少冗余信息和干擾信息，最大化地提取有用信息。目前，融合圖像的主要方法是灰度融合算法[6]。它主要由空間域和頻率域算法組成。空間域算法比較容易實現，但是圖像模糊，并且目標不明確[7]；頻率域的算法主要有小波變換、拉普拉斯金字塔、輪廓波變換、Shearlet 變換[8]和平穩小波變換。小波變換具有多方向相同的特點，由此導致小波變換不能根據多方位圖像提取圖像細節信息。NSCT (Non-subsampled Contourlet Transform，非下采樣輪廓變換) 作為一種傳統算法，主要研究領域在紅外光、可見光圖像的融合，在分解不同尺度或者各向異性較強的圖像上，NSCT 有較好的效果。但是 NSCT 自身結構導致運算花費的時間較長，所以在NSCT 的基礎上提出了 NSST 變換。NSST 能夠有效地進行多方位幾何分解，可以更好地進行圖像細節描繪[9]。

針對煤礦實際生產場景需求，根據工人制服與環境在不同波段的反射強度存在本質的差別，利用多譜段的數據融合，最終達到既增強目標細節信息又抑制背景環境的目的。筆者利用 IHS 變換對可見光的光波信息和亮度信息進行了區分，再利用 NSST 多方位幾何分解的優點，提出了基于 IHS 和 NSST 的彩色低照度圖像融合算法。在對圖像進行多方位、多尺寸分解，在空間頻率中，低頻子帶通過構造自適應調節因子完成信息融合，高頻子帶通過區域能量構建模型完成信息融合；通過有機結合 IHS 逆變換與 NSCT 逆空間變化操作，得到最終的融合圖像。

1 IHS 與 NSST 轉換方法

1.1 IHS 變換與 RGB 空間轉換

IHS 顏色空間的圖像是基于顏色、亮度和飽和度三大特征，其中顏色的飽和度與視覺感受直接關聯起來，而亮度則與顏色分別獨立，使得相對于不同位置的顏色上的特征都可以通過 IHS 轉換實現與畫面兼容[10-11]。提取流程如圖1 所示。

圖1 提取流程Fig.1 Extraction process

RGB 色彩空間表達圖像信息依靠的是紅色、綠色、藍色 3 個元素描繪圖像的彩色信息。它與 IHS 變換不同的是紅、綠、藍 3 個元素相互依賴，這種依賴關系增大了圖像解析和信息提取的難度。相較而言，IHS 變換則是 3 個相互獨立的元素，因此有利于光譜信息的提取[12]。

變換過程需要中間變量進行操作，給出變量V1、V2，變換過程如下。

變換后，IHS 逆變為 RGB 空間的過程如下。

對多光譜的物體重新取樣，使其在空間分辨率下所得的值和全色情況下所得的值一致，再對取的 RGB空間進行顏色變換，轉換成 IHS 空間，然后接著將直方圖匹配，使多光譜圖像的顏色與高分辨率全色圖像色調相同，從而獲得新的全色圖像并與多光譜I的分量顏色非常接近，再將多光譜I的分量置換，使之作為新的亮度成分，最后再逆變換為 RGB 空間。

1.2 非下采樣剪切波變換

剪切波結合幾何不同尺度原理通過仿射系統，當n＝2 時，有合成膨脹的放射系統

式中：ψ∈L2(R2)；A為 2×2 可逆矩陣，且|detA|=1。

NSST 逆變換重新建立初始圖像分為兩步：首先生成非下采樣金字塔模型，里面的每一個尺寸都是使用剪切波濾波器在多方位經過分解和過濾的操作得到的；然后對圖像進行非下采樣金字塔重新構造[13-14]。因為 NSST 有多尺寸、多方位和平移相同性的特點，所以可以有效地進行圖像的融合操作。當MAB(ψ) 滿足條件時，二維仿射系統中的元素稱為合成小波，A為膨脹矩陣；Ai為關于大尺度轉換的變量；B為剪切矩陣，與Bj幾何變換理論密切相關。當時，NSST 是非正交變換，同樣是傳統剪切波變換的重要發展成果，它由兩個方面所構成，分別是基于非下采樣金字塔濾波[15]的多尺度分析和基于改進剪切波濾波的多方向分析。不同尺寸分解方法是通過進行K次分解，最后得到一個低頻率分量和K+1個高頻率分量，對得到的高低頻率分量進行多方位分析。目前標準的剪切波濾波器基本都是采用標準偽極化網的平動方式進行的，而采用 NSST 的方式主要是先把標準的偽極化坐標網反映在標準笛卡爾坐標系[16]，然后再使用標準傅立葉逆變換去檢驗它對二維卷積的作用。NSST 離散化過程如圖2 所示。

圖2 NSST 離散化過程Fig.2 NSST discretization procedure

2 基于 IHS 和 NSST 的礦井彩色低照度圖像融合算法

2.1 圖像特征提取

低頻率分量含有成像的特性和物體的輪廓特征以及可見光成像的背景特征，筆者運用了局部特征取大原則對不同頻段成像進行取樣，局部特征取大原則如公式 (6)、(7) 所示。

式中：(i，j) 為圖像像素點的位置坐標；M×N為局部尺寸大小；c為低頻分量信號。

因為礦井的工人制服對各個頻段的反射強度都不同，所以高頻譜圖像融合就是要結合在可見光下物體紋理方面的特征和聲音方面的特征。彩色圖像分解后得到的亮度分量，憑借目標的特點不同與鄰近的像素之間和系統中圖像內部的多可能性，能自動地確定其中的像素點到底是來源于目標的特征信息還是來源于背景環境信息，相應的度函數[17]

式中：β為函數的中心，代表圖像的平均值；σ為函數寬度，代表圖像標準差。

在結果中，高頻率的分量主要映射圖像的要點，其中涵蓋了圖像紋路信息和邊緣特性，采用模值取大原則能大概率保留目標的邊緣特點，這可以保留圖像清晰程度。高頻率分量

2.2 圖像融合算法

特殊波段描繪了礦下工人的制服在不同波長下的不同反射信號。這些信號整體框架信息很明顯，但是比較模糊，并且細節差，利用能記下環境細節特點的可見光圖像，可以達到適合人眼視網膜識別觀察的目的。SSIM (Structural Similarity Index Measurement) 是用來描述兩幅圖像相似度的指標[18]。在保持可見光圖像低頻分量空間對比度信息的基礎上，通過基于SSIM 和亮度差異性的稀疏表示，在最優化情況下可注入更多 SAR 圖像結構信息和亮度信息。

圖像融合流程如圖3 所示。圖像融合算法步驟如下：

圖3 圖像融合流程Fig.3 Image fusion process

(1) 選擇幾組 SAR 圖像與可見光圖像進行融合；

(2) 對已采樣的 SAR 圖像與可見光圖像通過 IHS和 NSST 進行變換，生產相應的高低頻率分量VH1,1，VH1,2，…，VH1,k、SH1,1，SH1,2，…，SH1,k、SL、VL；

(3)L通過 SML 融合對高頻分量VH1,1，VH1,2，…，VH1,k和SH1,2，…，SH1,k操作，得到高頻融合分量FH，通過 SSIM 和亮度差異性稀疏表示融合原則對低頻率分量操作得到低頻融合分量F；

(4) 通過 NSST 和 IHS 逆變換將低頻融合分量FL和高頻融合分量FH進行轉換[19]，最終生成 SAR 與可見光融合圖像。

將SAR 圖像和可見光圖像的低頻分量用滑動窗口的方法劃分為的圖像塊。假設第p對圖像塊為 {x，y}，亮度l用圖像塊的灰度均值 {μx，μy} 來表示，對比度c為灰度的標準差 {σx，σy}，圖像的結構記為s，圖像塊p與圖像的亮度l、對比度c以及結構s之間的關系可表示為

每對圖像塊的亮度相似性信息定義為

Cl、Cs為無限接近于零的常數，以免出現分母為零的情況，即：

融合后，將列向量運用字典轉換為圖像結構列向量

將列向量全部轉換為圖像塊結構信息和亮度，分別表示為sf、lf，再將之前提取出來的圖像低頻分量對比信息加入到圖像塊中，即可得到圖像塊低頻分量融合結果

在融合過程中，SAR 圖像結構信息的加入程度由兩幅低頻分量結構的相似性決定。SSIM 越大，則注入越多的 SAR 圖像信息，可以更好地保留圖像中的細節信息；SSIM 越小，則可以更多地保留可見光圖像的信息，即保留圖像的輪廓信息。同樣，SAR 圖像亮度信息的注入程度也是由亮度相似度決定的。亮度相似度越小，SAR 圖像亮度信息注入的越多，可以保留融合圖像中感興趣目標區域的亮度；亮度相似度越大，則 SAR 圖像亮度信息注入越少，則可以保留更多的可見光圖像亮度信息。

圖像細節信息存在于變換域的高頻分量中，其本身具有良好的稀疏表示特性。與傳統的方差、拉普拉斯能量以及空間頻率相比，SML (Standardized Max Logits) 更注重局部圖像塊區域內像素間的相互聯系[20]。定義I l,k(i，j) 為像素 (i，j) 在第l尺度第k方向上的系數。改進的拉普拉斯能量 (ML) 和 SML 可定義為

變量A和B決定著窗口 (2A+B)×(2A+B) 的大小。

也就是進行高頻分量比較時，選擇 SML 系數較大值作為融合圖像的系數。

3 試驗結果與分析

試驗過程在 PC 端進行，計算機硬件為 Intel i7，Windows10 操作系統，使用 MatLab 語言進行編碼。使用基于 IHS 與 NSST 的彩色低照度圖像融合算法與基于 IHS 變換、基于輪廓波變換、基于非下采樣輪廓變換的融合算法進行對比試驗。

3.1 試驗評價

采用可見光作為參考圖像，使用相關系數(Correlation Coefficient，CC)、光譜角 (Spectral Angle Mapper，SAM)、相對整體誤差 (Relative Average Spectral，RAME)、相對平均光譜誤差 (Relative Average Spectral Error，RASE) 和通用質量評價指標 (Universal Image Quality Index，UIQI)[21]對融合圖像的效果進行客觀評價。其中，CC、SAM、RAME 評價融合圖像的光譜質量，RASE、UIQI 從光譜質量和空間細節信息整體上對融合圖像進行評價。

3.2 試驗結果

為驗證基于 IHS 與 NSST 的彩色低照度圖像融合算法的有效性，采集了彩色低照度圖像來進行試驗，且彩色低照度圖像為井下工人工作時間獲得，背景主要是礦井采礦區，采樣結果如圖4 所示。

圖4 礦井采樣Fig.4 Mine sampling

對圖4 進行基于 IHS 與 NSST 的彩色低照度圖像融合試驗，圖像融合如圖5 所示。由圖5 可知，礦井工人的身體輪廓信息與周圍環境信息之間的對比效應突出，工人制服信息保存紋理特性信號，具有較好的圖像融合效果。

圖5 圖像融合Fig.5 Image fusion

通過收集某個時刻各攝像機拍攝到的礦井采礦區圖像，運用基于 IHS 與 NSST 的彩色低照度圖像融合算法，將圖像融合為具有礦工與背景對比突出特點的圖像，解決了由于礦井下圖像光線不足、拍攝設備不穩定，導致圖像模糊、圖像受噪聲影響較大等問題，更加方便清晰地觀測到煤礦井下采礦區工作的具體情況。對照試驗如圖6 所示。

圖6 對照試驗Fig.6 Check experiment

從圖6 可以看出，基于 IHS 變換的方法相對基于輪廓變換、非下采樣輪廓變化的方法色彩較淺，在視覺效果上沒有圖6(d) 和圖6(e) 更好地保留頻譜信息。從全圖可以看出，筆者提出的方法在色彩保持和清晰度上都比其他方法較好。對照試驗融合質量評價如表1 所列。由表1 可知，基于 IHS 與 NSST 的圖像融合算法在各項指標均優于對照組其他方法，且最接近融合結果理想值，證明了該方法在融合結果上的有效性。

表1 對照試驗融合質量評價Tab.1 Evaluation of fusion quality in check experiment

4 結語

煤礦井下環境復雜、人員及設備繁雜，作為生產的一線，如何高效、準確地保障工作人員的自身安全與企業生產安全，是一件責任重大且有意義的事。礦井彩色低照度圖像融合正是實現這一目的的重要技術手段，可以克服煤礦井下低照度對視頻和圖像數據的影響，提高生產安全性。筆者利用光譜波段不同，進行信息互補，提出了基于 IHS 與 NSST 的礦井彩色低照度圖像融合算法來進行工人檢測，低頻率分量采取自適應模糊邏輯作為融合原則，高頻率分量則采取模值取大的原則將融合圖像的特征波段多級融合，增強了融合圖像的工人信息，增大了目標與背景的對比度，提高了目標的檢測精度，最終得到的圖像融合效果良好，具有較大的應用價值。