基于Retinex模型和GTV的鐵路貨車鑄件DR圖像增強

任雨霞 ，曾理

(1. 重慶大學 數學與統計學院，重慶 401331；2. 重慶大學 工業CT無損檢測教育部工程研究中心，重慶 400044)

由于生產工藝的限制，鐵路貨車鑄件可能會出現缺陷，缺陷位置可大體劃分為外部及內部缺陷[1]，鐵路鑄件的外部缺陷可通過觀察直接分辨，而內部缺陷需經過數字化X 線攝影(Digital Radiography, DR)等無損檢測技術勘測。目前，已經存在一些鋼軌表面缺陷檢測技術，如顧桂梅等[2-3]提出的缺陷檢測方法。但這些方法對于檢測鐵路貨車鑄件的內部缺陷效果不佳。由于鐵路貨車鑄件厚薄不均，反映在原始DR 圖像上呈現灰度不均的特點，不利于檢測員對對比度較低的DR 圖像缺陷做出判斷，因此，增強待檢測區域的缺陷尤為重要。傳統的圖像增強方法主要有：1) 統計方法。如直方圖均衡化(Histogram Equalization，HE)算法。此外，出現了一些改進的HE 算法，如SHANKAR等[4]提出的BBHE 算法，CHEN 等[5]提出的MMBEBHE 算法，WANG 等[6]提出的局部直方圖均衡化方法。基于直方圖的方法旨在優化圖像直方圖的形狀[7]，該方法原理簡單，但往往只計算像素的強度，而忽略了像素的空間信息，因此，該方法往往增強效果不佳。2) Retinex方法。Retinex 理論假設觀測圖像可以分解為光照圖和反射圖[8]。早期該方法使用高斯濾波器來估計平滑光照圖，并直接將反射圖作為最終的結果圖。然而，這些方法往往導致圖像過度增強和增強結果不自然等不同方面的負面效應。GUO等[9]提出一個結構感知的平滑模型來優化光照圖，REN 等[10]提出低秩正則化Retinex 模型(LR3M)，XU 等[11]提出一種新的結構和紋理感知的Retinex (STAR)模型，HAO 等[12]提出一種基于Retinex 的半解耦模型。這些方法對于自然圖像的增強取得了比較好的效果，而對于鐵路鑄件DR 圖像增強缺陷效果不明顯。隨著深度學習的發展，圖像增強技術取得了很大進展。鐘嘉俊等[13]基于改進的Faster R-CNN 識別焊縫缺陷，LORE 等[14]提出一種基于深度自動編碼器的學習方法(LLNET)，CHEN 等[15]提出一種全卷積網絡結構，在真實的微光圖像上可以取得較好的增強效果，Retinex-Net[16]對于自然圖像的增強也產生較好效果。雖然深度學習方法已獲得廣泛應用，但傳統方法是人類長時間知識積累的結果，不需大量配對圖像或標記圖像進行訓練，其模型和方法具有可解釋性，容易使使用者信服其結果，而且可根據相關知識進行改進，所以仍然有研究價值。基于數據的深度學習方法與基于知識的傳統方法各有所長，但二者的適用場景和條件不同，很難公正地比較。隨著小樣本甚至單樣本深度學習網絡的發展，結合傳統方法的深度學習方法也在發展中。針對鐵路貨車鑄件DR 圖像對比度低、缺陷等細節顯示不足的問題，為了在保持圖像整體結構和細節信息的同時有效增強圖像，本文設計一種基于Retinex 理論和高斯全變分(Gaussian Total Variation, GTV)的增強模型。根據理想光照圖的充分光滑性和反射圖應包含盡可能多紋理細節的特性，將圖像分解為光照圖和反射圖進行估計。其中，利用基于GTV 的理論估計圖像光照圖，利用指數局部導數作為權重項來更好地提取有意義的紋理細節反射圖。最后，將體現圖像紋理細節的反射圖作為增強圖像，從而實現增強圖像缺陷細節的目的。

1 基于Retinex 模型和GTV 的增強方法

針對增強鐵路鑄件DR 圖像缺陷的問題，提出一種利用GTV 和基于紋理感知的加權項對Retinex分解過程中的光照圖和反射圖進行正則化的模型。其中，基于GTV 的理論可以較好地顯示圖像的整體結構，缺陷等細節信息留在反射圖中，基于紋理感知的加權項促進了圖像細節信息的提取。最后，采用交替迭代算法對模型進行求解。

1.1 模型構造

Retinex 模型模擬人類視覺系統的色覺[11]。它的目標是將觀測圖像O∈Rn×m分解為光照圖和反射圖：

其中：I∈Rn×m表示場景中代表物體亮度的光照圖；R∈Rn×m表示場景中代表物體物理特征的反射圖；⊙表示對應元素相乘。光照圖I和反射圖R可以通過交替估計來得到：

其中：?代表對應元素相除，事實上，為了避免分母為0，使用I=O?(R+ε)，R=O? (I+ε)，其中ε=10-8[11]。Retinex 模型將觀測圖像分解為光照圖和反射圖。這是個高度病態的問題，應該考慮合適的光照圖和反射圖的先驗信息，一般來說，光照圖應該是分段平滑的，可以捕捉場景中物體的結構，而反射圖應該反映場景的物理特征，捕捉其紋理信息。本文使用一種基于高斯全變分(GTV)的邊緣保持濾波器，用于估計圖像光照圖。文獻[12]中將傳統的全變分|?x，yT|擴展至高斯全變分(GTV)：

其中：T是濾波圖像；?x，yT是T在x方向或y方向的微分；此處加入了一個高斯核項為分母，高斯核寬為σ1；Gσ2(T)表示作用在T上的空間寬度為σ2的高斯濾波器。基于Retinex 的方法，提出一個目標函數的同時估計光照圖和反射圖，建立如式(4)目標函數模型：

其中：?1(I)和?2(R)分別是關于光照圖I和反射圖R的2 種正則化函數。文獻[11]中指出?1(I)和?2(R)為全變分形式時，無法較好地區分圖像的邊緣及紋理細節，在平滑噪聲的同時往往會模糊圖像的邊緣細節。文獻[17]中首先利用GTV 估計圖像的光照圖，然后在基于Retinex 理論的限制下估計反射圖。本文不僅利用GTV 作為正則化項估計光照圖，為了更好地提取紋理細節，還加入紋理感知加權項估計反射圖，本文建立如式(5)目標函數模型：

其中：O為原始觀察到的圖像；I和R分別為要估計的光照圖和反射圖；?I和?R分別為要估計的光照圖和反射圖的梯度；α和β為平衡光照圖和反射圖的參數；T0為權重矩陣，影響提取的反射圖的紋理細節。

T0的設計對提取圖像的紋理細節信息是有意義的，受文獻[11]的啟發，選取權重矩陣T0如式(6)所示：

其中：Ω 為像素點周圍的局部區域；|Ω|為局部區域Ω 內像素點的個數；ε設置為0.000 1。為了求解 GTV正則項中的L1范數，做出了如式(7)L1范數的逼近形式：

其中：ε是一個避免分母為0 的較小的正常數，本文設置為0.000 1(2.1 節闡述了ε的取值)，式(7)將基于GTV 的正則項近似分解為二次項和非線性權重ωx，y，其中，ωx，y如式(8)所示：

因此，目標函數可轉化成如式(9)形式：

圖1 不同ε的結構圖Fig. 1 Structure images of different ε

1.2 模型求解

目標函數(9)中2 個變量I和R是可分離的，因此可以通過交替優化算法求解模型。本文初始化矩陣變量I0=O，R0=O?I0。分別用Ik和Rk表示第k次(k=0，1，2，…，K)迭代的光照圖和反射圖，K為最大的迭代次數。在優化一個變量的同時固定另一個變量，可以交替更新這2個變量。

1) 更新I，固定R。

進一步有：

為了解決問題(10)，將式(11)化為：

其中：Dx和Dy是帶有向前差分的離散梯度算子的Toeplitz 矩陣；Wx和Wy是帶有權重wx和wy的對角矩陣；式(12)關于I求導，令導數為0，可得到：

2) 更新R，固定I。

式(12)中求解可得出Ik+1，而：

重復上述算法直到滿足收斂條件或迭代次數超過預設閾值K。本文給出了交替優化算法的收斂條件為≤ε，由此，模型(5)可以有效地解決。根據上述求解過程，分離后的每個子問題都有封閉形式的解。

表1 求解模型(5)的算法流程Table 1 Algorithmic process for solving the model (5)

2 實驗結果與分析

本文實驗所用筆記本配置為Intel(R) Core(TM) i5-1035G1 CPU @ 1.00 GHz，基于Matlab R2021a編程實現。實驗所用圖像為實際掃描得到的帶有缺陷的鐵路貨車鑄件DR 圖像，如圖1(a)所示。由于實際掃描得到的DR圖像一般為12～16位，而顯示器往往只有8位，不易區分缺陷部位和非缺陷部位，因此實驗中輸入圖像是16 位的DR 灰度圖像，輸出是增強后的24位DR圖像。此外，實際掃描得到的DR 圖像往往尺寸很大，而缺陷等細節信息往往存在于局部區域中，為了突出缺陷信息，截取DR圖像的部分區域進行實驗。

2.1 結構圖結果

本文模型使用圖像的反射圖作為最終增強結果，為了得到較優的反映細節缺陷的反射圖，估計的光照圖需要反映圖像的主體結構。觀察模型(9)可知，權重項ωx，y對于提取圖像的光照結構圖是重要的。本文選取圖1(a)中方框區域圖1(b)作為輸入圖像，設置一組ε的值：0.000 01，0.000 1 和0.1，得到反映圖像的結構圖，如圖1(c)，1(d)和1(e)所示。觀察可知，ωx，y中ε的取值對于圖像的結構圖影響較小，本文設置為0.000 1。由圖1(c)，1(d)和1(e)可以看出，設置的權重項ωx，y較好地提取了圖像的結構，促進了缺陷等細節信息暴露在反射圖中。

2.2 模型結果

選取圖1(a)中方框區域圖1(b)作為輸入圖像，經過多次實驗，選擇合適的算法參數α=0.001，β=0.000 01，γt=0.8，γI=2，γR=1.5，迭代次數K=7，停止迭代準則中ε設置為0.01，得到增強圖像如圖2(b)所示，圖2(c)為進一步得到的部分缺陷放大圖。

從圖2(c)中可以觀察到，本文模型得到的增強圖像增強了紋理特征，氣孔等缺陷信息清晰地顯現出來，且保持了邊緣信息，有助于檢測人員標注缺陷信息。

圖2 增強結果圖Fig. 2 Enhanced images

2.3 定性定量地評估模型

經典的圖像增強方法有HE 和SSR，現有流行算法有LR3M 方法[10]，STAR 方法[11]，Shi’s 方法[12]和Retinex-Net[16]，本節用這些方法來評估本文模型。如圖3 所示，實驗選取了2 組不同的鐵路貨車鑄件DR 圖像，圖3(a)是原圖像，圖3(a)上部分是第1 組DR 圖像，3(a)下部分是第2 組DR 圖像，右圖是左圖中方框區域的局部放大圖。

圖3 不同方法的增強圖Fig. 3 Enhancement images of different methods

從圖3(b)和圖3(c)中可以觀察到，HE 和SSR方法可以顯著提高圖像的整體對比度，但局部區域亮度過強或過暗，丟失了圖像的部分真實信息，不利于缺陷的檢測。STAR 方法，Shi’s 方法和LR3M 方法得到的增強圖像不易捕捉圖像缺陷細節。由于沒有標準地配對DR 圖像進行網絡訓練，因此，Retinex-Net 方法得到的增強圖像對比度低，圖像信息損失嚴重。而本文方法得到的增強圖像提高了圖像的對比度，明顯突出了缺陷等細節信息，給人以良好的視覺體驗效果，有利于檢測人員識別缺陷細節。

為了進一步評估本文方法，需要計算圖像的信息熵和平均梯度。其中，圖像的信息熵反映了圖像中平均信息量的多少，通常情況下，圖像信息熵越大，其信息量就越豐富，質量就越好。信息熵的計算公式如式(18)所示，p(ri)表示第i個像素灰度值出現的概率。平均梯度顯示了圖像中紋理細節的反差變化速率，一般而言，圖像的平均梯度越大，對應圖像層次越豐富，平均梯度計算公式如式(19)所示。下面分析比較不同方法下得到的圖像的信息熵和平均梯度信息。

觀察表2 和表3 可知，與原圖相比，HE 方法提高了圖像的平均梯度，使得增強后的圖像層次更加清晰，但該方法降低了圖像的信息熵，導致增強圖中信息的損失。SSR方法無法顯著提高圖像的信息熵和平均梯度，對于增強圖像細節效果不佳。STAR 方法和Shi’s 方法改善了圖像的信息熵，但平均梯度有所下降，導致圖像層次信息的損失。LR3M 方法提高了圖像的平均梯度，對于不同DR圖像的信息熵改善效果不同，對于不同圖像的增強效果不穩定。Retinex-Net 方法得到的圖像的信息熵及平均梯度有一定提高，但實際增強后的圖像效果卻不理想。而本文方法顯著提高了圖像的信息熵和平均梯度，即得到的圖像含有豐富的信息量，層次結構也更加分明。

表2 信息熵對比結果Table 2 Information entropy comparison results

表3 平均梯度對比結果Table 3 Average gradient comparison results

3 結論

1) 提出一個基于Retinex 理論和高斯全變分的增強模型，利用基于高斯全變分的濾波器估計圖像光照圖，利用指數局部導數作為權重項來更好地提取有意義的紋理細節反射圖，最后用交替優化算法進行求解，將反射圖像作為最后增強圖像。

2) 相比于已有的一些增強方法，本文方法保留了圖像的結構信息，增強了圖像缺陷細節，改善了圖像的視覺質量。與原圖相比，增強后的圖像的信息熵提高了8%以上，平均梯度至少提高為原來的6倍。

3) 本文方法提高了DR 圖像檢測缺陷的能力，促進了鐵路貨車鑄件的無損檢測。