基于圖像融合和改進閾值的管道機器人探測圖像增強方法

袁明道，譚 彩，李 陽，徐云乾，張旭輝，楊靜學

基于圖像融合和改進閾值的管道機器人探測圖像增強方法

袁明道1，譚 彩1，李 陽2，徐云乾1，張旭輝1，楊靜學1

(1. 廣東省水利水電科學研究院，廣東 廣州 510610；2. 天津理工大學計算機科學與工程學院，天津 300384)

管道機器人探測能快速、準確和直觀地識別管道結構性和功能性隱患，受管道內環境限制，探測的圖像存在光照不均、對比度低和細節模糊等問題。為此，提出了一種管道機器人探測圖像的增強技術。首先采用限制對比度自適應直方圖均化(Contrast Limited Adaptive Histogram Equalization，CLAHE)和同態濾波(Homomorphic Filtering，HF)處理光照不均勻和對比度低的問題，并將2種方法結果進行融合。而后將融合的圖像進行非下采樣輪廓波變換(Nonsubsampled Contourlet Transform，NSCT)，并采用改進的Bayes-Shrink閾值對高頻系數進行噪聲去除。最后采用非線性映射函數對細節進行增強，并進行NSCT逆變換得到最終增強圖像。選取5幅典型管道機器人探測圖像進行增強處理，并與4種常見的圖像增強技術進行對比。結果表明，基于圖像融合和改進閾值的管道機器人探測圖像增強技術可有效提高圖像的整體和局部對比度，并有效增強圖像的細節，能有效解決管道機器人探測圖像存在的主要問題。

管道機器人；圖像融合；非下采樣輪廓波變換；同態濾液；對比度自適應直方圖均化

我國目前大壩總數高達8萬余座，其中絕大部分為20世紀中葉修建的中小型土壩，作為重要的三大構成之一的輸水涵管，結構性和功能性缺陷是導致該類土壩出現病險的主要原因之一。因此，消除輸水涵管病害是全面落實“河長制”，切實保障水安全的重要一環。為科學有效地消除輸水涵管病害，須先對其進行探測，查明其存在的結構性和功能性缺陷。

管道機器人探測是目前管道探測最有效、最安全的手段，能快速、準確和直觀地識別管道結構性和功能性隱患[1]。然而受水利管道內環境條件限制，探測的圖像存在光照不均勻、對比度低、細節模糊等問題，導致探測結果失真，圖像分析困難，隱患難以全部探明，嚴重影響管道安全運行。因此，有必要對管道機器人探測圖像進行增強處理。

圖像增強是一種重要的圖像處理方法，能有效增強圖像中的細節信息，抑制噪聲，提高圖像質量[2-3]。目前圖像增強方法主要有：直方圖均衡化(Histogram Equalization，HE)、引導濾波(Guided Filtering)、同態濾波(Homomorphic Filtering，HF)、小波變換、多尺度幾何變換等[4-7]。直方圖均衡化運算速率快且能有效增大圖像對比度，但圖像局部的對比度提升能力弱，且會將不同的灰度級像素歸為同一級，造成信息丟失。基于分塊處理思想提出的自適應直方圖均衡化(Adaptive Histogram Equalization，AHE)，能有效增強局部對比度，但同時噪聲也會放大，限制對比度自適應直方圖均化(Contrast Limited Adaptive Histogram Equalization，CLAHE)采用閾值對噪聲進行限制，但圖像細節無法得到增強。引導濾波是一種保持邊緣的圖像增強方法，可有效地增強圖像邊緣細節信息，但對噪聲敏感[5]。HF可有效改善光照不均問題，但不能較好地增強圖像邊緣細節信息[8]。小波變換[4]具有時頻局域化特點，可有效捕捉圖像高頻信息，在圖像處理中得到廣泛的使用，但小波變換只有3個方向，Contourlet(CT)可得到更多的方向，是種“正真”的圖像二維表示方法，可有效捕捉圖像各個方向的高頻信息，但是其不具備平移不變性，存在頻譜混疊現象，表現“吉布斯”效應[9]。NSCT在分解重構過程中繼承了傳統CT對圖像表示的多方向性和各向異性，且具有傳統CT不具備的平移不變性[10-11]。NSCT可以有效地增強圖像的細節，但不能較好提升圖像整體對比度。現有的基于NSCT增強的方法主要是先使用NSCT分解，對低頻信息進行拉伸，再對高頻信息進行增強，因此，若原圖像對比度較低，則NSCT難以較好地捕捉邊緣信息進而增強圖像的細節信息[12-14]。

本文針對管道機器人探測圖像光照不均、對比度低、細節模糊的特點，融合CLAHE、HF和NSCT各自的優點提出了一種組合的圖像增強方法，根據Bayes-Shrink閾值提出改進的閾值，并采用人為評價和客觀評價對其增強效果進行評價。

1 管道機器人探測

管道機器人探測技術又稱CCTV(Closed Circuit Television，CCTV)探測技術，是目前最有效和最安全的管道探測手段。管道機器人主要由控制器、自動電纜盤、帶高清晰度攝影成像的爬行車、存儲器和伸縮控制桿等部件組成。管道機器人通過爬行車爬入管道內部，通過自帶的攝影成像系統將管道內部情況實時顯示于控制面板顯示器，并通過存儲器存儲。管道機器人爬行車尺寸長310 mm×寬110 mm × 高90 mm，質量6 kg，最大防水深度10 m。其中攝像系統尺寸長168 mm×寬81 mm×高72 mm，質量1.5 kg，感光度1 Lux，水平分辨率460線，光學變焦10x，數碼變焦12x，視角60°，LED照明。檢測系統可顯示并自動更新電纜校準點到攝像頭間的距離，精度可達分米級。

近年來，廣東省水利水電科學研究院開展了近百宗管道機器人探測，為各種管道工程復核計算和安全評價提供依據，為落實“河長制”保障水安全提供了技術支撐[1]。然而管道內由于光線昏暗，空氣潮濕，大量顆粒懸浮等問題使得探測的圖像普遍存在以下缺陷(圖1)：a.管道內光線不足，其主要光源為管道機器人自帶的LED燈，光照分布不均。當物體距光源較遠時，光照度不足導致物體整體輪廓模糊，而距光源較近時，光照度過強產生鏡面反射導致圖像中出現亮白一片；b.管道機器人自帶的LED燈與自然光成像明顯不同，管道中懸浮顆粒會散射和吸收物體表面反射光，光照度明顯不足，對比度低，細節模糊；c.圖像呈灰、白和黑色，圖像處理時，可利用色彩信息少。管道機器人探測圖像缺陷嚴重影響輸水涵管隱患評判與分析，危及管道安全運行。因此，為保障涵管探測分析結果可靠性，必須首先對管道機器人探測圖像光照不均、對比度低、細節模糊的問題進行處理。

圖1 典型管道機器人探測圖像

2 基于圖像融合和改進閾值的圖像增強技術

為有效解決管道機器人獲取的圖像存在的光照不均、對比度低、細節模糊等問題，提出了一種基于圖像融合和改進閾值的圖像增強技術，該技術流程圖如圖2所示。其設計思路為根據管道機器人獲取圖像對光照不均和對比度較低的特點，首先融合了HF和CLAHE方法的優勢，提高圖像的對比度和亮度；其次根據Bayes-Shrink閾值提出改進的閾值，使用NSCT對圖像進行噪聲抑制；最后使用映射函數對圖像細節進行增強。

圖2 圖像增強技術流程圖

2.1 基于空域融合的對比度增強

進行對數變換，得到兩個加性分量，即：

進行傅立葉變換，得到其對應的頻率表示系數：

設計一個頻率濾波器，進行頻率域濾波操作，并進行傅立葉反變換，返回空域對數圖像，取指數，即可得到空域結果圖像。

CLAHE與普通自適應直方圖均衡的主要不同在于其對比度限幅，為克服AHE的過度放大噪聲的問題，在CLAHE中對每個小區域都進行了對比度限幅。雖然同態濾波和CLAHE都能提高圖像的對比度，但是這2種方法各有優勢，因此，本文提出對同態濾波和CLAHE的結果加權融合，公式如式(4)：

式中和分別為HF和CLAHE結果圖像，和為融合加權系數，為融合結果圖像，如圖4所示。可知，空域融合圖像包含了HF和CLAHE兩種方法的優點，提高了圖像的局部對比度也改善了亮度不均。

2.2 改進閾值函數

受探測環境限制，管道機器人獲取的圖像噪聲較大，且CLAHE和HF在增強圖像時會將噪聲放大，需對圖像進行去噪處理，NSCT是一種新型平移不變，多尺度、多方向性的快速變換，是基于非下采樣金字塔(Nonsubsampled Pyramid，NSP)和非下采樣方向濾波器(Nonsubsampled Directional Filter Band，NSDFB)的一種變換。其操作方法為首先采用NSP對輸入圖像進行塔形分解，得到高通和低通2個部分，然后使用NSDFB將高頻子帶分解為多個方向子帶，低頻部分繼續進行如上分解。圖像通過NSP進行多尺度分解減少了采樣在濾波器中的失真，獲得了平移不變性。NSDFB是一個雙通道的濾波器，將分布在同方向的奇異點合成NSCT的系數。每個尺度下的方向子圖的的大小都和原圖同樣大小。

在小波域中，假設小波系數服從廣義高斯分布，Bayes-Shrink閾值[17]能獲得接近于理想閾值的去噪效果。而圖像經過NSCT變換后，其高頻系數也符合廣義高斯分布，故引入BayesShrink閾值：

噪聲經過NSCT多層分解之后，其值逐漸衰減變小，而邊緣細節的值經過多層分解后逐漸變大，因此，在NSCT域中，在不同尺度、不同方向的子帶系數均有差異，所以對每一層均需采取不同的閾值。為此，提出了一種改進的閾值：

通過改進，可以更多地保留高層子帶的系數，抑制底層子帶的噪聲，有助于增強圖像的清晰度。

2.3 細節增強

由于CLAHE和HF不能較好地對圖像細節進行增強，通過NSCT高頻系數操作可實現圖像細節的增強。為便于NSCT對圖像細節的提取和增強，首先對圖像對比度進行了有效的增強。由于NSCT可有效地捕捉圖像每個方向的細節，故僅需對細節系數進行合理地調節，即可獲得理想的結果。

NSCT高頻系數可分為3種：噪聲系數、弱邊緣系數和強邊緣系數。噪聲系數絕對值相對較小，需對其進行抑制，采用本文改進的BayesShrink噪聲閾值對其進行簡單的置零操作即可抑制噪聲；弱邊緣系數絕對值大小適中，對其進行適當的放大，則可有效地增強弱邊緣；強邊緣系數絕對值相對較大，不需要進行增強處理，直接保留。細節增強操作可表示為：

3 實驗

3.1 實驗設置

為驗證提出的基于圖像融合和改進閾值的管道機器人探測圖像增強技術的有效性，選取5幅典型管道機器人探測圖像，分別編號為P1、P2、P3、P4和P5，并將本文方法與4種圖像增強方法(HE、CLAHE、HF和文獻[14]中的方法)進行對比實驗，其中文獻[14]中的方法為一種目前最新的圖像增強方法。操作平臺為Windows 7，內存為16 GB，編程軟件為Matlab2016a。本文方法和文獻[14]中的方法使用的方向濾波器為“dmaxflat7”，金字塔濾波器使用的是“maxflat”。通過多次參數設定測試，將同態濾波中濾波器的截止頻率設定為80 Hz，高頻增益設置為2.2，低頻增益設定為0.5，銳化系數設定為1.6；同態濾波和CLAHE的融合參數1和2分別設置為0.4和0.6。管道機器人探測圖像為彩色的，故分別對圖像的RGB三個通道進行增強處理。

3.2 實驗結果與分析

管道機器人探測原圖像與采用5種方法增強后的圖像如圖5—圖9所示。可知：HE雖然增強了整體對比度但不能較好地增強局部對比度；CLAHE方法可有效地增強局部的對比度；HF可以提高圖像的整體和局部對比度，但是其沒有CLAHE對局部對比度提升的好；文獻[14]雖然增強了圖像的細節，但是對圖像的對比度沒有太大的提升；本文方法結合了HF、CLAHE和NSCT的優勢，可有效地提高圖像的整體和局部對比度，并有效地增強圖像的細節。

圖5 P1原圖及不同方法的增強圖像結果對比圖

圖6 P2原圖及不同方法的增強圖像結果對比圖

圖7 P3原圖及不同方法的增強圖像結果對比圖

圖8 P4原圖及不同方法的增強圖像結果對比圖

3.3 增強評價

目前圖像增強的評價方法主要有人為評價和客觀評價2種方法。人為評價是通過人眼的直觀感受對增強結果進行評價，本次邀請了10位評價者，憑借人類視覺感知對5種增強方法進行打分，分數從0.1~1.0按0.1的梯度從低到高分為10個等級，分數越高說明圖像增強效果越好，根據評分結果剔除差異性較大的樣本，取剩余樣本的平均值作為管道機器人探測圖像增強主觀評價結果，不同方法增強圖像平均主觀質量分數如表1所示。可知，本文提出的方法對管道機器人探測圖像增強主觀評價分數最好，增強效果最好。

圖9 P5原圖及不同方法的增強圖像結果對比圖

人為評價具有一定的可信度，但易受個人主觀因素的影響，為增強評價結果可靠性，對5種增強方法處理的管道機器人探測圖像進行客觀評價。客觀評價方法為信息熵評價法和對比度增加指數評價法，信息熵[18]計算公式為

對比度增加指數[5]計算公式為

5種方法增強圖像信息熵和對比度增加指數的值如表1所示。從表1可知，CLAHE信息熵較高，說明圖像中包含了更多的信息；HE信息熵較低，包含的信息較少；文獻[14]的方法只對細節進行增強，因此，其信息熵也較低；HF雖然可以消除光照不均，但在提升圖像對比度上并沒有太大的優勢；本文方法充分使用了CLAHE、HF和NSCT方法的優勢，有效地提升局部對比度和細節信息，因此信息熵較高，包含的細節信息最多。HE、CLAHE和本文方法在對圖像對比度增強上效果較好，本文方法對比度增加值最高，圖像最容易辨識。

表1 不同方法圖像增強效果評價參數表

注：S1為平均主觀質量分數；S2為信息熵；S3為對比度增加指數。

4 結論

a.針對管道機器人探測圖像普遍存在的光照不均、對比度低和細節模糊等問題，提出了一種適用于管道機器人探測圖像的增強方法。

b. 提出的圖像增強方法平均主觀質量分數、信息熵和對比度增加指數均明顯優于實驗采用的其他方法，對比度增加值最高、細節信息最豐富，增強后的圖像最容易辨識。

c. 提出的圖像增強方法能有效解決管道機器人探測圖像存在的主要問題，為隱患探測、圖像識別提供有效的解決方案，但該方法目前亦存在系數跳躍可能造成結果震蕩以及只能在增強的同時抑制高斯白噪聲等不足之處。

[1] 徐云乾. CCTV和三維激光掃描技術在水利工程輸排水管道隱患探測中的應用[J]. 中國農村水利水電，2014(3)：68–70. XU Yunqian. The application of CCTV and 3D laser scanning technology in the detection of hidden dangers of drainage pipeline in water conservancy engineering[J]. China Rural Water and Hydropower，2014(3)：68–70.

[2] GUO X，LI Y，LING H. LIME：Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2017，26(2)：982–993.

[3] LIU H，LU H，ZHANG Y. Image enhancement for outdoor long-range surveillance using IQ-learning multiscale Retinex[J]. Iet Image Processing，2017，11(9)：786–795.

[4] KAUR A，SINGH C. Contrast enhancement for cephalometric images using wavelet-based modified adaptive histogram equalization[J]. Applied Soft Computing，2017，51：180–191.

[5] 李陽，常霞，紀峰. 圖像增強方法研究新進展[J]. 傳感器與微系統，2015，34(12)：9–12. LI Yang，CHANG Xia，JI Feng. New progress of research on image enhancement method[J].Transducer and Microsystem Technologies，2015，34(12)：9–12.

[6] GHARBI M，CHEN J，BARRON J T，et al. Deep bilateral learning for real-time image enhancement[J]. ACM Transactions on Graphics，2017，36(4)：118.

[7] WANG Y，PAN Z. Image contrast enhancement using adjacent-blocks-based modification for local histogram equalization[J]. Infrared Physics & Technology，2017，86：59–65.

[8] VOICU L I. Practical considerations on color image enhancement using homomorphic filtering[J]. Journal of Electronic Imaging，1997，6(1)：108–113.

[9] YANG L，XIA C，CHANG J. Image edge detection based on gaussian mixture model in nonsubsampled contourlet domain[J]. Journal of Electrical and Computer Engineering，2016(10)：1–10.

[10] HEPSIBAH K，HEAVEN M S，SARAVANAN M. Image enhancement based on nonsubsampled contourlet transform using matrix factorization techniques[J]. International Journal of Computer Applications，2015，123(6)：35–38.

[11] 閆利，向天燭. NSCT域內結合邊緣特征和自適應PCNN的紅外與可見光圖像融合[J]. 電子學報，2016，44(4)：761– 766. YAN Li，XIANG Tianzhu. Fusion of infrared and visible images based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica，2016，44(4)：761–766.

[12] 周飛，賈振紅，楊杰，等. 基于NSCT和改進模糊的遙感圖像增強方法[J]. 計算機工程與應用，2017，53(15)：206–209. ZHOU Fei，JIA Zhenhong，YANG Jie，et al. Enhancement method of remote sensing image based on NSCT and improved fuzzy contrast[J]. Computer Engineering and Applications，2017，53(15)：206–209.

[13] 吳一全，史駿鵬. 基于多尺度Retinex的非下采樣Contourlet域圖像增強[J]. 光學學報，2015，35(3)：79–88.WU Yiquan，SHI Junpeng. Image enhancement in non-subsampled Contourlet transform domain based on multi-scale Retinex[J]. Acta Optica Sinica，2015，35(3)：79–88.

[14] 王峰，程詠梅. 基于MSSTO與NSCT變換的可見光與紅外圖像增強融合[J]. 控制與決策，2017，32(2)：269–274. WANG Feng，CHENG Yongmei. Visible and infrared image enhanced fusion based on MSSTO and NSCT transform[J]. Control and Decision，2017，32(2)：269–274.

[15] XIAO L，LI C，WU Z，et al. An enhancement method for X-ray image via fuzzy noise removal and homomorphic filtering[J]. Neurocomputing，2016，195：56–64.

[16] 肖進勝，單姍姍，段鵬飛，等. 基于不同色彩空間融合的快速圖像增強算法[J]. 自動化學報，2014，40(4)：697–705. XIAO Jinsheng，SHAN Shanshan，DUAN Pengfei，et al. A fast image enhancement algorithm based on fusion of di?erent color spaces[J]. 2014，40(4)：697–705.

[17] HE H，LEE W J，LUO D S，et al. Insulator infrared image denoising method based on wavelet generic gaussian distribution and map estimation[J]. IEEE Transactions on Industry Applications，2017，53(4)：3279–3284.

[18] 付曉薇，丁明躍，周成平，等. 基于量子概率統計的醫學圖像增強算法研究[J]. 電子學報，2010，38(7)：1590–1596. FU Xiaowei，DING Mingyue，ZHOU Chengping，et al. Research on image enhancement algorithms of medical images based on quantum probability statistics[J]. Acta Electronica Sinica，2010，38(7)：1590–1596.

A pipeline robot detection image enhancement method based on image fusion and improved threshold

YUAN Mingdao1, TAN Cai1, LI Yang2, XU Yunqian1, ZHANG Xuhui1, YANG Jingxue1

(1. Guangdong Research Institute of Water Resources and Hydropower, Guangzhou 510610, China;2. Department of Computer Science and Engineering, Tianjin University of Technology, Tianjin 300384, China)

Pipeline robot detection technology can quickly, accurately and intuitively identify the structure and hidden functional troubles of pipeline. However, due to the restriction of the pipeline environment, the detected images have problems such as uneven illumination, low contrast and blurred details. Therefore, an enhancement technique for detected image of pipeline robot is proposed. First, the contrast limited adaptive histogram equalization(CLAHE) and homomorphic filtrate(HF) are applied to deal with the problem of uneven illumination and low contrast, and the result images of the two methods are fused. Secondly, the fusion images are transformed by the Nonsubsampled Contourlet Transform(NSCT), and the improved Bayes-Shrink threshold is used to remove the noise of the high frequency coefficient. Finally, the nonlinear mapping function is used to enhance the details, and the NSCT inverse transform is used to get the final enhanced image. In order to verify the effectiveness and superiority of the method for pipeline robot detection image, 5 typical pipeline robot detection images were selected and enhanced by this method, and compared with 4 common image enhancement technologies. The results show that image enhancement method for pipeline robot detection image by using image fusion and improved threshold can effectively improve the overall and local contrast image, and effectively enhance the image details. It can solve the main problems in pipeline robot detected image effectively.

pipeline robot; image fusion; nonsubsampled contourlet transform(NSCT); homomorphic filtering(HF); contrast limited adaptive histogram equalization(CLAHE)

TP751

A

10.3969/j.issn.1001-1986.2019.04.027

1001-1986(2019)04-0178-08

2018-08-25

深圳市水務發展專項資金科技創新基金項目(20170103)；國家自然科學基金項目(41401485)；廣東省水利科技創新基金項目(2014-09)

Water Resource Science and Technology Innovation Program of Shenzhen(20170103)；National Natural Science Foundation of China(41401485)；Water Resource Science and Technology Innovation Program of Guangdong Province，China(2014-09)

袁明道，1972年生，男，博士，教授級高級工程師，研究方向為水工結構. E-mail：gzymd@qq.com

袁明道，譚彩，李陽，等. 基于圖像融合和改進閾值的管道機器人探測圖像增強方法[J]. 煤田地質與勘探，2019，47(4)：178–185.

YUAN Mingdao，TAN Cai，LI Yang，et al. A pipeline robot detection image enhancement method based on image fusion and improved threshold[J]. Coal Geology & Exploration，2019，47(4)：178–185.

(責任編輯 聶愛蘭)