基于MCGN煤礦井下低光照?qǐng)D像增強(qiáng)方法研究

中圖分類號(hào)：TP391.4；TD67 文獻(xiàn)標(biāo)志碼：A

Abstract：Due to the complex terrin environmentand limited illumination in coal mines，images acquired by video surveillance equipment often have problems such as insuficient brightness，low contrast，colordistortion，and loss of detail information.To solve the above problems，amulti-scene low-light image enhancement algorithmof a coal mine based on MCGN（multi-scale calibrated gating network）is proposed.The algorithm is composed of illumination enhancement network，detail enhancement network，color correction network，and gating fusion network.Firstly，the illmination enhancement network estimates the illmination informationthrough apre-lighting module.Onthis basis，the iluminationenhancement module with spatialenhanced attention is cascading to enhance the capture ability of the occluded areaand the local dark area.Subsequently，a self-calibration module is introducedto furtherimprove theoverallexposurecontrol abilityof the image.Secondly，topreserveand enhance textureandedgedetails，a multi-level residual structureis designed to form a detail enhancement network， ensuring thatimportant detail information isnotlost.Furthermore，inviewof the inherent color distortionof the image and the color distortion generated in the enhancement process，a color correction network and a color loss function areconstructed.The codec structure is used to decouple the color image intoa color histogram，and he naturallightcolorcharacteristics are learnedbasedonthecolor histogram to guide the color distributioncorrection. Finally，inorder to realize the organic fusionof the output images ofthethree networks，anew gating mechanism is designed in the gated fusion network，which learns the optimal fusion weights end-to-end to achievean effective balance of brightness enhancement，detail restoration，and color correction.Experimental results show that the proposed algorithm is effctive in improving image brightness，enriching texture features，and restoring true color. At the same time，the algorithm has good multi-scene applicability and fast reasoning speed，which can meet the actual needs of coal mines and provide strong technical support for coal mine safety production.

Key Words：image enhancement；low-light image； attntion scale； loss function; image brightness

礦業(yè)是國(guó)民經(jīng)濟(jì)發(fā)展的重要支柱性產(chǎn)業(yè)，智能化建設(shè)是推動(dòng)礦山安全發(fā)展、保障國(guó)家能源資源安全的重要舉措[1.隨著礦山智能化、數(shù)字化建設(shè)的大力推進(jìn)，越來(lái)越多的視頻監(jiān)控、數(shù)字圖像采集等視覺設(shè)備成為煤礦井下實(shí)際生產(chǎn)的必要設(shè)施.但是井下作業(yè)自然光照條件差，人工光源有限，且存在的大量粉塵、水霧影響光線傳播，導(dǎo)致監(jiān)控設(shè)備獲取的視頻圖像亮度低、對(duì)比度低、顏色失真，這嚴(yán)重影響下游應(yīng)用、決策的可靠性.因此，探索一種能夠適用于煤礦井下多場(chǎng)景圖像的增強(qiáng)方法，以此解決上述問(wèn)題具有現(xiàn)實(shí)意義.

目前煤礦井下低光照?qǐng)D像增強(qiáng)算法主要有兩大類.一類是傳統(tǒng)圖像增強(qiáng)算法，主要集中在直方圖均衡算法和基于視網(wǎng)膜皮層（Retinex）理論增強(qiáng)算法.其中，直方圖均衡算法是通過(guò)擴(kuò)展灰度直方圖中的灰度分布范圍以達(dá)到改變圖像整體亮度和對(duì)比度的目的[3].涂毅晗等4為解決低光照?qǐng)D像增強(qiáng)過(guò)程中存在的欠增強(qiáng)、過(guò)增強(qiáng)問(wèn)題，提出一種基于多尺度局部直方圖均衡化的礦井圖像增強(qiáng)方法，對(duì)圖像進(jìn)行預(yù)處理后，以多尺度分塊的方式，分別進(jìn)行局部直方圖均衡化，但增強(qiáng)過(guò)程并未考慮顏色失真和細(xì)節(jié)信息丟失問(wèn)題.Tian等[5提出一種基于改進(jìn)Retinex的微光礦山圖像增強(qiáng)算法，通過(guò)改進(jìn)引導(dǎo)濾波算法來(lái)替換Retinex算法中的高斯濾波器，更準(zhǔn)確地從亮度分量估計(jì)照明分量和反射分量，并提出一種先進(jìn)的自適應(yīng)拉伸方法來(lái)處理飽和度分量以避免顏色失真.但Retinex算法增強(qiáng)的光照?qǐng)D像往往色彩敏感且圖像色彩不飽和，而利用自適應(yīng)拉伸方法改變飽和度，增強(qiáng)效果很大程度上取決于參數(shù)的選擇，并且是否可以有效解決顏色失真問(wèn)題，可能會(huì)因圖像內(nèi)容、場(chǎng)景而異.張立亞等針對(duì)圖像增強(qiáng)過(guò)程中出現(xiàn)圖像光暈和邊緣模糊現(xiàn)象，提出一種基于HSV空間改進(jìn)融合Retinex算法的井下圖像增強(qiáng)方法.通過(guò)改進(jìn)雙邊濾波算法，并與多尺度Retinex算法融合，有效增強(qiáng)了亮度分量.但是缺乏對(duì)局部暗區(qū)的增強(qiáng)，Retinex算法在增強(qiáng)過(guò)程對(duì)光照變化較為敏感且參數(shù)較為固定，對(duì)井下多場(chǎng)景適用性有限.

而另一類是基于深度學(xué)習(xí)的圖像增強(qiáng)方法.通過(guò)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大量低光照?qǐng)D像的特征，以增強(qiáng)圖像的亮度和細(xì)節(jié).葛君超等[8提出一種自適應(yīng)Retinex與Unet結(jié)合的算法，將圖像分解為光照?qǐng)D和反射圖后，采用Unet網(wǎng)絡(luò)提取多尺度特征，設(shè)計(jì)損失函數(shù)以解決采集圖像亮度低、對(duì)比度不足等問(wèn)題.但Unet網(wǎng)絡(luò)由于簡(jiǎn)單的卷積和池化操作，在對(duì)井下多暗區(qū)的復(fù)雜環(huán)境提取特征時(shí)，可能會(huì)出現(xiàn)邊緣模糊、信息丟失等問(wèn)題.Han等提出一種基于生成對(duì)抗網(wǎng)絡(luò)的地下礦井低照度圖像增強(qiáng)方法UM-GAN，通過(guò)開發(fā)一種采用編碼器-解碼器結(jié)構(gòu)的生成器網(wǎng)絡(luò)，利用GAN實(shí)現(xiàn)細(xì)節(jié)的還原、降噪和整體圖像質(zhì)量的提升.但目前缺少礦下成對(duì)數(shù)據(jù)集，并且采集的圖像質(zhì)量較差，而通過(guò)合成數(shù)據(jù)或倒置灰度圖像來(lái)進(jìn)行配對(duì)，這些合成的圖像經(jīng)過(guò)二次設(shè)計(jì)，易導(dǎo)致對(duì)抗生成的結(jié)果很難避免噪聲或顏色失真問(wèn)題.王滿利等[10]針對(duì)井下圖像對(duì)比度不足、紋理細(xì)節(jié)差等問(wèn)題，提出一種基于深度神經(jīng)網(wǎng)絡(luò)圖像增強(qiáng)算法，分別設(shè)計(jì)圖像分解網(wǎng)絡(luò)、光照調(diào)整網(wǎng)絡(luò)和反射重構(gòu)網(wǎng)絡(luò)，引入深度可分離卷積和MobileNet網(wǎng)絡(luò)以提升網(wǎng)絡(luò)特征提取能力和圖像細(xì)節(jié)恢復(fù)能力，然后基于Retinex理論融合光照和反射分量增強(qiáng)光照.但并未考慮煤礦井下圖像本身顏色失真，也未考慮增強(qiáng)過(guò)程中會(huì)過(guò)度增強(qiáng)某些色彩，導(dǎo)致圖像視覺效果不自然.Yang等提出一種用于煤礦井下基于零參考學(xué)習(xí)的微光圖像增強(qiáng)方法，利用Transformer調(diào)整模塊進(jìn)行局部增強(qiáng)，在弱光條件下增強(qiáng)圖像的亮度、對(duì)比度和色彩保真度的同時(shí)，盡可能保留圖像的空間細(xì)節(jié).但零參考學(xué)習(xí)需要尋找一條最佳擬合曲線來(lái)調(diào)整動(dòng)態(tài)范圍.當(dāng)圖像在極端光照條件下時(shí)，圖像整體像素值偏低且臨近像素點(diǎn)像素變化不明顯，導(dǎo)致曲線無(wú)法正常得到最優(yōu)擬合，增強(qiáng)效果有限.

盡管目前有很多優(yōu)越的低光照?qǐng)D像增強(qiáng)算法，上述研究也在相關(guān)數(shù)據(jù)集上一定程度提高了光照強(qiáng)度，提高了視覺效果.但由于煤礦并下環(huán)境復(fù)雜，多場(chǎng)景數(shù)據(jù)集匱乏，面向單一數(shù)據(jù)集研究的算法，在處理其他井下場(chǎng)景時(shí)，會(huì)出現(xiàn)增強(qiáng)效果較差的情況.因此，本文提出了一種面向煤礦多場(chǎng)景低光照?qǐng)D像增強(qiáng)算法.為驗(yàn)證本文算法的有效性和適應(yīng)性，采用不同場(chǎng)景下的低照度圖像展開實(shí)驗(yàn)分析.

1基于MCGN煤礦多場(chǎng)景低光照?qǐng)D像增強(qiáng)算法

由于環(huán)境惡劣，井下作業(yè)的視頻監(jiān)控設(shè)備采集的圖像往往呈現(xiàn)光照低、對(duì)比度不足、色彩失真、紋理細(xì)節(jié)不足等缺陷.鑒于此，本文提出一種多尺度校準(zhǔn)門控網(wǎng)絡(luò)（multi-scalecalibrated gatingnetwork，MCGN）對(duì)上述低光照?qǐng)D像進(jìn)行增強(qiáng).網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1MCGN網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.1MCGN network structurediagram

MCGN模型由光照增強(qiáng)網(wǎng)絡(luò)、細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)、色彩矯正網(wǎng)絡(luò)和門控融合網(wǎng)絡(luò)組成.1）光照增強(qiáng)網(wǎng)絡(luò)由預(yù)點(diǎn)亮模塊、光照增強(qiáng)模塊、自校準(zhǔn)模塊組成.輸入的井下低光照?qǐng)D像通過(guò)預(yù)點(diǎn)亮模塊估計(jì)光照信息，提升原始暗光圖像的亮度，為后續(xù)的光照增強(qiáng)和細(xì)節(jié)恢復(fù)提供更多可學(xué)習(xí)空間.基于Retinex理論設(shè)計(jì)增強(qiáng)模塊并引入空間增強(qiáng)注意力模塊來(lái)加強(qiáng)礦井下遮擋暗區(qū)和局部暗區(qū)的特征捕捉能力，最后通過(guò)自校準(zhǔn)模塊控制圖像的整體曝光，避免過(guò)度曝光或曝光不足.2）細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)采用多級(jí)殘差網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，解決輸入圖像細(xì)節(jié)丟失、紋理特征模糊等問(wèn)題.3）色彩矯正網(wǎng)絡(luò)利用編解碼結(jié)構(gòu)學(xué)習(xí)輸入彩色圖像中顏色直方圖的顏色平衡情況，并設(shè)計(jì)色彩損失函數(shù)指導(dǎo)網(wǎng)絡(luò)實(shí)現(xiàn)顏色的準(zhǔn)確矯正.4）門控融合網(wǎng)絡(luò)通過(guò)門控單元調(diào)節(jié)上述網(wǎng)絡(luò)共享參數(shù)，自動(dòng)調(diào)節(jié)各個(gè)子網(wǎng)絡(luò)輸出圖像的權(quán)重，實(shí)現(xiàn)對(duì)多場(chǎng)景低光照?qǐng)D像的亮度、細(xì)節(jié)和顏色的最優(yōu)融合，生成最終增強(qiáng)圖像.

1.1光照增強(qiáng)網(wǎng)絡(luò)

1.1.1預(yù)點(diǎn)亮模塊

煤礦井下受光照條件限制，圖像的動(dòng)態(tài)范圍通常較窄.且低光照?qǐng)D像中亮部和暗部的差異較大，大部分區(qū)域可能顯得過(guò)暗或模糊，對(duì)其圖像直接進(jìn)行增強(qiáng)，會(huì)不可避免地放大噪聲和偽影].因此，本文設(shè)計(jì)預(yù)點(diǎn)亮模塊，其表達(dá)式如下所示：

（I_pre，F(xiàn)_pre）=ε（I，L_p）

L_Γp=Mean_Γc（I）

式中： ε 為預(yù)點(diǎn)亮模塊； I 為輸入的低光照?qǐng)D片； Mean_c 表示低光照輸入 I 沿通道維度求像素平均值的操作；L_p 為通道均值； I_pre 和 F_pre 分別為模塊輸出的預(yù)點(diǎn)亮圖像及特征.

預(yù)點(diǎn)亮模塊結(jié)構(gòu)如圖2所示，首先利用核為 1×1 卷積融合 I 和 L_Lp 的級(jí)聯(lián)信息；考慮到圖片中高亮度區(qū)域可以為欠曝光區(qū)域提供上下文語(yǔ)義信息，采用 9×9 深度可分離卷積提取區(qū)域間的語(yǔ)義信息，生成預(yù)點(diǎn)亮特征 F_pre ；最后采用 1×1 卷積聚焦特征圖，產(chǎn)生預(yù)點(diǎn)亮圖像 I_pre ，并與原始圖像點(diǎn)乘獲取預(yù)點(diǎn)亮輸出.

預(yù)點(diǎn)亮模塊通過(guò)學(xué)習(xí)區(qū)域間亮度分布的語(yǔ)義信息，初步補(bǔ)償弱光區(qū)域光照，保留細(xì)節(jié)，并控制噪聲，為后續(xù)增強(qiáng)提供了更優(yōu)質(zhì)的輸入.

1.1.2光照增強(qiáng)模塊

在基于Retinex理論的低光照增強(qiáng)算法中，低照

圖2預(yù)點(diǎn)亮模塊結(jié)構(gòu)圖

Fig.2 Structure diagram of pre-lit module

度圖像和期望的清晰圖像之間存在著一種聯(lián)系[13]，如式（3）所示.

S（x，y）=R（x，y）×I（x，y）

式中： S（x，y） 表示原始圖像； x 和 y 為圖像中像素位置； R 表示物體的反射分量； I 表示光照分量.通過(guò)去除式中的光照分量，即可得到期望恢復(fù)圖像.因此，準(zhǔn)確獲取圖像中的光照分量是恢復(fù)光照的重要目標(biāo)．參考LIME算法階段漸進(jìn)式進(jìn)行光照估計(jì)，流程計(jì)算如式（4）所示[14].

A_n+1=H_θ（A_n）+A_n

式中： H_θ 是光照增強(qiáng)網(wǎng)絡(luò)； A_n 是輸入的低光照特征圖像.增強(qiáng)模塊結(jié)構(gòu)設(shè)計(jì)如圖3所示.其光照增強(qiáng)網(wǎng)絡(luò)的每個(gè)階段包含 3×3 大小帶有ReLU激活函數(shù)的卷積層、 3×3 大小帶有Sigmod激活函數(shù)的卷積層、 3×3 大小帶有BatchNorm2d和ReLU激活函數(shù)的卷積層以及SEAM注意力機(jī)制組成[15].

SEAM注意力機(jī)制的引入是考慮到礦井下環(huán)境掩體過(guò)多，存在部分光源遮擋情況，導(dǎo)致遮擋處暗光區(qū)面積較大，圖像增強(qiáng)后仍會(huì)存在偽影和亮度不均導(dǎo)致圖像不自然的情況.SEAM模塊整體通過(guò)深度可分離卷積和殘差相連接，以實(shí)現(xiàn)被遮擋暗區(qū)和正常曝光區(qū)的語(yǔ)義交換.但深度可分離卷積通過(guò)逐通道分離的操作方式，雖然可以學(xué)習(xí)不同通道的重要性并減少參數(shù)量，卻忽略了通道間的信息關(guān)系.為了彌補(bǔ)這一劣勢(shì)，不同深度卷積的輸出通過(guò)點(diǎn)對(duì)點(diǎn)（ 1×1 ）卷積組合，然后使用兩層全連接網(wǎng)絡(luò)融合每個(gè)通道的信息，以增強(qiáng)所有通道之間的聯(lián)系.這種模型希望通過(guò)學(xué)習(xí)遮擋面和未遮擋面之間的關(guān)系，來(lái)彌補(bǔ)遮擋情況下的亮度損失.

圖3光照增強(qiáng)模塊結(jié)構(gòu)圖

Fig.3Structure diagram of illumination enhancement module

1.1.3 自校準(zhǔn)模塊

通過(guò)增強(qiáng)模塊共享權(quán)重機(jī)制，可以在多階段間學(xué)習(xí)圖像強(qiáng)光區(qū)與弱光區(qū)的光照信息.但多階段相對(duì)線性學(xué)習(xí)路線的設(shè)定，即每個(gè)階段的輸入都源于前一個(gè)階段，不可避免地產(chǎn)生過(guò)多的積累誤差和過(guò)高的推理成本[16].上述問(wèn)題的理想情況是第一個(gè)塊可以輸出所需的結(jié)果，滿足任務(wù)需求，并且后一個(gè)模塊輸出的結(jié)果與第一個(gè)模塊相似.

為了解決上述問(wèn)題并達(dá)到理想情況，自校準(zhǔn)模塊設(shè)計(jì)將每個(gè)階段（第一階段除外）的輸入和第一階段的輸入聯(lián)系起來(lái)，以呈現(xiàn)每個(gè)階段和第一階段的輸入差異，其整體流程如圖4所示，相關(guān)公式見式（5）.

圖5參數(shù)學(xué)習(xí)網(wǎng)絡(luò)

Fig.5 Parameterlearning network

式中： x^t 表示第 Φ_t 階段的輸人特征圖； y 為第一階段的輸人； K_θ 是引人的參數(shù)學(xué)習(xí)網(wǎng)絡(luò)，可學(xué)習(xí)的參數(shù) θ 結(jié)構(gòu)如圖5所示； z 表示下一階段與第一階段的差值；s 為經(jīng)過(guò)參數(shù)學(xué)習(xí)網(wǎng)絡(luò)的光照估計(jì)； v^t 是第 χ_t 階段的輸出特征，同時(shí)是第 _t+1 階段的轉(zhuǎn)換輸入.

自國(guó)相相0CBR Conv BN ReLU CS = ConvSigmoidBaseConv 二 onv BN

自校準(zhǔn)模塊整合每個(gè)階段的輸出和原始輸入之間的差值作為輸人，通過(guò)設(shè)計(jì)多個(gè)卷積塊組成參數(shù)學(xué)習(xí)網(wǎng)絡(luò)，學(xué)習(xí)并調(diào)整共享網(wǎng)絡(luò)權(quán)重，以逐階段減小輸出與目標(biāo)之間的誤差，達(dá)到提高圖像的光照增強(qiáng)效果和結(jié)構(gòu)相似度的目的，而且不斷校準(zhǔn)誤差能夠加速每個(gè)階段之間收斂，從而降低推理成本.

光照增強(qiáng)網(wǎng)絡(luò)利用預(yù)點(diǎn)亮模塊對(duì)不同光照條件的輸入圖像進(jìn)行初步的光照調(diào)整，使預(yù)點(diǎn)亮后圖像光照穩(wěn)定在一定程度上，可以減少光照差異對(duì)整個(gè)后續(xù)網(wǎng)絡(luò)的影響.引入SEAM注意力機(jī)制的光照增強(qiáng)模塊關(guān)注復(fù)雜場(chǎng)景圖像的光照不均、遮擋問(wèn)題，通過(guò)均衡過(guò)曝局域?qū)φ趽酢⑶菲貐^(qū)域進(jìn)行提亮，可以更好地處理煤礦場(chǎng)景下遮擋多、光源不均問(wèn)題.自校準(zhǔn)模塊則根據(jù)每個(gè)階段不同圖像具體變化情況進(jìn)行權(quán)重調(diào)整，從而在面對(duì)光照各異的圖像時(shí)，可以有效地校準(zhǔn)輸出，提高網(wǎng)絡(luò)對(duì)復(fù)雜圖像內(nèi)容和不同光照條件的泛化能力.

1.2細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)

煤礦井下塵霧多、噪聲強(qiáng)度高，視覺設(shè)備獲取的圖像往往會(huì)因?yàn)楣饩€不足而丟失大量細(xì)節(jié)，從而導(dǎo)致圖像邊緣特征模糊，視覺質(zhì)量下降.細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)設(shè)計(jì)多級(jí)殘差網(wǎng)絡(luò)，旨在收集預(yù)點(diǎn)亮特征圖的邊緣、紋理信息.

細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)的輸入來(lái)自預(yù)點(diǎn)亮模塊輸出的點(diǎn)亮特征圖 F_pre. 在直線型卷積的網(wǎng)絡(luò)設(shè)計(jì)中加入殘差層設(shè)計(jì)，可以使得網(wǎng)絡(luò)卷積層數(shù)到一定程度后，仍然能夠保留淺層信息，而淺層信息多是圖像的細(xì)節(jié)信息，從而減少了邊緣、紋理信息在傳遞過(guò)程中的損失，促進(jìn)深淺層信息的流動(dòng).網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

負(fù)值，而使用普通ReLU作為激活函數(shù)時(shí)，如式（6）所示.

ReLU（x）=Max（0，x）

當(dāng)輸入權(quán)重為負(fù)值時(shí)，ReLU的對(duì)應(yīng)梯度全部歸為0.這會(huì)導(dǎo)致相應(yīng)的權(quán)重得不到更新，前面網(wǎng)絡(luò)中學(xué)習(xí)到的、本就微弱的細(xì)節(jié)信息得不到傳遞.因此，選用較為光滑的GELU，如式（7）所示[7].

式中： ?（x） 指的是 x 的高斯正態(tài)分布的累積函數(shù)，如式（8）如示.

兩者對(duì)比圖如圖7所示，其中橫坐標(biāo)代表函數(shù)輸人 x ，縱坐標(biāo)代表函數(shù)輸出 y. 可以看出GELU比ReLU更加平滑 .x 大于O時(shí)，GELU和ReLU類似；當(dāng)輸入 x 遠(yuǎn)小于O時(shí)，GELU的輸出為O；當(dāng)輸入 Ψ_x 小于0且接近于0時(shí)，GELU是非線性輸出，具有一定的連續(xù)性.這保證了微弱細(xì)節(jié)信息能夠得到較好的保留.

圖7激活函數(shù)對(duì)比圖 Fig.7 Comparison of activation functions

圖6細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig.6Detail enhanced network structurediagram

網(wǎng)絡(luò)采用Conv和GELU組合結(jié)構(gòu)，使用小尺寸的 3×3 卷積核可以降低網(wǎng)絡(luò)參數(shù)量.激活函數(shù)采用GELU，是考慮到需要增強(qiáng)的低光照?qǐng)D像像素值偏低，與卷積核進(jìn)行卷積時(shí)，神經(jīng)元的權(quán)重可能會(huì)出現(xiàn)

1.3色彩矯正網(wǎng)絡(luò)

煤礦井下多場(chǎng)景光線不足導(dǎo)致視覺設(shè)備無(wú)法準(zhǔn)確地測(cè)量三色光的強(qiáng)度，從而無(wú)法準(zhǔn)確地重建圖像顏色.目前大多數(shù)算法沒(méi)有關(guān)注到增強(qiáng)圖像的顏色一致性和自然性[18]，因此經(jīng)常會(huì)出現(xiàn)原始采集圖像色彩失真和增強(qiáng)后圖像顏色不自然兩種情況.針對(duì)上述問(wèn)題，本文設(shè)計(jì)了色彩矯正網(wǎng)絡(luò)，它基于低光照?qǐng)D像顏色直方圖學(xué)習(xí)顏色分布，調(diào)整R、G、B三個(gè)通道像素，從而保證增強(qiáng)后輸出圖像顏色不失真.顏色直方圖主要描述不同顏色在整個(gè)圖像中的比例，而不關(guān)心顏色的空間位置.如圖8所示.

從圖中可以發(fā)現(xiàn)，低光照?qǐng)D片和本文算法增強(qiáng)后光照?qǐng)D片的顏色直方圖存在顯著差異：低光照?qǐng)D片的顏色直方圖其R、G、B三個(gè)通道的顯示像素主要集中在較低的亮度區(qū)間，整體波動(dòng)較小，較為平滑，峰值較集中且各色通道分布較緊湊.而正常光照?qǐng)D片的像素分布會(huì)更均勻，覆蓋較寬的亮度范圍，且不同亮度區(qū)域會(huì)有明顯的差異.色彩矯正網(wǎng)絡(luò)正是基于此設(shè)計(jì)，為了神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到顏色特征分布，設(shè)計(jì)了編碼器-解碼器結(jié)構(gòu).將輸人的原始圖像轉(zhuǎn)變?yōu)榭蓪W(xué)習(xí)的彩色直方圖，見式（9）.

圖9色彩矯正網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.9Color correction network structure diagram

式中： C_pre 是 N×256 的矩陣，其中 N=3 對(duì)應(yīng)于 R，G，B 三個(gè)顏色通道，256則與像素值的范圍一致； S_low 為輸入的原始圖像；CNet表示色彩矯正網(wǎng)絡(luò)的編碼器-解碼器結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示.為了能夠使學(xué)習(xí)到的直方圖顏色分布特征更好地指導(dǎo)模型，學(xué)習(xí)增強(qiáng)前后顏色直方圖特征差異，從而更好作用于顏色恢復(fù)，本文設(shè)計(jì)了顏色矯正損失函數(shù)，見式（10）.

式中： C_init 是輸入圖像的直方圖特征圖； C_pro 為增強(qiáng)后圖像的直方圖特征圖.色彩矯正網(wǎng)絡(luò)通過(guò)編解碼結(jié)構(gòu)學(xué)習(xí)增強(qiáng)前后顏色直方圖特征差異，再利用設(shè)計(jì)的矯正損失，約束輸入圖像的顏色直方圖特征向增強(qiáng)光照?qǐng)D像靠攏，從而確保圖像色彩恢復(fù)和增強(qiáng)前后顏色不失真，視覺效果更出彩.

1llee 色彩矯正網(wǎng)絡(luò) PAConv InstanceNorm ReLU Reshape Pooling Reshape Softmax Linear

因?yàn)椴煌瑘?chǎng)景低光照輸入數(shù)據(jù)在顏色方面的表現(xiàn)千差方別，該網(wǎng)絡(luò)將圖像統(tǒng)一編碼成顏色直方圖，無(wú)論輸入的是何種具有顏色偏差的圖像，它都能進(jìn)行有效的表示，并利用增強(qiáng)前后顏色直方圖差異進(jìn)行矯正，從而提升了泛化能力。

1.4門控融合網(wǎng)絡(luò)

煤礦井下場(chǎng)景不同，光線強(qiáng)度不均、空間遮擋結(jié)構(gòu)較多，且存在大量粉塵、霧氣、黑色吸光物質(zhì)等多干擾因素，導(dǎo)致目前低光照增強(qiáng)算法適用于單一場(chǎng)景，切換井下場(chǎng)景后，并不具有通用性，因此，增強(qiáng)效果并不滿足實(shí)際生成要求.因此，本文設(shè)計(jì)了門控融合網(wǎng)絡(luò)，結(jié)構(gòu)如圖10所示.

圖10中 Out_IEW 代表光照增強(qiáng)網(wǎng)絡(luò)的輸出（outputoflightenhanced network）， 0ut_pEW 代表細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)的輸出（output of detail enhances network）， Out_CCN 代表顏色矯正網(wǎng)絡(luò)的輸出（outputof color correction net-work）.整個(gè)網(wǎng)絡(luò)由一個(gè)視覺編碼器、三個(gè)門控單元組成.視覺編碼器由VGG16和非線性函數(shù)組成.VGG16通過(guò)多個(gè)卷積層的堆疊，能夠更好捕獲輸入圖像的局部細(xì)節(jié)[19].每個(gè)門控單元接收不同網(wǎng)絡(luò)輸出的增強(qiáng)圖像，如式（11）所示.

圖10門控融合網(wǎng)絡(luò)圖

Fig.10Gated fusionnetwork diagram

式中： x_i 是三個(gè)網(wǎng)絡(luò)輸出特征；z表示融合后的增強(qiáng)圖像 Ω_3fi（x_i） 表示由視覺解碼器編碼的標(biāo)量輸出； w_i 表示每個(gè)門控學(xué)到的對(duì)應(yīng)加權(quán)； N 表示歸一化操作.

通過(guò)反向傳播算法學(xué)習(xí)門控有效參數(shù)，并結(jié)合學(xué)習(xí)到的上下文語(yǔ)義，選擇傳遞或者遺忘信息，實(shí)現(xiàn)對(duì)本文設(shè)計(jì)的光照增強(qiáng)網(wǎng)絡(luò)、細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)、色彩矯正網(wǎng)絡(luò)的輸出進(jìn)行最優(yōu)調(diào)節(jié).門控網(wǎng)絡(luò)能夠自適應(yīng)地組合各個(gè)網(wǎng)絡(luò)的優(yōu)勢(shì)，使得最終的輸出綜合了各個(gè)網(wǎng)絡(luò)長(zhǎng)處，并且能適應(yīng)不同輸入下各網(wǎng)絡(luò)輸出的不同表現(xiàn)情況，實(shí)現(xiàn)對(duì)多場(chǎng)景低光照?qǐng)D像的亮度、細(xì)節(jié)和顏色的最優(yōu)融合，確保本文算法在推理時(shí)，能夠控制不同輸入特征信息的流動(dòng)，動(dòng)態(tài)適應(yīng)多場(chǎng)景低光照環(huán)境，使其在廣泛的輸入場(chǎng)景中都能輸出質(zhì)量相對(duì)穩(wěn)定且良好的結(jié)果.

1.5損失函數(shù)

多尺度校準(zhǔn)門控網(wǎng)絡(luò)使用的損失函數(shù)由保真度損失、平滑損失、色彩矯正損失組成.總損失函數(shù)如式（12）所示.

式中： L_f，L_s，L_c 分別表示保真度損失、平滑損失、色彩矯正損失； α，β，γ 分別為對(duì)應(yīng)損失的權(quán)重系數(shù)，本文分別設(shè)置為1.5、1、10.保真度損失是為了保證照度估計(jì)值和單個(gè)階段的輸入之間的像素級(jí)一致性.式中T是總階段數(shù)， x^t 是第 χ_t 階段輸出的光照， s^t-1 為第t-1階段估計(jì)的光照，利用保真度損失不斷約束每個(gè)階段輸出 .y 為自校準(zhǔn)模塊中的第一階段輸入， c 表示YUV顏色空間中的圖像通道 .N 為像素總數(shù)， N（i） 表示在固定尺寸區(qū)域內(nèi)像素值，通過(guò)不斷累積相鄰區(qū)域像素差異，約束像素之間信息過(guò)渡，從而使整體圖像視覺效果自然.

2實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文MCGN算法在低光照的井下多場(chǎng)景具有普適性，采用4個(gè)不同場(chǎng)景數(shù)據(jù)集：CUMT-CMUID[20]、CUMT-BeIT[21]、煤礦井下鉆場(chǎng)目標(biāo)檢測(cè)數(shù)據(jù)集22以及自采石膏礦井下數(shù)據(jù)集.由于井下作業(yè)光照條件差，難以獲取低光照-正常光照成對(duì)數(shù)據(jù)集，本文從上述4個(gè)數(shù)據(jù)集分別篩選出140張、250張、650張、160張圖像作為低光照數(shù)據(jù)集.選取目前主流低光照增強(qiáng)算法RRDNet[23]、Zero-DCE[24]IceNet^[25] 、RetinexNet[26]、SCI對(duì)低光照數(shù)據(jù)集進(jìn)行增強(qiáng)，根據(jù)NIQE指標(biāo)和多人主觀視覺，選取最優(yōu)圖像作為正常光照?qǐng)D像.最終匯集2400張圖像，進(jìn)而構(gòu)成1200對(duì)礦井低光照-正常光照數(shù)據(jù)集，并按照7：3比例劃分訓(xùn)練集和測(cè)試集.

實(shí)驗(yàn)分別部署在Python3.6和PyTorch1.7環(huán)境下.訓(xùn)練所需設(shè)備包括AMDR9-7945HXCPU、NVIDIAGeForceRTX4060顯卡和16GB內(nèi)存.訓(xùn)練時(shí)采用批處理數(shù)據(jù)量為4.訓(xùn)練過(guò)程中優(yōu)化器選用Adam，設(shè)置最大學(xué)習(xí)率為0.0003，訓(xùn)練輪數(shù)為100個(gè)Epoch.

為了客觀驗(yàn)證MCGN算法的有效性和優(yōu)越性，分別設(shè)計(jì)定性和定量?jī)山M實(shí)驗(yàn).定性實(shí)驗(yàn)中，將本文算法分別與MSRCR[27]、EnlightenGAN[28]、RRDNet、Zero-DCE、IceNet、RetinexNet、SCI、URetinexNet[29]、PairLIE[30]、VQCNIR[31]算法進(jìn)行主觀比較，通過(guò)人眼對(duì)不同算法增強(qiáng)的圖像進(jìn)行觀察和評(píng)判，從清晰度、對(duì)比度、色彩飽和度、圖像整體是否自然等多個(gè)維度進(jìn)行比較.定量實(shí)驗(yàn)中，采用峰值信噪比（PSNR）結(jié)構(gòu)相似性指數(shù)（SSIM）、信息熵（IE）、自然圖像質(zhì)量評(píng)價(jià)指標(biāo)（NIQE）[32]、亮度順序誤差（LOE）[33]作為本文的評(píng)價(jià)指標(biāo)，以對(duì)比本文算法與當(dāng)下主流算法在各項(xiàng)維度上的差異.其中PSNR、SSIM、IE指標(biāo)遵循值越高越優(yōu)的原則，值越高表示圖像質(zhì)量高，圖像蘊(yùn)含信息豐富.LOE、NIQE指標(biāo)遵循值越低越優(yōu)的原則，值越低表示圖像增強(qiáng)后沒(méi)有破壞原始圖像的亮度順序和視覺一致性，所呈現(xiàn)的圖像質(zhì)量高且自然.

2.1定性實(shí)驗(yàn)

定性實(shí)驗(yàn)依據(jù)觀察者自身的視覺經(jīng)驗(yàn)，能夠直接反映人類觀察者對(duì)圖像質(zhì)量改善的主觀感受，評(píng)估那些難以通過(guò)客觀指標(biāo)量化的圖像特質(zhì).不同算法對(duì)4個(gè)場(chǎng)景圖像增強(qiáng)效果如圖11所示，

由圖11（a）可看出，MSRCR、Zero-DCE、Ret-inexNet算法增強(qiáng)的低光照?qǐng)D像存在明顯的過(guò)曝光現(xiàn)象，視覺效果較差.EnlightenGAN增強(qiáng)的圖像中的墻壁，呈現(xiàn)不自然的灰綠色.RRDNet增強(qiáng)的圖像的整體色調(diào)偏紅，出現(xiàn)嚴(yán)重的顏色失真現(xiàn)象.IceNet增強(qiáng)的圖像對(duì)比度過(guò)強(qiáng)，導(dǎo)致圖像整體偏暗，缺乏對(duì)光照的增強(qiáng).SCI和URetinexNet算法對(duì)圖像中的高亮區(qū)域進(jìn)行了過(guò)度增強(qiáng)，導(dǎo)致圖像中人物被大幅遮擋，并且圖像細(xì)節(jié)模糊.PairLIE增強(qiáng)的圖像畫質(zhì)較差，對(duì)比度較低，圖像整體模糊.VQCNIR和本文算法圖像較為清晰，紋理細(xì)節(jié)恢復(fù)程度高，但本文算法增強(qiáng)后的色調(diào)較柔和，視覺效果相對(duì)自然.

（b）CUMT-BelT

圖11算法對(duì)比圖

Fig.11Comparison of the algorithms

由圖11（b）可看出，MSRCR、RetinexNet算法增強(qiáng)的圖像噪聲過(guò)大，畫面整體模糊，且RetinexNet增強(qiáng)的圖像，細(xì)節(jié)信息丟失較為嚴(yán)重.EnlightenGAN、IceNet增強(qiáng)的圖像亮度分布整體不均勻：EnlightenGAN增強(qiáng)的圖像亮度右邊大于左邊；IceNet增強(qiáng)的圖像中間最亮，圖像的上面和下面都有明顯的陰影，且存在細(xì)節(jié)丟失現(xiàn)象，導(dǎo)致部分畫質(zhì)模糊.RRDNet增強(qiáng)的圖像亮度整體偏暗，煤矸運(yùn)輸帶較后位置并未得到光照增強(qiáng).Zero-DCE、SCI、PairLIE增強(qiáng)的圖像存在一定程度上的顏色失真，PairLIE增強(qiáng)的圖像呈現(xiàn)黃色，Zero-DCE、SCI增強(qiáng)的圖像色彩偏藍(lán)灰色，并且它們的對(duì)比度、飽和度較高，視覺效果不自然.VQCNIR算法增強(qiáng)的圖像對(duì)比度過(guò)高，導(dǎo)致圖像運(yùn)輸帶以外區(qū)域光照增強(qiáng)效果不明顯.本文算法增強(qiáng)的圖像亮度分布均勻、色彩恢復(fù)自然、細(xì)節(jié)信息保留較好.

由圖11（c）可看出，MSRCR增強(qiáng)的圖像曝光過(guò)高，圖中許多細(xì)節(jié)因過(guò)度照亮而丟失.EnlightenGAN增強(qiáng)的圖像存在明顯色偏，整體偏綠，并且亮度增強(qiáng)效果不明顯.RRDNet和IceNet增強(qiáng)的圖像整體亮度改善有所欠缺，鉆機(jī)下部也未得到照亮.Zero-DCE、RetinexNet、PairLIE算法一定程度上增強(qiáng)了低光照?qǐng)D像的光照，但是在增強(qiáng)過(guò)程中引人了過(guò)多噪聲，導(dǎo)致較多紋理細(xì)節(jié)被埋沒(méi)，圖像中鉆機(jī)部分視覺效果較差.SCI算法過(guò)度增強(qiáng)了高亮區(qū)域，導(dǎo)致圖像中墻壁部分過(guò)度曝光.URetinexNet、VQCNIR和本文算法都能較好地增強(qiáng)光照效果，并且亮度分布均勻，但是本文算法增強(qiáng)的圖像色彩更飽和，對(duì)比度適當(dāng)，視覺效果更真實(shí)自然.

由圖11（d）可看出，自制數(shù)據(jù)集的圖像整體亮度較低，人工光源相對(duì)遠(yuǎn)且弱，導(dǎo)致較多算法存在明顯的曝光和顏色失真現(xiàn)象.RRDNet、VQCNIR和本文算法能夠較好應(yīng)對(duì)低光照情形，但RRDNet增強(qiáng)的圖像，其光照增強(qiáng)效果不明顯，圖像整體偏暗；VQCNIR增強(qiáng)的圖像，雖然整體亮度優(yōu)于本文算法，但是VQCNIR算法過(guò)度增強(qiáng)了光源部分，導(dǎo)致光源附近墻壁和地面對(duì)比度過(guò)高，影響了圖像整體視覺效果，本文算法通過(guò)從局部至全局的方式對(duì)圖像進(jìn)行光照增強(qiáng)，確保亮度分布均勻且亮暗區(qū)域之間的過(guò)渡自然流暢，從而更加貼合人類的視覺感知習(xí)慣.

2.2定量實(shí)驗(yàn)

定性實(shí)驗(yàn)難以用具體的數(shù)值或指標(biāo)衡量，且不同觀察者的視覺感受可能存在差異，導(dǎo)致結(jié)果不一，難以進(jìn)行精確的比較和分析.因此利用評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量分析，更加可信和嚴(yán)謹(jǐn).實(shí)驗(yàn)結(jié)果如表1～表4所示.

表1CUMT-CMUID實(shí)驗(yàn)結(jié)果對(duì)比 Tab.1 Comparison of experimental results on CUMT-CMUID

表1中本文算法相較于其他算法，PSNR、SSIM和LOE指標(biāo)處于領(lǐng)先地位，分別為 10.86，0.50 和7225，NIQE指標(biāo)在11個(gè)算法中排名第三.數(shù)據(jù)表明，本文算法在此場(chǎng)景下增強(qiáng)的低光照?qǐng)D像具有較低的失真和較高的清晰度，且細(xì)節(jié)部分保存良好，亮度變化平滑且自然.EnlightenGAN雖然NIQE排名第一，但其增強(qiáng)圖像細(xì)節(jié)損失較多，導(dǎo)致設(shè)備邊緣、紋理和形狀等特征模糊，圖像整體不清晰.

表2CUMT-BeIT實(shí)驗(yàn)結(jié)果對(duì)比

Tab.2 Comparisonofexperimental resultsonCUMT-BelT

表2中本文算法相對(duì)于其他算法，SSIM、LOE和NIQE三個(gè)指標(biāo)排名第一，分別為0.40、1239和4.19；PSNR為12.24，僅次于RRDNet，排名第二.數(shù)據(jù)顯示，本文算法在此傳送帶場(chǎng)景下對(duì)圖像進(jìn)行光照增強(qiáng)處理后，圖像展現(xiàn)出高清晰度、結(jié)構(gòu)保留完好、亮度順序自然的特點(diǎn)，整體視覺效果自然且質(zhì)量高.RRDNet算法增強(qiáng)的圖像，PSNR相對(duì)較高，但是增強(qiáng)過(guò)程中破壞了圖像本身亮度變化順序，導(dǎo)致亮度分布不均勻以及部分暗區(qū)失真.

表3Downholedrillsitedataset實(shí)驗(yàn)結(jié)果對(duì)比 Tab.3 Comparison of experimental results on

表3中本文算法相對(duì)于其他算法，IE、LOE兩個(gè)指標(biāo)排名第一，分別為7.76、2201，在其他各項(xiàng)指標(biāo)上的表現(xiàn)也超越了大多數(shù)的對(duì)比算法.此場(chǎng)景中，

IceNet算法增強(qiáng)的圖像PSNR最高，值為15.43，但圖像光照效果不理想，對(duì)比度過(guò)高，導(dǎo)致畫面偏暗.EnlightenGAN增強(qiáng)的圖像NIQE值為3.98，位列第一，但往往伴隨細(xì)節(jié)信息丟失，紋理模糊，體現(xiàn)在其PSNR、IE和LOE指標(biāo)結(jié)果表現(xiàn)相對(duì)較差.

表4Homemadedataset實(shí)驗(yàn)結(jié)果對(duì)比 Tab.4 Comparison of experimental resultson

表4中本文所提出的算法在五個(gè)評(píng)估指標(biāo)中表現(xiàn)出了卓越的性能，除IE之外，其余四個(gè)指標(biāo)均排名第一.數(shù)據(jù)表明，本文算法對(duì)于煤礦井下較暗場(chǎng)景具有較好的光照增強(qiáng)能力，沒(méi)有出現(xiàn)明顯的色彩失真或過(guò)度增強(qiáng)的問(wèn)題，并且能夠恢復(fù)原本暗淡、模糊的細(xì)節(jié)，有效改善圖像的視覺效果.

表5對(duì)上述對(duì)比實(shí)驗(yàn)中各算法數(shù)據(jù)進(jìn)行統(tǒng)計(jì)平均處理.統(tǒng)計(jì)數(shù)據(jù)表明本文算法在多個(gè)煤礦低光照?qǐng)鼍跋拢軌蚋纳茍D像光照質(zhì)量，恢復(fù)圖像黯淡的色彩和細(xì)節(jié).

表5對(duì)比實(shí)驗(yàn)平均統(tǒng)計(jì)結(jié)果

Tab.5 Averagestatistical resultsofcomparative

2.3消融實(shí)驗(yàn)

為了驗(yàn)證本文每個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的有效性以及不同網(wǎng)絡(luò)結(jié)構(gòu)混合使用是否具有耦合性，本文設(shè)置了5組消融實(shí)驗(yàn).定量結(jié)果如表6所示.

表6消融實(shí)驗(yàn) Tab.6 Ablationexperiment

表中組2、組3實(shí)驗(yàn)中分別引入預(yù)點(diǎn)亮模塊、自校準(zhǔn)模塊，四個(gè)指標(biāo)均有所上升，表明本文設(shè)計(jì)的光照增強(qiáng)網(wǎng)絡(luò)，能夠在不破壞圖像結(jié)構(gòu)的同時(shí)，實(shí)現(xiàn)圖像亮度增強(qiáng).組4實(shí)驗(yàn)中引入細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)和門控融合網(wǎng)絡(luò)，相對(duì)組3的PSNR、SSIM和IE提升較為明顯，分別提高了2.08個(gè)百分點(diǎn)、0.23個(gè)百分點(diǎn)和0.21個(gè)百分點(diǎn)，結(jié)果表明本文的細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)可以促進(jìn)低光照?qǐng)D像深淺層特征流動(dòng)，以補(bǔ)充光照增強(qiáng)過(guò)程中紋理、細(xì)節(jié)信息的丟失.組5實(shí)驗(yàn)加入了色彩矯正網(wǎng)絡(luò)，相比組4實(shí)驗(yàn)數(shù)據(jù)，NIQE提升最為明顯，達(dá)到了3.72，結(jié)果表明本文的色彩矯正網(wǎng)絡(luò)能夠有效矯正增強(qiáng)過(guò)程中色彩失真現(xiàn)象，使增強(qiáng)后圖像視覺效果更自然真實(shí).而PSNR、SSIM略微下降了O.08個(gè)百分點(diǎn)、0.01個(gè)百分點(diǎn)，這是由于PSNR衡量的是兩張圖像間的像素差異，SSIM評(píng)估圖像的結(jié)構(gòu)信息相似程度.色彩矯正網(wǎng)絡(luò)為了恢復(fù)圖像真實(shí)豐富的色彩，會(huì)在局部區(qū)域或相鄰像素之間損失一定的像素精準(zhǔn)匹配度和結(jié)構(gòu)信息相似程度，使局部區(qū)域間或相鄰像素過(guò)渡平滑，難以避免導(dǎo)致二者數(shù)值出現(xiàn)略微下降的情況.但人眼視覺系統(tǒng)并非單純依據(jù)像素精度來(lái)感知圖像質(zhì)量，連續(xù)漸變的色彩過(guò)渡，會(huì)帶來(lái)更加自然、真實(shí)的視覺效果，數(shù)據(jù)結(jié)果體現(xiàn)在組5實(shí)驗(yàn)，相比組4實(shí)驗(yàn)，IE指標(biāo)上升了0.07個(gè)百分點(diǎn)，NIQE指標(biāo)下降了0.29個(gè)百分點(diǎn).

總體而言，從組5消融實(shí)驗(yàn)可以看出，本文所提出的各項(xiàng)創(chuàng)新點(diǎn)均表現(xiàn)出了顯著的耦合性和有效性.

2.4算法耗時(shí)性實(shí)驗(yàn)

為了評(píng)估11種圖像增強(qiáng)算法的效率，本文將每種算法分別應(yīng)用于20幅 256×256 像素的低光照測(cè)試圖像上，并計(jì)算了它們?cè)鰪?qiáng)單幅低光照?qǐng)D像的平均耗時(shí)，結(jié)果如表7所示.

表7耗時(shí)性實(shí)驗(yàn)結(jié)果 Tab7 Time consuming experiment result

由表7可以看出，本文算法在11種算法中，排名第三，推理單幅圖片僅需0.291s.實(shí)驗(yàn)表明本文算法在耗時(shí)性實(shí)驗(yàn)中具有優(yōu)秀表現(xiàn)，充分驗(yàn)證了其在礦井環(huán)境下不僅能迅速處理圖像，還能有效提升低光照?qǐng)D像的亮度與整體質(zhì)量.

3結(jié)論

1）針對(duì)煤礦井下地形復(fù)雜和光照受限導(dǎo)致的視頻監(jiān)控圖像亮度不足、對(duì)比度低、顏色失真、細(xì)節(jié)信息丟失等問(wèn)題，本文提出一種基于MCGN的煤礦井下多場(chǎng)景低光照?qǐng)D像增強(qiáng)算法，以獲取畫面清晰、光照均勻、色彩真實(shí)的井下監(jiān)控圖像.

2）該算法由光照增強(qiáng)、細(xì)節(jié)增強(qiáng)、色彩矯正和門控融合四個(gè)網(wǎng)絡(luò)組成.光照增強(qiáng)網(wǎng)絡(luò)通過(guò)預(yù)點(diǎn)亮模塊和級(jí)聯(lián)空間增強(qiáng)注意力機(jī)制提升圖像亮度；細(xì)節(jié)增強(qiáng)網(wǎng)絡(luò)采用多級(jí)殘差網(wǎng)絡(luò)結(jié)構(gòu)豐富圖像紋理和邊緣細(xì)節(jié)；色彩矯正網(wǎng)絡(luò)則利用編解碼結(jié)構(gòu)和色彩損失函數(shù)恢復(fù)圖像真實(shí)色彩；門控融合網(wǎng)絡(luò)通過(guò)新的門控機(jī)制實(shí)現(xiàn)三個(gè)網(wǎng)絡(luò)輸出的最優(yōu)融合，確保圖像增強(qiáng)效果.

3）實(shí)驗(yàn)結(jié)果顯示，算法在提升煤礦井下圖像質(zhì)量方面表現(xiàn)出色，在自制井下弱光數(shù)據(jù)集上的

PSNR、SSIMR、LOE、NIQE的指標(biāo)分別為15.35、0.77、2597、3.99.在參與比較的11種算法中，該算法在5個(gè)測(cè)試指標(biāo)中占據(jù)了4個(gè)第一，彰顯了其卓越性能，并且單幅圖片平均推理用時(shí)僅為0.291s.結(jié)果表明，該算法在成功實(shí)現(xiàn)亮度增強(qiáng)的同時(shí)，還兼顧了細(xì)節(jié)的恢復(fù)與顏色的精準(zhǔn)矯正，達(dá)到了三者之間的良好平衡，展現(xiàn)出了強(qiáng)大的多場(chǎng)景適應(yīng)能力和廣泛的泛化性能，能夠在不同的煤礦井下場(chǎng)景中發(fā)揮出色的效果.

參考文獻(xiàn)

[1］國(guó)家礦山安監(jiān)局應(yīng)急管理部國(guó)家發(fā)展改革委工業(yè)和信息化 部科技部財(cái)政部教育部聯(lián)合印發(fā)《關(guān)于深入推進(jìn)礦山智能化 建設(shè)促進(jìn)礦山安全發(fā)展的指導(dǎo)意見》[J]．中國(guó)安全生產(chǎn)， 2024，19（5）：5. The emergency management department of the state administration of mine safety，the national development and reform commission， the ministry of industry and information technology，the ministry of science and technology，the ministry of finance and the ministry of education jointly issued the guiding opinions on deepening the intelligent construction of mines and promoting thesafe development of mines[J].China Occupational Safety and Health， 2024，19（5）：5.（in Chinese）

[2]苗作華，趙成誠(chéng)，朱良建，等．礦井井下非均勻照度圖像增強(qiáng)算 法[J]：工礦自動(dòng)化，2023，49（11）：92-99. MIAOZH，ZHAOCC，ZHULJ，et al.Image enhancement algorithm for non-uniform illumination in underground mines[J]. Journal of Mine Automation，2023，49（11）：92-99.（in Chinese）

[3]彭大鑫，甄彤，李智慧.低光照?qǐng)D像增強(qiáng)研究方法綜述[J]．計(jì) 算機(jī)工程與應(yīng)用，2023，59（18）：14-27. PENG D X，ZHEN T，LI Z H. Survey of research methods for low lightimageenhancement[J].ComputerEngineeringand Applications，2023，59（18）：14-27.（in Chinese）

[4］涂毅晗，汪普慶．基于多尺度局部直方圖均衡化的礦井圖像 增強(qiáng)方法[J].工礦自動(dòng)化，2023，49（8）：94-99. TU Y H，WANG P Q. Mine image enhancement method based on multi-scale local histogram equalization[J].Journal of Mine Automation，2023，49（8）：94-99.（in Chiese）

[5]TIAN F，WANG MJ，LIU X P.Low-light mine image enhancement algorithmbased on improvedRetinex[J].Applied Sciences，2024， 14（5）：2213.

[6］張立亞，郝博南，孟慶勇，等．基于HSV空間改進(jìn)融合 Retinex算法的井下圖像增強(qiáng)方法[J].煤炭學(xué)報(bào)，2020，45（增 刊1）：532-540. ZHANG L Y，HAO B N，MENG Q Y，et al. Underground image enhancement method based on HSV space improved fusion Retinex algorithm[J].Journal of China Coal Society，2020，45 （Sup.1）：532-540.（in Chinese）

[7]馬龍，馬騰宇，劉日升．低光照?qǐng)D像增強(qiáng)算法綜述[J]．中國(guó)圖 象圖形學(xué)報(bào)，2022，27（5）：1392-1409. MA L，MA T Y，LIUR S.The review of low-light image enhancement[J].Journal of ImageandGraphics，2O22，27（5）： 1392-1409.（in Chinese）

［8］葛君超，王利鵬．基于自適應(yīng)Retinex算法的煤礦低光照?qǐng)D像 增強(qiáng)研究[J]．金屬礦山，2024（8）：152-157. GEJC，WANG L P.Study on low-light image enhancement in coal mine based on adaptive Retinex algorithm[J]．Metal Mine， 2024（8）：152-157.（in Chinese）

[9]HAN W W，XIAO YG，YIN Y.UM-GAN：Underground mine GAN for underground mine low-light image enhancement[J]. IET Image Processing，2024，18（8）： 2154-2160.

[10］王滿利，張航，李佳悅，等．基于深度神經(jīng)網(wǎng)絡(luò)的煤礦井下低 光照?qǐng)D像增強(qiáng)算法[J]．煤炭科學(xué)技術(shù)，2023，51（9）：231-241. WANG M L，ZHANG H，LI JY，et al. Deep neural networkbased image enhancement algorithm for low-ilumination images underground coal mines[J].Coal Science and Technology，2023， 51（9）：231-241.（in Chinese）

[11]YANG W，WANG S，WUJQ，etal.A low-lightimage enhancement methodfor personnel safety monitoringin underground coal mines[J].Complex amp; Intelligent Systems，2024， 10（3）： 4019-4032.

[12]CAI Y H，BIAN H，LIN J，et al.Retinexformer：one-stage Retinex-based transformer for low-light image enhancement[C]// 2023IEEE/CVF International Conference on Computer Vision （ICCV）．Paris，F(xiàn)rance．IEEE，2023：12470-12479.

[13]WEI C，WANGWJ，YANG W H，et al.Deep Retinex decomposition for low-light enhancement ［EB/OL].2018： 1808.04560．. https：//arxiv.org/abs/1808.04560v1.

[14]GUO XJ，LIY，LINGHB.LIME：low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing，2017，26（2）：982-993.

[15]YU Z P，HUANG H B，CHEN W J，et al. YOLO-FaceV2： a scale and occlusion aware face detector[J]．Pattern Recognition， 2024，155：110714.

[16]MAL，MA TY，LIURS，et al．Toward fast，flexible，and robust low-light image enhancement[C]//2O22 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.New Orleans， LA，USA.IEEE，2022：5627-5636.

[17]HENDRYCKS D，GIMPEL K． Gaussian error linear units （GELUs）[EB/OL].2016：1606.08415.htps：//arxiv.org/abs/1606. 08415v5.

[18]ZHANG Z，ZHENG H，HONG R C，et al. Deep color consistent network for low-light image enhancement[C]//2022 IEEE/CVF Conference on Computer Vision and Pattrn Recognition（CVPR）. NewOrleans，LA，USA.IEEE，2022：1889-1898.

[19]KALWAR S，PATEL D，AANEGOLA A，et al. GDIP：gated differentiable image processing for object detection in adverse conditions [C]//2023 IEEE International Conference on Robotics and Automation （ICRA）.London，United Kingdom.IEEE，2023： 7083-7089.

[20］程德強(qiáng)，陳杰，寇旗旗，等.融合層次特征和注意力機(jī)制的輕 量化礦井圖像超分辨率重建方法［J].儀器儀表學(xué)報(bào)，2022， 43（8）： 73-84. CHENG D Q，CHEN J，KOUQQ，et al.Lightweight superresolution reconstruction method based on hierarchical features fusion and attention mechanism for mine image[J].Chinese Journal of Scientific Instrument，2022，43（8）：73-84.（in Chinese）

[21]程德強(qiáng)，徐進(jìn)洋，寇旗旗，等．融合殘差信息輕量級(jí)網(wǎng)絡(luò)的運(yùn) 煤皮帶異物分類[J]．煤炭學(xué)報(bào)，2022，47（3）：1361-1369. CHENGDQ，XUJY，KOUQQ，et al. Lightweight network based on residual information for foreign body classification on coal conveyor belt[J]. Journal of China Coal Society，2022， 47（3）：1361-1369.（in Chinese）

[22］周蔚，董立紅，葉鷗，等．煤礦井下鉆場(chǎng)目標(biāo)檢測(cè)數(shù)據(jù)集[J]. 中國(guó)科學(xué)數(shù)據(jù)，2024，9（2）：305-317. ZHOU W，DONG L H，YEO，et al.A dataset of drilling site object detection in underground coal mines[J]. China Scientific Data，2024，9（2）：305-317.（inChinese）

[23] ZHU A Q，ZHANG L，SHEN Y，et al. Zero-shot restoration of underexposed images via robust Retinex decomposition[C]/2020 IEEE International Conference on Multimedia and Expo （ICME）. London，United Kingdom.IEEE，2020：1-6.

[24]GUO C L，LIC Y，GUO JC，et al．Zero-reference deep curve estimation for low-light image enhancement[C]//2020 IEEE/CVF Conference on Computer Vision and Pattrn Recognition（CVPR）. Seattle，WA，USA.IEEE，202O：1780-1789.

[25]KO K，KIM C S.IceNet for interactive contrast enhancement[J]. IEEE Access，2021，9：168342-168354.

[26]WEI C，WANG W J，YANG WH，et al.Deep Retinex decomposition for low-light enhancement[EB/OL].2018：1808. 04560.htps：//arxiv.org/abs/1808.04560v1.

[27]PARTHASARATHY S，SANKARAN P. An automated multi scale Retinex withcolor restoration for imageenhancement[C]//2012 National Conference onCommunications（NCC）.Kharagpur， India.IEEE，2012：1-5.

[28]JIANG YF，GONGXY，LIUD，et al. EnlightenGAN：deep light enhancement without paired supervision[J]. IEEE Transactions on Image Processing，2021，30：2340-2349.

[29]WU W，WENG J，ZHANG P，et al. URetinex-Net：Retinexbased deep unfolding network for low-light image enhancement [C]//Procedings of the IEEE/CVF Conference on Computer Vision and Patern Recognition （CVPR）.New Orleans，LA， USA.IEEE，2022：5901-5910.

[30]FU ZQ，YANG Y，TU X T，et al．Learning a simple low-light image enhancer from paired low-light instances[C]//2O23 IEEE/ CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Vancouver，BC，Canada.IEEE，2023：22252-22261.

[31]ZOUWB，GAOHX，YE T，et al.VQCNIR：clearer night image restoration with vector-quantized codebook[J].Proceedingsof the AAAI Conference on Artificial Intelligence，2024，38（7） ：7873- 7881.

[32]MITTAL A，SOUNDARARAJAN R，BOVIK A C. Making a “completelyblind”imagequalityanalyzer[J].IEEE Signal Processing Letters，2013，20（3）：209-212.

[33]LI S，JIN WQ，LI L，et al. An improved contrast enhancement algorithm for infrared images based on adaptive double plateaus histogram equalization[J].Infrared Physicsamp; Technology，2018， 00.164-174