楊允權(quán)，劉國寧，孫克文，楊 潔

（鄭州大學(xué)機械與動力工程學(xué)院，河南 鄭州 450001）

1 引言

空中偵查與追蹤是至關(guān)重要的偵查手段，飛行器快捷靈活的特點結(jié)合機器視覺，能高效便捷的完成預(yù)期任務(wù)。圖像質(zhì)量直接影響目標(biāo)識別時的檢測效率、追蹤精度和所需時間。然而往往飛行器采集到的真實圖像會受到噪聲、曝光、遮擋物、陰影、畸變［3］等因素的影響，特別是在光線不足的情況下，往往會丟失圖像主要的細(xì)節(jié)特征從而影響圖片質(zhì)量，對預(yù)期目標(biāo)造成不可估量的后果［1］。

目前處理低光圖像技術(shù)的主流方法有直方圖均衡化法、Retinex理論法、偽霧圖法和基于神經(jīng)網(wǎng)絡(luò)圖像增強法［2］。直方圖均衡化法［4］是提出最早的圖像增強方法，其原理是將圖像進行一定程度上的非線性拉伸操作，重新組建圖像像素值，使得圖像的像素值在一定范圍內(nèi)均等。文獻［5］提出兩個獨立均衡化的思想實現(xiàn)了圖像整體亮度的增強；文獻［6］使用約束增強條件的方法增加了圖像對比度，避免過度曝光現(xiàn)象，但是圖像顏色失真、細(xì)節(jié)部分缺失等現(xiàn)象依舊比較明顯，影響圖像增強效果。

Retinex理論法由文獻［7］于1963年提出。該理論在機器視覺的研究和應(yīng)用方面經(jīng)歷了傳統(tǒng)的單尺度Retinex算法［8］到改進到多尺度Retinex［9］算法，再到彩色恢復(fù)多尺度Retinex［10］算法。此類方法能有效解決噪聲問題和增強局部細(xì)節(jié)，但是該方法同樣容易出現(xiàn)顏色失真問題。文獻［11-12］提出顏色矯正模塊，問題仍然未能完全解決。

偽霧法主要分為基于圖像增強和基于物理模型的方法［13］。文獻［14］提出一種暗通道先驗的快速去霧法，對去霧有較好的效果，處理時間短，但是對顏色不敏感，容易缺失；文獻［15］提出一種基于物理模型的低照度圖像增強算法，與其他去霧算法相比，該算法處理效率更高，信息丟失少，能提高圖像增強效果。

神經(jīng)網(wǎng)絡(luò)圖像增強法是通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低亮度圖像和正常光照圖像之間的映射關(guān)系。文獻［16］提出一種基于注意力機制和卷積神經(jīng)網(wǎng)絡(luò)（CNN）的低照度圖像增強算法以提高整體亮度與對比度；文獻［17］提出一種改進的MSRCR算法能改善圖像視覺效果和平滑圖像，但是會出現(xiàn)顏色失衡和細(xì)節(jié)丟失現(xiàn)象。

針對上述圖像識別存在的問題以及本研究的實際情況，提出了一種基于神經(jīng)網(wǎng)絡(luò)的飛行器低照度增強算法。采用深度學(xué)習(xí)和Retinex理論相結(jié)合的方法，使用分組卷積與卷積塊的快速卷積方法對圖像高頻全局照度和低頻細(xì)節(jié)特征進行分離和提取，利用成對的圖像集分別對高頻和低頻特征進行增強，最后根據(jù)Retinex理論合成增強后的圖像。實驗驗證該方法能有效的增強邊緣細(xì)節(jié)信息，自適應(yīng)的增強圖像，防止曝光和避免顏色失真等現(xiàn)象的出現(xiàn)。

主要特點如下：

（1）采用多輸入與多分支的分組卷積結(jié)構(gòu)進行特征提取，能有效提高計算速度，并能快速提取更多的圖像特征，大幅度保存圖像全局信息。

（2）使用卷積塊的方式對低光圖像進行深層特征提取，融合更多的低頻特征，具有更廣的感受野，減少特征冗余。

（3）加入高頻亮度調(diào)整模塊，校正亮度信息，增強圖像效果。

（4）對圖像進行二次增強，細(xì)化特征和增強圖像飽和性。

2 基本理論

2.1 Retinex理論

Retinex理論一種建立在科學(xué)的實驗和分析基礎(chǔ)上的圖像增強方法，原理的核心是遵循以下幾個方面：（1）物體本身是沒有顏色的；（2）物體所表現(xiàn)出來的顏色都是光與物質(zhì)相互作用的結(jié)果；（3）每一種顏色都是由不同波長的紅、綠、藍(lán)三原色構(gòu)成；（4）物體表現(xiàn)顏色由三原色組成。

Retinex理論［7］將一張圖像S分解為光照分量I和反射分量R，分解過程如下：

式中：°—乘積。該理論指出每個圖像的反射分量R是恒定不變的，其值由自身性質(zhì)決定，而分量I易受外界關(guān)照影響，因此可以動態(tài)的調(diào)整壓縮量、增強邊緣細(xì)節(jié)和使顏色恒常達到平衡，可以對不同關(guān)照特性圖像進行自適應(yīng)增強。

2.2 分組卷積理論

分組卷積由AlexNet網(wǎng)絡(luò)［28］引入，實現(xiàn)分組卷積的主要原因是讓網(wǎng)絡(luò)可以在多個內(nèi)存有限的GPU上運行，從而加快訓(xùn)練速度，減少內(nèi)存消耗。典型的2D卷積工作方式，如圖1所示。

圖1 典型2D卷積Fig.1 Typical 2D Convolution

通過應(yīng)用Dout個大小為（h×w×Din）的卷積核將輸入層(Hin×Win×Din)變換為輸出層(Hout×Wout×Dout)。在分組卷積中，卷積核會被分為不同的組。每一個組都是一個特定深度的典型2D卷積，分組卷積工作方式，如圖2所示。

圖2 分組卷積Fig.2 Grouped Convolution

圖2 是G=2 的分組卷積（G為分組數(shù)）。每一個獨立的分組中，卷積核的深度僅有典型卷積的一半。每個分組包含有Dout/2個卷積核，第一個卷積核分組與輸入層的前一半([：Hin，：Win，：Dout/2])卷積，得到輸出層一半的輸出；第二個卷積核分組與輸入層的后一半([：Hin，：Win，：Dout/2])卷積，得到輸出層另一半的輸出，將兩部分結(jié)果堆疊在一起，得到與典型2D卷積同樣通道的輸出層。

分組卷積可對模型進行高效訓(xùn)練。可使用多個GPU對同一個模型并行化訓(xùn)練，能處理更多圖像。

模型會更高效，模型參數(shù)會隨分組數(shù)的增大而減少。在上述的例子中，完整的標(biāo)準(zhǔn)卷積有（h×w×Din×Dout）個參數(shù)，而具有兩個分組的分組卷積有（h×w×Din/2 ×Dout/2）個參數(shù)，參數(shù)數(shù)量減少一半。

卷積核的高稀疏性和相鄰層卷積核同結(jié)構(gòu)化能有效避免過擬合和使網(wǎng)絡(luò)學(xué)習(xí)到更準(zhǔn)確更高效的深度網(wǎng)絡(luò)。

3 基于神經(jīng)網(wǎng)絡(luò)的低照度圖像增強算法

3.1 算法介紹

針對目前低光照圖像增強算法存在的顏色失真和飛行器數(shù)據(jù)細(xì)節(jié)實時性等問題，提出一種基于Retinex理論和分組卷積相結(jié)合的自適應(yīng)圖像增強算法。該網(wǎng)絡(luò)由分解網(wǎng)絡(luò)、增強網(wǎng)絡(luò)和合成網(wǎng)絡(luò)三個網(wǎng)絡(luò)組成。首先根據(jù)Retinex理論對輸入圖像進行分解，得到全局高頻亮度圖像和低頻細(xì)節(jié)圖像，再利用增強網(wǎng)絡(luò)對全局亮度圖像進行增強，并加入亮度調(diào)整因子，對增強后亮度進行適當(dāng)調(diào)整，避免顏色失衡等問題，最后依據(jù)Retinex理論通過合成網(wǎng)絡(luò)合成增強后的圖像，算法，如圖3所示。

圖3 低照度圖像目標(biāo)識別算法流程圖Fig.3 Flow Chart of Low-Illuminance Image Target Recognition Algorithm

3.2 分解網(wǎng)絡(luò)

普通識別方法的缺陷是照明度選取具有盲目性，而獲取良好的照明信息是影響增強后圖像效果的關(guān)鍵。合適的照明對飛行器航拍圖像更好的增強至關(guān)重要。根據(jù)Retinex理論，可將圖像分為反射率和物體本身，考慮到飛行器數(shù)據(jù)的復(fù)雜性與多變性，分解網(wǎng)絡(luò)采用兩個子網(wǎng)絡(luò)構(gòu)成，一個網(wǎng)絡(luò)負(fù)責(zé)分解高頻全局亮度分量，另一個網(wǎng)絡(luò)負(fù)責(zé)分解低頻細(xì)節(jié)分量，分解網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示。

為了提高增強圖像的效果，采用分組卷積的方式，對原圖像進行多通道的特征提取，采用G=10的分組網(wǎng)絡(luò)。為了減少數(shù)據(jù)的丟失，選用a=0.01的PReLU函數(shù)作為激活函數(shù)（a為數(shù)據(jù)小于零時的斜率）。先用30個（1×1）卷積核對輸入圖像卷積，得到尺寸為（400×600×30）圖像，將該圖像通道分為十組，分別對應(yīng)十個分組網(wǎng)絡(luò)，即每組尺寸為（400×600×3）。每組網(wǎng)絡(luò)使用8通道（3×3）步長為1的卷積核與對應(yīng)圖像通道分組進行卷積，為了減少計算量和提高計算速度，對分級卷積結(jié)果使用分組融合的方式進行特征融合，如圖4所示。

圖4 分組融合流程圖Fig.4 Flow Chart of Group Fusion

每相鄰兩個結(jié)果進行一次特征融合，融合后的特征再使用（1×1）的卷積核進行卷積，以便得到更平滑的特征圖，增強模型的非線性表達能力和實現(xiàn)跨通道的交互與信息融合。直到特征融合到最后一個特征圖為止，最終得到一個單通道的高頻全局照度圖像。

另一個子網(wǎng)絡(luò)使用卷積塊的方式進行深度細(xì)節(jié)特征提取，采用六個卷積塊作為深層特征提取（六個卷積塊后像素小于1）。該卷積塊由兩次下采樣（卷積）得到三種不同尺寸的特征、兩次上采樣（反卷積）得到對應(yīng)尺度的特征和跳層連接的一個U型結(jié)構(gòu)組成。使卷積塊相同尺寸的特征進行特征融合，并對融合的結(jié)果進行步長為1的1×1卷積，每個卷積塊即可得到三種不同尺寸的特征圖。卷積塊結(jié)構(gòu)和具體網(wǎng)絡(luò)參數(shù)，如圖5所示。

圖5 卷積塊結(jié)構(gòu)Fig.5 Convolution Block Structure

第一個卷積塊的輸入是分組卷積的輸出，下一個卷積塊的輸入是上一個卷積塊的輸出，如圖3所示。每個卷積塊都會得到三種尺寸和頻率的特征圖，最后對所有卷積塊不同層級得到相同尺寸的特征圖進行串聯(lián)，得到低頻、中頻和高頻不同尺寸的特征圖。考慮到低頻信息量太少，將低頻特征上采樣與中頻特征融合再卷積得到低頻細(xì)節(jié)圖像，如圖6所示。

圖6 低頻特征圖Fig.6 Low-Frequency Characteristic Map

3.3 增強網(wǎng)絡(luò)

為了解決顏色失真和飛行器圖像細(xì)節(jié)模糊等問題，引入亮度調(diào)整因子，校正全局亮度圖，增強圖像效果。該亮度調(diào)整因子由正常光照圖像通過兩層8個步長為1的（3×3）卷積核和PReLU激活函數(shù)組成，亮度調(diào)整因子流程圖，如圖7所示。

圖7 亮度調(diào)整因子Fig.7 Brightness Adjustment Factor

增強網(wǎng)絡(luò)將高頻全局亮度圖和亮度調(diào)整因子作為輸入，經(jīng)過4個卷積核為3，步長為1的卷積層和四個PReLU激活函數(shù)，最后經(jīng)過步長為1的（1×1）卷積得到增強后的光照圖。

3.4 合成網(wǎng)絡(luò)

合成網(wǎng)絡(luò)的輸入是高頻全局特征圖和低頻細(xì)節(jié)特征圖，通過四個下采樣和四個上采樣，每個上采樣的輸入是上個卷積層的輸出和同尺寸跳層連接后卷積的結(jié)果，具體網(wǎng)絡(luò)設(shè)置，如圖8所示。

圖8 合成網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 Synthetic Network Structure

增強飛行器采集圖像細(xì)節(jié)邊緣、飽和度和避免過曝光現(xiàn)象，再次根據(jù)Retinex理論進行圖像的二次增強，合成網(wǎng)絡(luò)合成后的圖像乘以增強后的亮度圖，即得到二次亮度增強圖像。

3.5 目標(biāo)函數(shù)

飛行器采集的數(shù)據(jù)易受飛行器姿態(tài)和飛行環(huán)境影響，具有多變性和復(fù)雜性，需要定性和定量的解決圖像質(zhì)量問題，使用常規(guī)的MSE 和MAE 誤差指標(biāo)已不足解決問題。因此為了進一步解決，這里考慮結(jié)構(gòu)信息和圖像區(qū)域差異性，目標(biāo)函數(shù)如下：

L2范數(shù)是最常用的防止模型過擬合的正則化方法，計算過程如下：

式中：xi—輸入的圖像。均方誤差（MSE）描述增強后圖像與正常光照圖像之間像素值的差異，計算過程為：

式中：yi—增強后的圖像；y*i—真實圖像。平均絕對誤差（MAE），計算過程如下：

式中：yi—增強后的圖像；y*i—真實圖像。結(jié)構(gòu)信息誤差（SSIM）增強圖像細(xì)節(jié)，避免光照干擾，計算過程為：

式中：μX、μY—水平與豎直方向的像素平均值；σ2X、σ2Y—水平、豎直方向的方差；σXY—像素協(xié)方差；C1和C2都是為了防止分母為0 的常量，其中C1=(0.001 ×k)2，C2=(0.03 ×k)2，k—滑動窗大小。

為了更好的提取特征，分解網(wǎng)絡(luò)目標(biāo)函數(shù)為：

式中：II、Ih—輸入的低光圖像和正常光照圖像；LI、RI—低光圖像的高頻亮度分量和低頻細(xì)節(jié)分量；Rh、Lh—正常光照圖像的高頻亮度分量和低頻細(xì)節(jié)分量；°—矩陣乘法運算；其中，G=|σLI|+|σLh|，這里σ都表示梯度，這里 | |都表示絕對值；λ1和c都是常數(shù)；·—點乘。

光照增強網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

式中：LIh—分解后的Lh或者LI；L*Ih—原圖像的Lh或者LI。

亮度調(diào)整因子網(wǎng)絡(luò)目標(biāo)函數(shù)為：

式中：L°—光度調(diào)整因子；LS—正常光照圖像。

合成網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

式中：R°—光度調(diào)整因子；Rh—分解的低頻細(xì)節(jié)。

4 實驗與分析

4.1 數(shù)據(jù)集

這里的算法實驗是基于JetBrains PyCharm Community Edition 2019實現(xiàn)，模型搭建使用開源OpenCV庫和tensorflow庫完成，硬件環(huán)境為Intel（R）Core（TM）i5-8400 CPU@2.80GHz。飛行器采用F450航模四軸飛行器；飛行器相機使用SJ4000運動相機。

由于合成數(shù)據(jù)集不具有真實數(shù)據(jù)的復(fù)雜性，這里采用飛行器采集的真實低光與正常光照圖像，由于標(biāo)準(zhǔn)數(shù)據(jù)圖像不易采集，選用公開的無人機數(shù)據(jù)集auair2019data 和VisDrone-Dataset［27］里的數(shù)據(jù)，選擇了900對低光與正常光照圖像對，圖像大小設(shè)置為（400×600），一共1800張圖像。

根據(jù)式（1），真實圖像是由光照分量和反射分量組成。為了保證最后合成數(shù)據(jù)的有效性，采用正常光照數(shù)據(jù)作為標(biāo)簽，低光圖像作為原始數(shù)據(jù)，為了降低公開數(shù)據(jù)集中的數(shù)據(jù)耦合性，使用飛行器采集真實低光圖像和正常光照圖像對100對，將飛行器采集到的圖像與公開數(shù)據(jù)集中的圖像進行隨機混合，然后按4：1比例將數(shù)據(jù)集分為測試集和驗證集，即測試圖像為1600張，驗證圖像為400張。

4.2 訓(xùn)練

先對1600張照片進行訓(xùn)練，最后用400張照片進行測試，為了證明該算法的實用性，再次采集100張飛行器拍攝的真實低光圖像進行測試。

這里的batch_size 設(shè)置為10，輸入圖像的尺寸都為（400×600），并把圖像像素歸一化到（0～1）。并在卷積層后使用批歸一化（Batch Normalization）加快訓(xùn)練速度，降低數(shù)據(jù)參數(shù)不一致帶來的影響，為了防止模型過擬合和提高收斂速度，對模型添加0.5的Dropout層。使用自適應(yīng)的隨機梯度法作為優(yōu)化策略，并使用收斂速度最快、效果最好的Adam優(yōu)化器進行優(yōu)化。除此之外，還使用學(xué)習(xí)率衰減策略，學(xué)習(xí)率的初始值設(shè)置為0.001，經(jīng)過20個epoch，學(xué)習(xí)率下降10%，訓(xùn)練總epoch為100次。

4.3 圖像分解分析

由于飛行器采集的圖像不同于地面收集的圖像，更容易出現(xiàn)細(xì)節(jié)丟失現(xiàn)象，為了驗證算法有較好的分解能力，選用幾種優(yōu)秀的分解網(wǎng)絡(luò)對低光圖像分解的低頻特征圖和高頻特征圖進行了對比，如圖9、圖10所示。

圖9 低頻分量圖Fig.9 Low-Frequency Component Diagram

圖10 高頻分量圖Fig.10 High-Frequency Component Diagram

從低頻分量圖可以直觀的看出MF算法和RetinexNet算法顏色對比度明顯，但是細(xì)節(jié)丟失比較嚴(yán)重；kind算法細(xì)節(jié)丟失少，但是引入顏色失真現(xiàn)象；這里高頻分量圖的整體飽和度更好，細(xì)節(jié)和顏色保存更完整。高頻分量圖中MF算法細(xì)節(jié)部分更明顯，但是整體偏暗，而這里低頻分量圖不僅保存更多的細(xì)節(jié)信息，而且對亮度也有一定的增強，綜合比較，這里分解網(wǎng)絡(luò)效果更優(yōu)于其他幾種算法。

4.4 測試分析

為了驗證算法的可靠性、實用性和先進性，這里和別的幾種常用算法進行比較，包括BIMEF算法［19］、kinD算法［24］、GLAND算法［21］、FFN 算法［20］、MF 算法［18］、Retinex-Net 算法［25］、MSRCR 算法［23］和LIME算法［22］。為了直觀顯示幾種算法的結(jié)果，使用無人機拍攝的低光圖像進行了測試，展示其中兩張低光圖像的測試結(jié)果，如圖11所示。

圖11 不同算法圖像整體增強效果對比Fig.11 Comparison of Overall Image Enhancement Effects of Different Algorithms

從結(jié)果可以看出BIMEF算法［19］和FFN算法［20］對圖像亮度與細(xì)節(jié)都進行增強，但是圖像整體偏暗，亮度增強效果沒有其他算法明顯；kinD［24］對細(xì)節(jié)增強比較明顯，不會出現(xiàn)模糊等現(xiàn)象，但是仍然存在比較暗的地方；GLAND算法［21］出現(xiàn)圖像模糊和噪點現(xiàn)象；MF算法［18］出現(xiàn)細(xì)節(jié)丟失現(xiàn)象；MSRCR算法［23］出現(xiàn)過度曝光現(xiàn)象；Retinex-Net算法［25］對細(xì)節(jié)增強效果好，但是出現(xiàn)顏色失真現(xiàn)象；這里算法與正常光照圖像對比，細(xì)節(jié)部分表現(xiàn)完整，沒有出現(xiàn)噪聲、過度增強、模糊等現(xiàn)象，僅出現(xiàn)少量顏色失真。由此可以看出這里算法優(yōu)于其他幾種算法。

進一步驗證實驗平臺的可行性，使用這里的無人機拍攝100張低光圖像進行了測試，驗證結(jié)果，如圖12、圖13所示。

圖12 低光圖像Fig.12 Low-Light Image

圖13 這里算法處理后圖像Fig.13 The Image Processed by the Algorithm in This Paper

從圖12、圖13可以看出這里的算法在實驗平臺上效果依然顯著，不僅對低光圖像有較好的增強效果，而且圖像細(xì)節(jié)信息保存較完整、顏色未出現(xiàn)失真和模糊現(xiàn)象。證明這里的算法有較好的可靠性和準(zhǔn)確性。

為了客觀評價算法的優(yōu)越性，無人機采集100張真實圖片進行驗證，使用有參考圖像的SSIM（結(jié)構(gòu)相似性）、PSNR（峰值信噪比）、MSE（均方誤差）指標(biāo)與無參考的NIQE（自然質(zhì)量評估）、PIQE（基于感知的圖像質(zhì)量評估器）、BRISQUE（無參考圖像空間質(zhì)量評估器）對圖像質(zhì)量指標(biāo)進行對比結(jié)果，如表1、表2所示。

表1 有參考圖像質(zhì)量評估Tab.1 Quality Evaluation with Reference Image

表2 無參考圖像質(zhì)量評估Tab.2 Evaluation of Image Quality Without Reference

從表1、表2結(jié)果中可以看出，在相同的條件下，這里的算法能得到較好的客觀評價，增強效果更接近真實圖像。雖然BIMEF算法在NIQE和BRISQUE圖像指標(biāo)上比這里低，但從視覺上這里算法的整體飽和度與細(xì)節(jié)特征更佳。

5 結(jié)論

提出了一種Retinex理論和神經(jīng)網(wǎng)絡(luò)分析相結(jié)合的方法，解決飛行器航拍時因圖像質(zhì)量差而引起的目標(biāo)識別困難問題。基于U-net框架，構(gòu)建了針對低照度下失真圖像分析和識別的具備深度學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)架構(gòu)。該架構(gòu)在低照度目標(biāo)識時，考慮了基于Retinex理論的光照增強因子。在利用開源的visDrone圖像集解對該神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練的基礎(chǔ)上，應(yīng)用PyCharm和OpenCV開發(fā)了低照度下航拍圖像的圖像增強系統(tǒng)。為驗證這里提出的增強方法以及所開發(fā)的低照度圖像識別系統(tǒng)在實際應(yīng)用時的可靠性，本研究搭建的無人機平臺。該系統(tǒng)在無人機平臺上的測試效果良好。另外，這里提出的圖像增強方法和其它幾種方法做了對比，結(jié)果顯示這里的方法圖像整體增強效果要更好。