基于DenseNet的紅外圖像熱斑狀態(tài)分類(lèi)研究

賈帥康，白英君，孫海蓉，曹瑤佳

（1.華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003；2.華北電力大學(xué)河北省發(fā)電過(guò)程仿真與優(yōu)化控制技術(shù)創(chuàng)新中心，河北 保定 071003）

0 引言

隨著傳統(tǒng)化石能源面臨著諸多如資源不可再生、環(huán)境污染的問(wèn)題，而在新能源領(lǐng)域如太陽(yáng)能，由于其環(huán)保、分布區(qū)域廣等優(yōu)點(diǎn)在能源產(chǎn)業(yè)結(jié)構(gòu)的比重逐漸增加，使得新能源領(lǐng)域光伏發(fā)電產(chǎn)業(yè)迅速發(fā)展。然而，在產(chǎn)業(yè)規(guī)模擴(kuò)大的同時(shí)，光伏組件系統(tǒng)的安全運(yùn)行也越來(lái)越受到研究人員的關(guān)注。當(dāng)光伏組件受到物體的遮擋后，受其特性的影響，遮擋部分所在的電池片流過(guò)的電流變小，在其他串聯(lián)電池片的影響下，成為負(fù)載，并將其他電池片產(chǎn)生的能量以熱量的形式消耗掉，這就是熱斑效應(yīng)［1］。為保證光伏發(fā)電的安全有效運(yùn)行，對(duì)光伏發(fā)電系統(tǒng)進(jìn)行可靠的故障檢測(cè)就尤為重要［2］。由于熱斑會(huì)以熱量的形式消耗能量，導(dǎo)致其與周?chē)碾姵仄瑫?huì)出現(xiàn)溫度上的巨大差異，因此可借助紅外熱像儀判斷熱斑。關(guān)于利用紅外圖像進(jìn)行熱斑檢測(cè)已有不少學(xué)者進(jìn)行了相關(guān)實(shí)驗(yàn)和研究。文獻(xiàn)［3］通過(guò)分析紅外圖像的溫度線輪廓以及灰度直方圖特征，得出熱斑與特定的不連續(xù)電池片相關(guān)的結(jié)論。文獻(xiàn)［4］提出利用圖像處理的方法，采用Canny 邊緣檢測(cè)算子檢測(cè)熱斑模塊及其相關(guān)故障。文獻(xiàn)［5］提出一種利用無(wú)人機(jī)技術(shù)采集數(shù)據(jù)的熱斑識(shí)別方法，通過(guò)統(tǒng)計(jì)學(xué)的方法區(qū)分異常狀態(tài)的光伏組件。

近年來(lái)，深度學(xué)習(xí)大放光彩，在各個(gè)研究領(lǐng)域都取得了優(yōu)異的表現(xiàn)，文獻(xiàn)［6］利用卷積神經(jīng)網(wǎng)絡(luò)將預(yù)處理好的光伏紅外圖像的熱斑進(jìn)行訓(xùn)練測(cè)試。文獻(xiàn)［7］利用VGG16 對(duì)Faster RCNN 進(jìn)行初始化，并在制作的數(shù)據(jù)集上進(jìn)行訓(xùn)練微調(diào)。在實(shí)際中，熱斑區(qū)域面積偏小，上述研究工作未能充分利用熱斑的細(xì)微特征，為進(jìn)一步提高準(zhǔn)確率，提出一種基于深度學(xué)習(xí)DenseNet模型的方法，在原有的DenseNet（Densenet-40-12）網(wǎng)絡(luò)基礎(chǔ)上改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，并將原模型的損失函數(shù)更換為Focal 損失函數(shù)，增強(qiáng)網(wǎng)絡(luò)中對(duì)熱斑的學(xué)習(xí)能力，提高模型分類(lèi)準(zhǔn)確率。

1 數(shù)據(jù)采集及預(yù)處理

模型訓(xùn)練所采用的數(shù)據(jù)集，來(lái)源于某光伏電場(chǎng)。將采集的光伏紅外圖像進(jìn)行規(guī)則裁剪，經(jīng)篩選整理后，分為8個(gè)類(lèi)別，共計(jì)1 011幅圖像，每幅圖像僅包含一塊電池片。數(shù)據(jù)集圖像根據(jù)光伏板的不同狀態(tài)劃分為類(lèi)型白、類(lèi)型紅、類(lèi)型黃、類(lèi)型黃綠相接、類(lèi)型藍(lán)、類(lèi)型藍(lán)綠相接、類(lèi)型綠和類(lèi)型湛藍(lán)8種。區(qū)分依據(jù)如下。

1）類(lèi)型白：圖像整體呈紅白色，光伏板溫度高，狀態(tài)異常，為重度熱斑隱患狀態(tài)。

2）類(lèi)型紅：圖像整體呈紅色，光伏板溫度較熱，狀態(tài)有異常，為中度熱斑隱患狀態(tài)。

3）類(lèi)型黃：圖像整體呈黃色，光伏板較正常工作狀態(tài)溫度略高，狀態(tài)較正常，為輕度熱斑隱患狀態(tài)。

4）類(lèi)型黃綠相接：圖像主要為黃色與綠色點(diǎn)相互黏合在一起，在電池片邊緣，綠色點(diǎn)一般呈不規(guī)則的絮帶狀分布，狀態(tài)較正常，黃色點(diǎn)聚集區(qū)為重度熱斑隱患危險(xiǎn)狀態(tài)。

5）類(lèi)型綠：圖像整體呈淺綠色或者綠色，光伏板溫度正常，狀態(tài)較正常，為中度熱斑隱患危險(xiǎn)狀態(tài)。

6）類(lèi)型藍(lán)綠相接：圖像主要為藍(lán)色與綠色點(diǎn)相互黏合在一起，圖像上層以藍(lán)色絮狀物為主，圖像下層為綠色，狀態(tài)較正常，為輕度熱斑隱患危險(xiǎn)狀態(tài)。

7）類(lèi)型藍(lán)：圖像整體呈藍(lán)色，一般會(huì)有輕微的白色或者湛藍(lán)色絮狀物在藍(lán)色上層顯示，光伏板溫度較低，狀態(tài)正常，為熱斑潛伏狀態(tài)。

8）類(lèi)型湛藍(lán)：圖像整體呈湛藍(lán)色，光伏板溫度低，狀態(tài)正常，為光伏組件正常工作狀態(tài)。

為獲取模型有效輸入，對(duì)構(gòu)建的數(shù)據(jù)集圖像進(jìn)行如下預(yù)處理：1）為降低卷積運(yùn)算的計(jì)算量，提高模型的訓(xùn)練速度，對(duì)模型輸入圖像的大小進(jìn)行適應(yīng)調(diào)整（針對(duì)提出模型設(shè)置圖像大小為32×32（寬32 像素，高32 像素），其余對(duì)比模型的輸入圖像大小為默認(rèn)大小），對(duì)不足模型輸入大小的圖像部分進(jìn)行填充、對(duì)超出的區(qū)域進(jìn)行像素壓縮，使之符合模型的輸入尺寸；2）為增加數(shù)據(jù)集的樣本量，避免模型因訓(xùn)練樣本小導(dǎo)致模型過(guò)擬合，提高模型的魯棒性，對(duì)圖像分別進(jìn)行隨機(jī)旋轉(zhuǎn)（旋轉(zhuǎn)的最大角度設(shè)置為30°）、隨機(jī)水平移動(dòng)和隨機(jī)垂直移動(dòng)（平移設(shè)置的最大距離為圖像寬或高的0.2 倍）、隨機(jī)縮放、隨機(jī)水平和隨機(jī)豎直翻轉(zhuǎn)等操作來(lái)實(shí)現(xiàn)數(shù)據(jù)集的擴(kuò)充工作。

2 Densenet 神經(jīng)網(wǎng)絡(luò)

DenseNet［8］（Dense Convolutional Network）是2017 年由何凱明等人提出的一種深度卷積神經(jīng)網(wǎng)絡(luò)，DenseNet 在思想上借鑒了ResNet［9］模型結(jié)構(gòu)，通過(guò)設(shè)置特征復(fù)用［10-11］和旁路連接，保證輸入信息在網(wǎng)絡(luò)模型層與層之間最大程度地傳輸，能夠有效將圖像的原始特征傳遞給后層各個(gè)網(wǎng)絡(luò)，保障了每一層都可以直接連接輸入層和損失層，能有效避免網(wǎng)絡(luò)過(guò)深而使得模型訓(xùn)練效果變差的現(xiàn)象，整體的網(wǎng)絡(luò)結(jié)構(gòu)變得十分稠密。

2.1 DenseNet網(wǎng)絡(luò)

DenseNet 神經(jīng)網(wǎng)絡(luò)主要由多個(gè)緊密塊以及過(guò)渡層堆疊而成，如圖1 所示。每個(gè)緊密塊內(nèi)，第L層所得到的特征圖是將此層前面所有的前向特征圖進(jìn)行連接后再通過(guò)卷積核卷積的結(jié)果，如式（1）所示。

式中：XL為第L層的輸出；HL（［X0，X1，…，XL-1］）為網(wǎng)絡(luò)非線性變換（包含批歸一化，線性整流函數(shù)（ReLU）和卷積層（Conv）操作）；（［X0，X1，…，XL-1］）對(duì)各層特征圖進(jìn)行連接的操作，則L層的網(wǎng)絡(luò)就會(huì)有L(L+1)/2個(gè)連接。

圖1 DenseNet模型結(jié)構(gòu)

DenseNet 網(wǎng)絡(luò)中增加了兩個(gè)超參數(shù)，第一個(gè)稱(chēng)之為生長(zhǎng)率，是Block 內(nèi)經(jīng)過(guò)卷積層后輸出的特征圖個(gè)數(shù)k；第二個(gè)是Block 中卷積的層數(shù)L。如果產(chǎn)生k個(gè)特征映射，經(jīng)過(guò)第L層的緊密塊，其輸出的通道數(shù)的計(jì)算方法如式（2）所示。

式中：S0為Block的輸入通道數(shù)，SOUT為輸出通道數(shù)。

由于密集神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)其稠密性的特點(diǎn)，特征圖的數(shù)量會(huì)逐級(jí)增長(zhǎng)，為減少特征圖的數(shù)量，設(shè)置的卷積核于每個(gè)緊密塊的卷積之前，DenseNet 模型在相鄰的Dense Block之間添加Translation Layer降低網(wǎng)絡(luò)整體參數(shù)量，Translation Layer 由一層卷積層和一層池化層（Pooling Layer）構(gòu)成，使得DenseNet可以學(xué)習(xí)更多的低層次特征，其模型的訓(xùn)練效果也更具泛化能力。

2.2 改進(jìn)的DenseNet網(wǎng)絡(luò)

基于DenseNet（L=40，k=12，即每個(gè)block 中有40 層，每層卷積產(chǎn)生12 個(gè)特征圖）網(wǎng)絡(luò)模型針對(duì)構(gòu)建數(shù)據(jù)集的特點(diǎn)進(jìn)行改進(jìn)，主要改進(jìn)策略為對(duì)構(gòu)建數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)，更改模型的前連接層結(jié)構(gòu)。

2.2.1 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

在DenseNet（L=40，k=12）網(wǎng)絡(luò)基礎(chǔ)上保留原有的Block 模塊，并在模型全連接層之后增加一層全連接層和Dropout 層，全連接層神經(jīng)元個(gè)數(shù)為64，Dropout層設(shè)置系數(shù)為0.25。模型自動(dòng)學(xué)習(xí)紅外光伏圖像的底層到高層的特征信息，并在全連接層進(jìn)行特征整合，最后通過(guò)SoftMax 分類(lèi)器進(jìn)行故障狀態(tài)的識(shí)別判斷。

2.2.2 Focal-Loss損失函數(shù)

在深度學(xué)習(xí)中，損失函數(shù)用于評(píng)估樣本在神經(jīng)網(wǎng)絡(luò)運(yùn)算后其模型的預(yù)測(cè)值與標(biāo)簽真實(shí)值的不一致情況。研究表明，在相同實(shí)驗(yàn)下，不同的損失函數(shù)表征相同的模型性能時(shí)也不盡相同，因此，合理選用損失函數(shù)對(duì)深度學(xué)習(xí)模型的性能有一定的影響［12］。DenseNet 網(wǎng)絡(luò)使用的是交叉熵?fù)p失函數(shù)（Cross Entropy Loss），如式（4）所示。

式中：y∈｛0，1｝是真實(shí)標(biāo)簽；是預(yù)測(cè)值。

由于構(gòu)建的樣本數(shù)據(jù)集類(lèi)別具有不平衡的特點(diǎn)，為提高模型分類(lèi)效果，采用Focal-Loss［13］對(duì)數(shù)據(jù)集進(jìn)行校正，對(duì)難分類(lèi)樣本加大權(quán)重，對(duì)易分類(lèi)樣本減輕權(quán)重，使模型多關(guān)注難分類(lèi)的樣本。如式（5）所示。

式中：α（1-pt）γ為交叉熵?fù)p失函數(shù)對(duì)應(yīng)的權(quán)重；pt為特征值屬于第t類(lèi)的預(yù)測(cè)概率；γ相當(dāng)于懲罰項(xiàng)；α∈［0，1］，表示權(quán)重因子，用來(lái)平衡難分類(lèi)和易分類(lèi)樣本的重要性。依據(jù)文獻(xiàn)［13］實(shí)驗(yàn)，設(shè)置超參數(shù)γ為2，α為0.5。實(shí)驗(yàn)結(jié)果表明，F(xiàn)ocal Loss通過(guò)改變損失函數(shù)的非線性度，從而使模型訓(xùn)練中針對(duì)難分類(lèi)的樣本會(huì)進(jìn)行自動(dòng)學(xué)習(xí)調(diào)整，解決了數(shù)據(jù)集樣本本身不平衡的特點(diǎn)，提升模型分類(lèi)精度。

2.3 遷移學(xué)習(xí)

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練往往需要大規(guī)模的樣本，才能使模型訓(xùn)練出較好的分類(lèi)效果，而當(dāng)訓(xùn)練樣本不夠充分時(shí)，通常模型效果會(huì)不夠理想，可以考慮通過(guò)遷移學(xué)習(xí)，獲取非目標(biāo)圖像的基本特征，改善模型效果。通過(guò)采用遷移學(xué)習(xí)［14］的方式，將模型在圖像數(shù)據(jù)集CIFAR 10［15］進(jìn)行預(yù)訓(xùn)練，得到的權(quán)重參數(shù)遷移到構(gòu)建的數(shù)據(jù)集中進(jìn)行微調(diào)訓(xùn)練，模型的所有層都參與方向傳播的參數(shù)更新，以進(jìn)一步學(xué)習(xí)構(gòu)建數(shù)據(jù)集的特征信息。

2.4 模型評(píng)價(jià)指標(biāo)

模型使用在圖像分類(lèi)領(lǐng)域中常用的平均準(zhǔn)確率Acc 評(píng)價(jià)指標(biāo)，作為評(píng)估模型分類(lèi)結(jié)果的評(píng)判依據(jù)，計(jì)算表達(dá)式如式（6）所示［16］。

式中：nc為數(shù)據(jù)集的類(lèi)別數(shù)，此處為8；t為數(shù)據(jù)集類(lèi)別的標(biāo)簽值（取值范圍1～8）；nt為類(lèi)別標(biāo)簽為t的樣本數(shù)目；ntt為模型預(yù)測(cè)類(lèi)別t正確的個(gè)數(shù)。

2.5 模型參數(shù)設(shè)置

模型采用批量訓(xùn)練的方法，每批次送入神經(jīng)網(wǎng)絡(luò)16 幅圖像，即模型每次迭代處理圖像個(gè)數(shù)16 張。設(shè)置迭代輪數(shù)為20，每輪迭代125 次，其初始學(xué)習(xí)率設(shè)置為0.001。

3 實(shí)驗(yàn)結(jié)果與分析

本文所有實(shí)驗(yàn)均使用Tensorflow 作為后端的Keras 深度學(xué)習(xí)框架搭建，利用Python3.7 進(jìn)行編程，其處理器為Intel（R）Xeon（R）Platinum 8259CL CPU@2.50 GHz，內(nèi)存大小為8 GB。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

數(shù)據(jù)集經(jīng)過(guò)篩選后得到總樣本數(shù)為1 011幅，其中訓(xùn)練集大小為671 幅，測(cè)試集大小為340 幅，不同數(shù)據(jù)集類(lèi)型中各個(gè)類(lèi)別樣本數(shù)據(jù)集的分布如圖2 所示，各個(gè)類(lèi)別的樣本數(shù)分布不均衡，可能會(huì)導(dǎo)致模型在識(shí)別不同類(lèi)別時(shí)存在偏差，因此將訓(xùn)練集數(shù)據(jù)增強(qiáng)3 倍，最終數(shù)據(jù)集擴(kuò)充至3 025 幅圖像，其中訓(xùn)練集大小為2 684 幅，測(cè)試集大小為341 幅，部分?jǐn)?shù)據(jù)增強(qiáng)效果如圖3所示。

圖2 數(shù)據(jù)分布效果

圖3 數(shù)據(jù)增強(qiáng)部分效果

3.2 模型分類(lèi)準(zhǔn)確率

為驗(yàn)證本方法的有效性，將不同模型采用相同的實(shí)驗(yàn)參數(shù)，給出對(duì)比實(shí)驗(yàn)結(jié)果，各個(gè)模型準(zhǔn)確率對(duì)比如表1所示。

表1 各模型準(zhǔn)確率對(duì)比

表1 中DenseNet 表示原始的DenseNet 模型，DenseNet+Focal-Loss 表示使用Focal-Loss 損失函數(shù)的DenseNet 模型，DenseNet+Focal-Loss+遷移學(xué)習(xí)表示使用Focal-Loss 損失函數(shù)和遷移學(xué)習(xí)的DenseNet模型。表1 的結(jié)果表明：改進(jìn)后的DenseNet 模型取得了最好的分類(lèi)準(zhǔn)確率，比其余DenseNet（損失函數(shù)選擇交叉熵）、DenseNet+Focal-Loss（損失函數(shù)使用Focal-Loss）模型提高5%～7.06%，改進(jìn)模型結(jié)構(gòu)后，通過(guò)采用Focal-Loss，模型的分類(lèi)效果繼續(xù)提升，這說(shuō)明Focal-Loss 損失函數(shù)能夠有效改善數(shù)據(jù)集樣本的不平衡性，提升模型分類(lèi)精度，模型在遷移學(xué)習(xí)后，模型精度進(jìn)一步提高，表明選用的權(quán)重參數(shù)能夠有效學(xué)習(xí)圖像的基本特征，有效防止模型的過(guò)擬合的風(fēng)險(xiǎn)。

3.3 模型穩(wěn)定性

各個(gè)模型在20 輪迭代過(guò)程中測(cè)試集上的準(zhǔn)確率與損失函數(shù)的變化情況如圖4 和圖5 所示。圖4結(jié)果表明，改進(jìn)后的模型，雖然在初始迭代過(guò)程中的準(zhǔn)確率較低，但隨著模型的不斷訓(xùn)練，模型的穩(wěn)定性較好，由圖5 可知，改進(jìn)后模型的損失函數(shù)的波動(dòng)問(wèn)題有了較好的改善，證明了在小樣本數(shù)據(jù)集中利用遷移學(xué)習(xí)的方法是可行的。

圖4 不同模型測(cè)試集準(zhǔn)確率對(duì)

圖5 不同模型測(cè)試集損失函數(shù)對(duì)比

4 結(jié)語(yǔ)

提出的基于改進(jìn)的密集連接神經(jīng)網(wǎng)絡(luò)的方法，避免傳統(tǒng)深度學(xué)習(xí)需要進(jìn)行復(fù)雜的特征提取，節(jié)省了訓(xùn)練時(shí)間；所采用的Focal-Loss 損失函數(shù)，對(duì)分布不均衡的樣本具有良好的效果，由網(wǎng)絡(luò)的輸出和真實(shí)的偏差決定分類(lèi)樣本的權(quán)重，實(shí)現(xiàn)網(wǎng)絡(luò)自適應(yīng)調(diào)整，模型能夠得到有效的訓(xùn)練，大大增強(qiáng)了模型的泛化能力，提高分類(lèi)效果，改進(jìn)后的DenseNet-40-12網(wǎng)絡(luò)能夠更好地處理紅外光伏圖像，并通過(guò)數(shù)據(jù)增強(qiáng)的方法，使得模型能夠得到有效的訓(xùn)練，實(shí)驗(yàn)結(jié)果證明所提方法具有較高的識(shí)別準(zhǔn)確率，并且具有較強(qiáng)的魯棒性和泛化能力。