基于LSGAN及遷移學習的智慧工地監控圖像修復和識別方法

張 濤， 劉 剛， 朱冀濤， 徐曉雨， 徐 巖

(1. 國網遼寧省電力有限公司，遼寧 沈陽 110003; 2. 國網遼寧省電力有限公司建設分公司，遼寧 沈陽 110003;3. 華北電力大學電氣與電子工程學院，河北 保定 071003)

0 引 言

隨著我國城市化進程的不斷推進以及信息技術的不斷發展，建筑行業項目監管模式也在不斷創新[1]?，F階段主要需求為實現大型工地數據智能分析，提高施工現場管理的“智慧化”水平，實現項目科學管理，使得工程項目效益和價值最大化。通過將視頻監控接入智慧工地平臺，幫助管理人員遠程實時了解現場情況，可以達到降本增效的管理目的[2]。施工現場視頻監控的全覆蓋性可以為施工過程中危險違規行為識別提供基礎，然而由于視頻監控攝像頭位置固定，施工現場環境復雜，拍攝圖像中可能會出現模糊、多姿態及遮擋等問題，導致圖像識別過程中出現誤檢、漏檢等情況，所以模糊目標檢測及行為識別是當前亟待解決的問題。

目標檢測的目的在于尋找定位視頻或者圖像中是否存在特定的目標物體。在計算機視覺中，目標模糊現象是非常普遍的存在，而模糊圖像修復是圖像識別的前提，圖像識別準確率與修復程度成正相關，修復效果越好識別準確率越高[3]。文獻[4]提出利用卷積神經網絡結合泊松融合方法對缺失區域進行復原，該方法修復效果較真實，但是參數模型訓練過程易出現梯度彌散現象；文獻[5]提出一種基于區域分解與合成的目標檢測方法，首次分割候選區域，然后整合RoI值高的區域，利用多尺度候選區域增強圖像語義，為得到可靠特征，增加無遮擋部分特征的權重值；文獻[6]提出一種生成式對抗網絡結構(generative adversarial net, GAN)，通過生成器與判別器的零和博弈生成接近真實數據分布的合成數據。以上方法主要針對未被遮擋區域進行特征提取與分類，如果圖像缺失嚴重時，網絡模型檢測準確度就會大大降低。

針對以上問題，本文從修復模糊圖像特征的角度出發，提出一種基于最小二乘生成式對抗網絡(least squares generative adversarial networks,LSGAN)及遷移學習的監控圖像修復和識別方法，用以實現建筑工地科學智慧管理。該方法首先使用樣本數據集對網絡模型進行預訓練，通過生成式對抗網絡對模糊圖像目標特征進行恢復，獲得完整清晰的監控圖像；然后引入遷移學習思想，利用ImageNet數據集訓練好的GoogLeNet模型對修復后的圖像進行自適應特征提取，通過GoogLeNet網絡提取的更可靠的特征可以有效提高分類準確率；最后采用長短期記憶(long short-term memory,LSTM)神經網絡對圖像中目標特征進行檢測與分類，快速判別監控圖像中是否存在安全隱患，以此可以減小事故發生概率，有效保證施工安全、人身安全等。

1 基于LSGAN的圖像復原

生成式對抗網絡(GAN)是一種新型無監督學習的機器學習算法，其核心思想在于零和博弈[7]。GAN核心組成部分為生成器(generator)與判別器(discriminator)，其中，生成器主要負責學習真實數據的潛在特征，而后根據學習到的特征生成新樣本數據；判別器為二分類器，主要用于判別生成數據與真實數據的差異，并最大化判別準確率。訓練GAN網絡的目的在于使生成數據概率分布和真實數據無限接近，從而擬合得到真實數據[8-9]。GAN模型結構示意圖如圖1所示。在圖1中，G(z, θg) 為具有多層感知功能的生成器，D(x, θd)為具有分類功能的判別器，θg，θd分別代表生成器和判別器內的參數。生成器和判別器相似于卷積神經網絡，在網絡訓練過程中可以不斷迭代學習，自動更新內部參數。

圖1 生成式對抗網絡結構示意圖

訓練過程中，用pdata(x)表示真實數據分布，pg(x)表示假數據分布，pz(x)表示噪聲分布，生成器不斷學習提高欺騙判別器的能力，即學習最小化lg(D(x)+lg(1-D(G(z)))。同時，判別器不斷學習提高區分偽造圖與真實圖的能力，即學習最大化lg(D(x)+lg(1-D(G(z)))。生成器和判別器的博弈過程可以描述為：

當生成器固定時，若函數V(D,G)取得最大值時，需滿足如下條件：

生成器在 m axDV(G,D)中取最小值時，整個網絡達到納什均衡，即：

當且僅當pdata(x)=pg(x)時 ，取得最小值。

達到納什均衡后生成器生成的圖片與真實數據幾乎一致，香農散度為0，C(G)取得全局最小值。

但是，一般的生成式對抗網絡判別器的損失函數為Sigmoid函數，Sigmoid交叉熵損失函數主要用于判別輸入的圖片是否準確區分，對于生成圖像分類情況不做懲罰，導致訓練過程中容易出現梯度消失情況。文獻[10]提出一種最小二乘生成式對抗網絡，該網絡生成器和判別器的損失函數由原來的交叉熵損失函數優化為最小二乘函數。

生成器損失函數為：

判別器損失函數為：

式中：a——生成圖標簽；

b——真實圖標簽；

c——生成器期望判別器對生成圖判別的標簽。

當pdata(x)=pg(x)時，網絡達到納什均衡。

網絡中的最小二乘損失函數可以在判別器分類錯誤的情況下依然提供學習誤差，如果判別器分類準確，最小二乘損失函數可以對遠離決策邊界的點進行懲罰，使判別器具有強辨別力，可以有效減小梯度消失現象，增加網絡穩定性，提高網絡收斂速度及訓練處理速度。

2 基于遷移學習與LSTM的目標檢測與識別

2.1 遷移學習

卷 積 神 經 網 絡(convolutional neural network,CNN)是一種深度學習模型[11]，它可以通過各層級高效提取圖像的深層特征，目前廣泛應用于人臉識別、目標檢測、語義分割等領域。CNN由輸入層、卷積層、池化層、全連接層、輸出層等構成，其基本結構如圖2所示。目前常見的CNN網絡架構包括VGG、AlexNet、GoogLeNet等。

圖2 卷積神經網絡的基本結構

遷移學習(transfer learning)的主要思想為把已經訓練好的模型（預訓練模型）參數遷移到新的模型中幫助新模型訓練求解。應用遷移學習的網絡模型優勢在于數據依賴性小、網絡訓練速度快及學習效率高。GoogLeNet網絡模型作為一種典型的遷移學習模型，共有22層，該網絡神經元個數較多，所以對于樣本數據的抽象特征提取能力很強，并且該網絡的3個Loss值可以進行不同層的輸出。GoogLeNet網絡模型結構如圖3所示。

圖3 GoogLeNet網絡模型結構圖

GoogLeNet模型的核心在于Inception Module。Inception Module采用NIN(Network in Network)思想[12]，該模塊是一種網中網結構，它既可以增加網絡深度，又可以增加網絡寬度。Inception Module結構如圖4所示。Inception結構中多尺度卷積核與池化層并行排列，所以Inception模塊可以實現多尺度局部特征提取。其中多個1×1的卷積核可以有效提升卷積感受野，有利于提取更豐富的局部特征，同時通過降維加快網絡訓練速度。利用遷移學習的思想可以避免超參數的設置，減少人為因素的影響，使整個網絡提取特征更加智能化。

圖4 Inception Module

本文主要進行工地監控視頻的目標檢測與識別，由于施工環境復雜程度高，特征豐富，識別難度較大，根據樣本特點選擇GoogLeNet網絡模型作為訓練模型。網絡訓練輸入為圖像像素值，特征提取函數為：

式中：w——權重值；

bk——偏置量。

采用不飽和非線性激活函數ReLU函數，表達式為：

利用航拍的工地圖像訓練已預訓練的GoogLeNet網絡，通過該網絡提取圖像特征，可以加快網絡的訓練過程，并且能夠避免整個辨識系統陷入局部最優解。

2.2 LSTM神經網絡

長 短時記憶(long short-term memory, LSTM)神經網絡是一種新型深度學習神經網絡[13]。其訓練過程采用多門協作方式，神經網絡中的記憶單元可以使記憶信息在時間上可控，網絡中的長滯留架構可以提高訓練過程的魯棒性，且使得梯度不會爆炸和消失[14-15]。LSTM神經網絡單元主要結構如圖5所示。從圖可以看出，LSTM神經網絡主要組成部分為輸入門、遺忘門和輸出門。

圖5 LSTM神經單元結構圖

1) 輸入門：主要用于控制輸入信息的讀??；首先保存輸入信息為細胞狀態it，其次將新信息與細胞狀態gt結合產生新記憶狀態ct，此運算過程為：

2) 遺忘門：主要作用是計算信息的遺忘程度，遺忘門內的數據經過sigmoid函數處理，僅輸出0或1，0代表全部遺忘，1代表全部保留。

3) 輸出門：主要負責判斷是否輸出新的胞信息。

式中：x——輸入向量；

y——輸出向量；

W——待訓練參數。

GoogLeNet-LSTM網絡既具有從圖像中提取局部特征的優勢(GoogLeNet網絡)，同時具有序列中連接所提取特征的遞歸神經網絡的優勢(LSTM網絡)。GoogLeNet-LSTM網絡結合了兩者的優勢，預測效果上優于單一網絡。

3 智能系統識別流程

相比傳統的模式識別方法，通過遷移學習的方式實現模式識別，不需要手工地從數據中挖掘特征。通過航拍工地圖像訓練已預訓練的GoogLeNet網絡可以不用事先設定超參數，避免網絡過擬合或陷入局部最優解。將提取出來的特征輸入到LSTM中，利用其核心公式，構建判別特征模型，在R-CNN框架下實現智慧工地智能系統的識別。整個系統的智能檢測流程如圖6所示。詳細步驟描述如下：

圖6 智慧工地智能檢測流程圖

1) 利用LSGAN的生成器與判別器的相互博弈對拍攝的模糊圖像進行復原。

2) 通過Selective Search方法，將圖像分割成2000個候選區域。

3) 利用GoogLeNet網絡對每個候選區域自主挖局圖像的特征向量。

4) 將得到的特征向量輸入到LSTM分類器中，判別特征向量屬于哪一個類別。

5) 使用回歸器對候選框的位置進行精細修正，實現智慧工地智能檢測。

4 實驗結果與分析

4.1 實驗環境與準備

實驗平臺為Windows10操作系統，CPU為AMD Ryzen 5 3600，GPU為NVIDIA RTX 2060 s，內存16 GB，編程軟件為Matlab R2020a。選取5000張施工現場圖像作為數據集，隨機選取4000張圖像作為訓練集，800張作為測試集，200張作為驗證集。

4.2 LSGAN圖像復原實驗分析

LSGAN中生成器網絡采用全卷積結構，其網絡結構參數如表1所示。6個卷積層處理圖像特征，引入2個殘差模塊進行特征轉換，同時可以避免網絡訓練過程中梯度消失和退化問題，每個殘差模塊包含兩個1×1的卷積層，每一個卷積層后使用ReLU函數作為激活函數。

表1 生成器網絡結構參數

鑒別器由卷積層和全連接層構成，網絡層具體參數如表2所示，激活函數采用LeakyReLU函數，全連接層單元數為4 096、1 024、1。

表2 鑒別器網絡結構參數

LSGAN損失函數變化曲線如圖7所示，從圖中可以看出，LSGAN中生成器和判別器的損失函數隨著網絡迭代次數的增加，呈現出快速下降趨勢，并在最后有小幅度波動，這表明網絡穩定性較好，收斂速度快，整體訓練過程達到了納什均衡的狀態。

圖7 LSGAN損失函數變化趨勢

為了更加直觀地顯示圖像復原效果，圖8給出了維納濾波處理(Wiener filtering processing, WFP)、約束最小二乘濾波處理(constrained least squares filtering processing, CLSFP)和LSGAN處理3種圖像復原方法的結果。從主觀視覺上可以看出，3種方法在圖像清晰度上都有所提升，但是LSGAN的圖像復原效果在視覺上更好，可以較好地對模糊圖像進行去模糊化處理。

圖8 不同方法下的圖像復原結果

通 過 峰 值 信 噪 比(peak signal to noise ratio,PSNR)和 結 構 相 似 性(structural similarity index,SSIM)對實驗結果進行客觀評價，所得結果如表3所示。PSNR越高，代表兩張圖片越相似。SSIM是通過亮度和對比度等信息對圖像的相似性進行評價。由表可以看出，LSGAN的兩種評價指標均高于其他兩種方法。利用LSGAN復原后的圖像可以保證圖像的清晰度和圖像的重要信息，為后續的深度學習分類打下了良好的基礎。

表3 不同圖像復原方法的客觀評價指標

表4給出了不同樣本數量下去模糊和不去模糊的平均準確率對比結果。由表可知，隨著訓練樣本數目的增多，平均確率逐漸上升，且圖像去模糊化的準確率明顯高于圖像不去模糊的準確率，準確率可以達到99%以上。

表4 不同樣本數量下平均準確率

4.3 GoogLeNet-LSTM下的識別結果

圖9為GoogLeNet網絡的整體訓練過程。由圖可知，訓練樣本的準確率曲線逐漸上升最終達到100%，且驗證樣本的準確率曲線也穩定達到100%。訓練樣本的損失函數曲線從高位迅速下降到低位，并最終趨于0，驗證樣本的損失函數曲線也最終趨于0。以上說明整個網絡訓練良好，并且沒有出現過擬合現象。

圖9 GoogLeNet網絡的訓練過程

利用第3節的智能系統識別流程對工地工人是否正確佩戴安全帽進行辨識定位，圖10顯示了不同背景、不同光照、不同拍攝角度和不同拍攝距離下的安全帽辨識定位視覺檢測效果。圖10用綠色框框出被檢測目標，可以看出，所提方法能夠在不同條件下準確識別出工人是否佩戴安全帽。

圖10 安全帽智能識別結果

圖11為抽煙目標檢測結果，圖中的百分比代表屬于該類別的概率，可以看出此時綠色框的三個抽煙人體目標均被準確檢測。本文方法還可以對工人是否穿工服，是否佩戴安全手套進行檢測，為工地管理提供一種新的機制。

圖11 抽煙識別結果

5 結束語

針對工地巡檢圖像模糊難以有效完成智能監督，提出一種基于最小二乘生成式對抗網絡和GoogLeNet-LSTM的智慧工地監控圖像修復和識別方法，得出以下結論：

1)通過LSGAN算法復原圖像，可以將工地巡檢模糊圖像變得清晰，主觀視覺效果好，客觀評價指標高，有利于后續通過深度學習實現智能監控打下良好基礎，利用復原后的圖像較用模糊圖像的辨識準確率要高。

2)利用GoogLeNet網絡可以自主挖掘圖像特征信息，避免了人工選取特征向量，擁有更好的智能性。LSTM對GoogLeNet提取的特征向量進行分類，具有較高的準確率。

本文方法可以準確地標注和定位圖像中待檢測目標，為工地智能巡檢提供一種新的機制，可以提高工人們的安全意識，有效地預防安全事故的發生。