基于U-P-Net的手機玻璃屏幕缺陷分割

李 墨，陳志豪，張 勰

(1.廣東工業大學 計算機學院，廣州 510006；2.廣東工業大學 自動化學院，廣州 510006；3.華南理工大學 電力學院，廣州 510641)

0 引言

隨著科技的不斷進步及工業的快速發展，玻璃制品已經成為眾多行業中不可或缺的重要組成部分。玻璃作為一種需求量日益增加的特殊材料，細微缺陷就會影響其機械特性和光學性質，從而降低甚至破壞玻璃產品的使用價值。因此，玻璃外觀質量檢測是玻璃質量檢測中最重要的環節，這也是保證產出高品質、高性能的玻璃產品的關鍵環節。傳統的玻璃面板缺陷檢測方法主要依賴于高級技工的人工檢驗。隨著玻璃生產制造需求逐漸增大，傳統的人工檢驗方法無法滿足高速生產帶來的龐大的質量檢測需求，因此發展高質量的自動化玻璃缺陷檢測系統變得尤為重要。隨著人工智能技術的發展，許多大型企業在玻璃面板缺陷檢測中引入機器視覺方法代替人工檢測，以提高企業的產品質量和生產效率。但機器視覺的應用也存在一些弊端，它不僅需要針對特定的應用場景定制，無法適應一系列復雜動態的工業制造場景，而且缺乏自主學習和技能遷移能力[1-9]。

近年來，在深度學習算法中，基于卷積神經網絡的語義分割方法在缺陷檢測方面得到了廣泛的應用[10-17]。該類方法可以準確提取復雜背景中的特征，快速分割人體肉眼難以識別的不明顯缺陷，從而實現玻璃面板的有效缺陷檢測。2015年，Ronneberger 等[18]提出了一種名為U-Net的網絡，該網絡基于語義分割技術，可以實現對生物醫學圖像進行像素級別的分類。然而此網絡模型的學習參數較多，訓練難度較大，且需要進行大量的圖像標注工作；參考文獻19利用了卷積神經網絡中的VGG Net模型對手機屏幕缺陷進行了檢測，然而該研究發現，在4種主要缺陷的檢測中，漏檢率達到了6%～9%，最高的檢測率僅有94%，這種檢測精度無法滿足相關領域的高要求[19]；針對現有的語義分割方法在面對不規則數據時存在的計算復雜度高、語義特征信息提取不充分問題。提出了一種結合超像素技術與殘差分類網絡的預處理方法，同時，將金字塔池化模塊PPM嵌入到U-Net模型中，構成了一種全流程的新的語義分割方法。

1 關鍵技術

目前的語義分割模型主要存在以下幾個問題：

1)缺陷樣本圖像的高度復雜性和可變性使得提取特征信息具有挑戰，導致分割性能差。

2)由于缺陷樣本圖像的特殊性非目標訓練圖像占用了訓練資源，導致訓練速度變慢，損失函數收斂速度變慢。

3)多變場景時獲取全局信息不充分，造成語義分割時出現不匹配關系、混淆類別和不顯著類別的缺陷誤判，未判和錯判等問題。

本文模型基于經典U-Net模型，對輸入圖像進行數據預處理，并使用PPM對U-Net網絡特征處理層進行融合，有效降低了模型對數據集的依賴，降低模型的訓練復雜度、提高了分割精度和速率。其總體模型框架如圖1所示。

圖1 總體模型框架圖

本文主要關鍵技術如下：

1)由于圖像特征信息的復雜性和可變性使得特征信息的提取具有挑戰性，導致分割性能較差。因此，本文提出采用對輸入圖像進行超像素預處理。超像素[20-22]是一個5維特征向量，它將彩色圖像轉換為CIELAB顏色空間和XY坐標。此外，對5維特征向量構建距離測量準則，對圖像像素進行局部聚類。且SLIC[20]是基于紋理、顏色、亮度等相似的相鄰像素快速生成緊湊干凈的超像素塊，通過構造一個簡單的線性迭代聚類圖像預處理模塊，解決了圖像特征信息復雜多變的問題，使鄰域特征的表示更加容易。它不僅可以降低圖像的維數，還可以捕獲冗余信息，消除像素異常點。

2)由于輸入圖像的特殊性，在語義分割前對缺陷圖像進行分類，能在一定程度上降低后續圖像語義分割的復雜度，提升網絡模型的訓練速度及分割準確率。該方法使用帶有殘差結構ResNet50[23-26]網絡對缺陷圖像進行初步分類。其獨特的殘差結構創建了不同網絡層之間的快速連接(shortcut connection)。它解決了深層網絡中梯度彌散和精度下降(訓練集)的問題，使網絡能夠越來越深，既保證了精度，又控制了速度。

3)全卷積網絡(FCN)的缺點是需要一種合適的策略來利用全局場景分類信息的特征。為了解決上述問題，提出了U-pyramid pooling module-Net(U-P-Net)。該方法引入金字塔池化模塊PPM[27-28]，在4個不同的粗細尺度上進行特征融合，利用多樣化的卷積尺寸，提取到的特征更具多樣性，且能夠聚合不同區域的上下文信息，進一步提高獲取全局信息的能力，避免關系錯誤匹配、類別混淆以及細小對象的類別被忽略問題。

2 模型介紹

該框架由3個模塊組成：SLIC超像素預處理模塊[22]、分類網絡模塊和U-P-Net模塊。每個模塊將在以下部分中詳細描述。

2.1 超像素預處理模塊

手機玻璃屏幕數據集中樣本圖像的高復雜性和高分辨率使得提取特征信息具有挑戰性，導致分割性能較差。考慮到圖像中目標特征的復雜性，采用超像素算法進行圖像預處理。SLIC[22]通過構造一個簡單的線性迭代聚類圖像預處理模塊，解決了圖像特征信息復雜多變的問題。SLIC[22]基于紋理、顏色、亮度等相似的相鄰像素快速生成緊湊干凈的超像素塊，使鄰域特征的表示更加容易。SLIC[20]預處理效果如圖2所示。

圖2 SLIC預處理效果圖

圖3 PPM金字塔池化模塊結構圖

SLIC具體步驟如下：

1)初始化(撒種子)：根據圖像大小及其他參數確定超像素數目，在圖像內均勻分配種子。

2)聚類中心選擇：在聚類中心內計算所有像素點的梯度值，并選擇梯度最小的像素點作為新的聚類中心。

3)分配像素到超像素：每個像素必須與之位置重疊的最近聚類中心之間相關聯，將其分配到間距最近的超像素。

4)距離的度量：包括像素之間的顏色距離和空間距離，其度量方法如下：

(1)

(2)

(3)

(4)

5)迭代過程：重復執行3)和4)，直到超像素中心位置不再發生變化或達到最大迭代次數。

6)聚類優化：解決經過迭代后存在的與聚類中心不屬于同一連通域的孤立像素點。具體步驟為：利用連通算法將相鄰的超像素合并成一個超像素，如果合并后的超像素與某個鄰居超像素的距離小于一定閾值，則將其合并。

2.2 分類網絡模塊

手機玻璃屏幕數據集中存在一些非目標訓練圖像，這些圖像會占用訓練資源，導致訓練速度變慢，并且損失函數的收斂速度也變慢。這種情況會嚴重影響訓練效率和準確性，因此需要采取相應措施來解決非目標訓練圖像對訓練過程的影響，提高訓練效率和準確性。本文選用了一種名為ResNet50[23]的殘差網絡作為手機玻璃屏幕圖像的分類網絡。ResNet50是一種深度殘差網絡，具有易優化、計算負擔小等優點，在計算機視覺領域得到了廣泛的應用。與傳統的卷積神經網絡相比，殘差塊(residual block)的引入是ResNet50解決梯度消失和退化問題的重要方法之一，它有效地提高了網絡的性能。

具體來說，殘差塊通過引入跳躍連接來繞過了某些卷積層和激活函數層，線性層擬合殘差映射，使得神經網絡的信息流能夠更加順暢地傳遞。這種結構的引入使得ResNet50網絡可以更加深層次地學習特征，達到充分訓練底層網絡的效果，同時減輕了梯度消失和過擬合的問題。ResNet50網絡結構如圖4所示，由49個卷積層和1個全連接層組成。其中，第二至第五個階段中的ID BLOCK x2是指包含兩個不改變維度的殘差塊，而CONV BLOCK則是指包含添加維度的殘差塊。每個殘差塊均由3個卷積層組成，因此整個網絡包含49個卷積層。

圖4 ResNet50網絡結構圖

2.3 U-pyramid pooling- Net模塊

手機玻璃屏幕在生產過程中容易受到環境的影響，導致產生氣泡、劃痕、錫灰等各種形狀和大小的缺陷。這些缺陷的語義分割存在關系不匹配、混淆和對象類別小等問題，給模型的準確分割造成了挑戰。為了解決上述問題，提出了U-P-Net模塊。該模塊可以有效地處理這些異形的缺陷，提高語義分割的準確性和可靠性。

U-P-Net的結構如圖5所示。通過在U-Net網絡的主干特征提取部分和增強特征提取部分之間引入了金字塔池化模塊，以進一步提高網絡的性能。該模塊可以將不同大小的特征圖進行池化，從而捕獲更多的上下文信息，提高網絡的感受野和特征表達能力，避免語義分割問題中的誤分類、錯分類、未分類等問題。

圖5 U-P-Net模型結構圖

PPM[27]的結構如圖3所示，是一種多尺度特征融合的方法，其基本原理是在原始特征圖上進行4個不同粗細尺度的池化操作，然后將不同尺度的特征融合在一起，其中最粗尺度產生單格輸出；加細尺度產生多格輸出。金字塔池化會對輸入圖像進行多次下采樣，從而得到不同尺度的特征圖，然后低維特征圖通過雙線性插值進行上采樣，以獲得相同大小的特征圖。最后，將這些特征圖(包括原始特征圖)在通道維度上進行拼接，生成一個綜合了多種尺度信息的復合特征圖，從而達到兼顧全局語義信息與局部細節信息的目的。

U-P-Net具體步驟如下：

1)輸入圖像進入主干特征提取網絡，由兩個3×3的卷積層(RELU)再加上一個2×2的maxpooling層組成一個下采樣的模塊，一共經過4次這樣的操作，得到初步有效特征層feature map；

2)對骨干提取的feature map(channel =N)做池化得到特征金字塔；

3)然后通過1*1深度卷積降通道分別得到1*1，2*2，4*4，6*6的channel = 1/N的特征圖；

4)對特征圖進行雙線性插值填充上采樣到原Feature map尺寸；

5)與Feature map進行通道拼接(也叫級聯)得到channel數增加1倍的特征圖；

6)再利用1*1卷積核將上述拼接后的特征圖深度卷積降通道得到與輸入特征圖Feature通道數一致的結果得到最終的金字塔池化全局特征；

進入加強特征提取部分，由一層反卷積+特征拼接concat+兩個3×3的卷積層(ReLU)反復構成，一共經過4次這樣的操作，對得到的金字塔池化全局特征進行上采樣，并且進行特征融合，最后接一層1*1卷積，降維處理即將通道數降低至特定的數量，獲得一個最終的，融合了所有特征的有效特征層的目標圖。

2.4 損失函數

損失函數是對框架的預測值與實際值不一致的計算。它是非負的實值函數。損失函數越小，框架的訓練性能越好，魯棒性越好。損失函數是訓練結果連續接近實際值時必須使用的函數。其中，損失函數是神經網絡通過梯度下降等方法調整權重參數。本文框架中使用的損失函數為加權交叉熵損失函數：

E=∑x∈ωω(x)log(Plx(x))

(5)

其中：Ω→{1，...，K}為像素點的標簽值，plx(x)為softmax損失函數。ω為∈R為像素點的權值，為圖像中靠近邊界點的像素賦予更高的權值。

(6)

其中：plx(x)為softmax函數。alx(x)是第k個特征通道(類別的數量等于特征通道的數量，總共k個)。

(7)

其中：ωc為∈R是平衡類別比的權值，d1為∈R是像素點到其最近像素點的距離，d1為∈R是像素點到距離其第二近像素點的距離。ω0和σ為常數值，實驗中ω0≈10，σ≈5 。

3 實驗

3.1 實驗數據

本實驗中使用的手機玻璃屏幕數據集是在實驗室液晶顯示器(LCD)屏幕缺陷檢測設備上采集的手機玻璃屏幕圖像。數據集包含3種類型的缺陷：劃痕(scratch)、氣泡(bubble)和錫灰(tin_ash)。圖6顯示了3種手機玻璃屏幕的表面缺陷樣例。

圖6 手機玻璃屏幕缺陷劃痕、氣泡和錫灰樣例圖

由于原始手機玻璃屏幕數據集的圖像分辨率為6 400×6 400，分辨率過高，難以分割缺陷且分割效果較差。因此，對原始圖像進行圖像分割和數據增強，得到分辨率為640×640的圖像。并對其進行數據增強和數據擴充，其中包括增加噪聲、亮度調整、圖像模糊和圖片旋轉等方法，以解決樣本分辨率過高以及樣本不均衡所導致的分割效果較差和模型泛化能力低的問題。

本實驗設置手機玻璃屏幕數據集來驗證本文框架的性能。手機玻璃屏幕數據集的訓練集、驗證集和測試集的數量分布如表1所示。該數據集是一個用于手機玻璃屏幕缺陷語義分割的圖像數據集，其中包含了各種常見的屏幕缺陷，如氣泡、劃痕、錫灰。數據集的訓練集共有600張圖像，用于訓練模型的參數。驗證集共100張圖像，用于選擇最佳的模型超參數。測試集共有200張圖像，用于測試模型的性能表現。在訓練集中，各種缺陷的數量分布如表二所示。氣泡缺陷的數據圖像共206張，劃痕缺陷的數據圖像共167張，錫灰缺陷的數據圖像共227張。

表1 手機玻璃屏幕數據集的數據分布

表2 手機玻璃屏幕訓練集缺陷分布

3.2 評估指標

在實際的語義分割任務中，語義分割框架的預測性能評價指標為交集除以并集(IoU)、像素精度(PA)、平均交集過并(mIoU)和平均像素精度(mPA)。在性能評估計算公式中，真正TP (true positive)是指對某一類缺陷，語義分割框架正確分割出的缺陷數量。假陽性(FP)是指語義分割框架對這種缺陷錯誤所分割出的缺陷數量。假陰性(FN)是沒有被語義分割框架分割的缺陷的數量，對于這類缺陷是正確的。真負(TN)是沒有被語義分割框架分割且不屬于這種類型的缺陷的數量，通常為0。

1)IoU是像素點的真值與預測值的交集除以像素點的真值與預測值的拼接。計算公式如下：

(8)

2)PA用于計算正確分類的像素數與像素總數的比值。計算公式如下：

(9)

3)mIoU是數據集中各類相交比的平均值。計算公式如下：

(10)

4)mPA分別是計算每一類正確分類像素的比例。計算公式如下：

(11)

其中：i為真實值。j表示預測值。pij表示i作為j的預測，k是類別的數量。

3.3 訓練細節

該液晶屏缺陷檢測設備由運動控制模塊、圖像采集模塊、光源控制模塊、信號產生模塊組成。運動控制模塊采用三菱PLC和伺服驅動進行運動控制。圖像采集模塊采用海康威視CH 10 GbE工業面陣相機。光源控制模塊采用雙面低角度LED光源作為檢測環節的除塵燈。信號產生模塊采用信號發生器模擬手機主板給予手機玻璃面板的電信號，實現面板的不同顏色變換。其中信號產生模塊只選擇了一個場景。

為了加快網絡的訓練速度，本文采用單個GPU (NVIDIA GeForce RTX 3 080)來提高計算效率。使用Python實現改進U-Net[18]。提出的框架是用python進行訓練和測試的。整個實驗采用開源深度學習框架PyTorch實現。初始獲取的每張圖像大小為640 × 640。優化算法采用Adam算法，發生器和鑒別器學習率均設置為0.000 1，beta1為0.5；超參數設置為0.5；訓練步數設置為3 000步。在獲得足夠的數據后，使用自適應矩估計(Adam)優化算法進行訓練，動量為0.9，權值衰減為0.000 1，beta1為0.9，beta2為0.999。學習率為1×10-3。訓練批數設置為16，以避免局部極小值。

3.4 對比實驗

在本節中，我們驗證了本文提出的框架在手機玻璃屏幕數據集上的有效性，并將其性能與其他流行的語義分割框架進行了比較。實驗涉及的主流框架為U-Net[18]、PSPNet[29]和DeepLab V3[30]。

圖7顯示了文本提出的框架在標準手機玻璃屏幕數據集下的收斂曲線。由圖7可知，曲線在大約800 Epoch收斂。

圖7 模型訓練中框架的收斂曲線

本文提出的框架是針對手機玻璃屏幕缺陷檢測任務設計的，經過在標準數據集上的訓練和測試，取得了較為優秀的性能表現。各缺陷的IoU和總mIoU指標如圖8所示，PA和總mPA指標如圖9所示。其中，對于氣泡缺陷，IoU指標為57.88%，PA指標為59.90%；對于劃痕缺陷，IoU指標為52.75%，PA指標為54.01%；對于錫灰缺陷，IoU指標為82.25%，PA指標為87.59%。此外，本文提出的框架在背景區域的分割上也取得了較高的IoU和PA指標，分別為95.67%和98.12%。

圖8 本框架在標準手機玻璃屏幕數據集中的MIoU指標

圖9 本框架在標準手機玻璃屏幕數據集中的mPA指標

綜合各個缺陷類型的性能表現，本文提出的框架在總mIoU和總mPA指標上分別達到了71.14%和74.91%，相比于傳統方法和現有的深度學習方法，具有更高的檢測準確率和更強的魯棒性。

表3展示了本文提出的框架與其他主流框架在標準手機玻璃屏幕數據集上各種缺陷語義分割的性能對比。與經典U-Net[18]網絡相比，該框架的mPA和mIoU性能指標分別提高了4.89%和5.49%。與PSPNet[29]網絡相比，該框架的mPA和mIoU性能指標分別提高了46.96%和44.25%。與DeepLabv3[30]網絡相比，該框架的mPA和mIoU性能指標分別提高了38.87%和34.92%。該框架提出的超像素預處理

表3 本文采用U-Net、PSPNet和DeepLabv3作為本文提出的框架的比較框架

模塊利用超像素預處理和ResNet50[23]殘差網絡分類，簡化了輸入圖像的復雜性和冗余度。提高了后續圖像缺陷語義分割框架的準確性和魯棒性。另一方面，在該框架下提出的U-P-Net可以利用多樣化的卷積大小提高框架的特征提取能力，并可以聚合不同區域的上下文信息，進一步增強獲取全局信息的能力，有效提高分割效率，優化分割效果。

3.5 消融實驗

為了驗證本文框架中各個模塊的有效性，整個實驗采用了3種不同的燒蝕方案。比較了U-Net、超像素預處理模塊、分類網絡模塊和U-P-Net模塊。3種方案在標準移動屏幕數據集上的性能指標如表4所示，其中“+”表示該模塊的添加。方案1選用經典的U-Net[18]作為整個框架；方案2在U-Net語義分割前對圖像進行超像素預處理和分類。方案3是本文提出的框架。

表4 使用不同方案在標準手機表面數據集上的性能 %

從表中可以看出，方案2在增加圖像數據預處理模塊(SLIC[22]+ResNet50[23])后，mIoU和mPA的性能較方案1分別提高了4.05%和1.7%。

且在加入圖像數據預處理模塊后模型對錫灰這一類缺陷的分割效果，大幅度提升。相比U-Net網絡對錫灰缺陷的分割，SLIC和ResNet50的加入解決了錫灰缺陷存在的特征信息復雜多變的問題，使其鄰域特征的表示更加容易，降低了錫灰缺陷的圖像復雜度，提升模型的分割效果。與方案2相比，方案3在此基礎上引入了U-P-Net模塊。U-P-Net模塊融合了缺陷圖像的深層和淺層特征，提高了網絡獲取全局信息的能力，避免了關系不匹配、類別混淆和小對象類別被忽略等問題。mIoU和mPA性能較方案1分別提高4.23%和2.07%，較方案2分別提高4.23%和2.07%。綜上所述，在分別引入U-P-Net模塊和圖像數據預處理模(SLIC+ResNet50)后，各項指標均有不同程度的提升，而方案的三項性能明顯優于方案一和方案二。

4 結束語

鑒于現有缺陷檢測的語義分割算法存在分割不準確、語義信息提取不足、面對不規則數據收斂時間長等問題。提出了一種實用的手機玻璃屏幕缺陷分割框架。在數據預處理方面，結合超像素技術和殘差分類網絡的數據預分類方法可以有效降低模型對數據集的依賴，降低后續圖像處理的計算復雜度。U-P-Net的合理提出，使所提出的模型能夠有效地聚合不同區域的上下文信息，提高模型獲取全局信息的能力，避免了語義分割中的誤分類和漏分類問題。框架在缺乏足夠數據集的情況下顯示出良好的性能。它在分割效率和精度方面優于許多主流模型，可以應用于手機玻璃屏幕表面生產。接下來的步驟是如何在分割中更好地結合超像素，如何在單張圖像中分割多個缺陷，以及如何將其應用于不同材料的圖像。