基于AC 圖像顯著性的皮革缺陷檢測*

張森 鄭洲洲 張巖

（青島科技大學機電工程學院 青島 266061）

1 引言

皮革的好壞決定了皮革制品的質量，皮革質量檢測是皮革制品制造過程中的極為重要的工序。目前，皮革質量的檢測大多依靠人工進行，該檢測過程存在諸多主觀因素，嚴重影響檢測效率和準確率，增加了企業的人工成本，制約了皮革行業的發展。因此，研究自動檢測方法以加快皮革檢測效率、提高檢測精度、降低生產成本，已經成為該行業亟需解決的問題［1］。

自19 世紀起，相關學者研究并提出了許多應用于皮革缺陷檢測的方法。基于特征提取、紋理分析、閾值分割、統計方法、顏色空間轉換、圖像顯著性等方法。范大煌等采用基于增強缺陷邊緣的算法對皮革表面缺陷進行自動檢測與定位［2］，該算法僅可用于檢測無紋理或紋理簡單的皮革。對于復雜紋理皮革檢測的準確率低。萬長青等提出基于閾值分割的皮革缺陷檢測算法［3］。該算法對表面光滑且色差較小的皮革檢測效果好，當色差較大時分割效果差。劉昶等將灰度共生矩陣應用于皮革缺陷檢測［4］。當使用該算法檢測復雜紋理皮革時，運算量大、計算時間長，檢測效率低。C.Shanthi 等提出使用主成分分析提取紋理特征并采用支持向量機對紋理進行分類的方法，通過二元決策識別缺陷［5］。該算法需要數據集進行分類訓練，且是對子圖像進行檢測，檢測效率低。D.Du-Ming Tsai 等提出采用反向小波變換刪除規則的重復紋理圖案對圖像進行重構使局部的異常信息增強，再使用簡單的閾值法識別缺陷區域和均勻區域［6］。該算法對均勻紋理檢測效果較好，當皮革具有高方向性紋理時，需要預先手動確定紋理類別的數量，靈活性差。

上述算法在解決特定條件下的檢測問題時效果較好，但泛化能力差，條件改變時需要重新對算法進行優化和改進；且上述方法均為單面檢測，當皮革雙面均存在缺陷或存在未穿透孔洞等內部缺陷時無法實現一次性檢測。

紅外熱成像技術作為無損檢測手段之一，因其穿透能力強、響應快、無接觸、安全等優點，在金屬材料缺陷檢測、房屋質量檢測、夜間監視、元器件故障定位等領域［7～9］均取得了較好的效果。圖像融合作為一種信息融合技術，將不同傳感器得到的圖像整合到一起，得到包含更加豐富信息的圖像，在醫學等領域迅速發展并卓有成效［10～11］。

基于上述分析，本文提出多源圖像融合和顯著性分析的皮革缺陷檢測算法。該方法首先利用拉普拉斯金字塔分別對紅外熱成像圖和自然光圖像分解得到金字塔圖層，并基于融合規則對其融合得到融合圖像，對包含自然光成像和熱成像特征的融合圖像，采用改進的AC 顯著性算法生成顯著圖并通過閾值算法得到缺陷分割結果。

2 紅外熱成像圖像采集

2.1 實驗設置

圖1 為皮革紅外熱成像圖像的采集過程，搭建由加熱激勵裝置、紅外熱成像儀、計算機和控制單元組成的紅外熱成像實驗平臺。其中，加熱激勵裝置采用功率為60kW 的鹵素燈，紅外熱成像儀為FLIR 公司的FLIR A320，并采用軟件Therma CAM Reseracher Pro 2.9記錄和處理熱成像圖。

圖1 圖像采集過程

2.2 皮革試樣

實驗樣品為某皮革工廠提供的牛皮革，尺寸為180mm×150mm，厚度為5mm。如圖2 所示，皮革包含的缺陷類型有穿透（a）和未穿透孔洞缺陷（b）、表面劃痕缺陷（c）、裂紋缺陷（d）和斑點缺陷（e）。

圖2 皮革缺陷圖像

2.3 圖像采集

在室溫（25℃）的條件下，使用夾具將實驗試件固定在實驗臺上，將熱成像儀放置在樣品前方50cm 處，使樣品在電腦中可以有效顯示。將兩個鹵素燈分別放置在樣品后方60cm 處，使得樣品既可以同時受熱又減少了熱量散失。

使用鹵素燈對試件加熱20s，同時使用采集頻率為2Hz 的熱成像儀記錄加熱過程，共采集到40幀熱成像圖像，部分熱成像圖如圖3 所示。從圖中可以看出，從加熱開始到第5 幀，熱成像中的孔洞缺陷（穿透孔洞）開始表現出溫差。隨著加熱時間的增長，如第10 幀熱成像圖所示，越來越多穿透孔洞缺陷開始呈現，在第15 幀時穿透孔洞缺陷全部呈現。由于皮革為不良導體（導熱系數為0.18W/mK～0.19W/mK），直到第20幀未穿透孔洞缺陷開始呈現，且輪廓并模糊，直到第25 幀未穿透孔洞的缺陷能夠清晰呈現。此時，全部的孔洞缺陷都得以呈現，與背景存的對比差異顯著。隨著加熱時間的增長，熱量在皮革內部不斷擴散，皮革溫度場在缺陷區域與正常區域的溫差逐漸降低。如第30 幀圖示，背景和缺陷的對比較差；到第35 幀時部分缺陷區域和正常區域溫差較小而難以區分。

圖3 不同時間的熱成像圖

基于上述分析將試件加熱時間設定為13s，并選取第25 幀熱成像圖作為測試圖像。同時從同一位置使用工業相機采集自然光圖像。

3 基于拉普拉斯金字塔（Laplacian Pyramids，LP）的圖像融合方法

圖4 為本文方法的技術路線圖。首先，通過拉普拉斯金字塔分解經SIFT 特征匹配算法配準好的240×320 分辨率的自然光圖像和紅外熱成像圖像原圖像來得到金字塔分解圖像。為方便描述，將頂層圖像稱為基礎層，其他層圖像稱為細節層。對不同層圖像根據其特點，對基礎層采用PCA（Principal Components Analysis）融合，對細節層采用加權平均策略進行融合，分別得到融合后的基礎層和細節層圖像。對兩類圖層進行圖像重構得到融合圖像。最后，對融合圖像進行顯著性檢測生成顯著圖，對其進行閾值分割得到缺陷檢測結果。

圖4 技術路線圖

3.1 拉普拉斯金字塔

拉普拉斯金字塔變換其過程包括兩個步驟：第一步是高斯金字塔分解，第二步是從高斯金字塔構建拉普拉斯金字塔。

3.1.1 高斯金字塔分解

設G0為高斯金字塔的最底層，則高斯金字塔的第k層（表示為Gk）通過對第k-1層卷積和下采樣獲得。然后，將Gk層作為輸入圖像，重復卷積和下采樣操作得到Gk+1層，經過反復迭代，便可形成高斯金字塔。高斯金字塔由G0，G1，…，GN組成，其中G0是金字塔的底部，而GN是金字塔的頂部，高斯金字塔的總層數為N+1層。

3.1.2 拉普拉斯金字塔分解

為了減少來自高斯金字塔的大量冗余信息，同時突出細節信息，需要查找相鄰兩個圖像之間的差異并獲得帶通濾波后的圖像，人們將此定義為拉普拉斯金字塔。具體算法：令為通過擴展Gk獲得的圖像，則具有與Gk-1相同的尺寸。

由式（1）可以得到由LP0，LP1，…，LPN組成的拉普拉斯金字塔。其中，N 是拉普拉斯金字塔的層數，LPk是從拉普拉斯金字塔分解的第k層圖像。

3.1.3 拉普拉斯金字塔重建

拉普拉斯金字塔的一個重要屬性是它是完整的圖像表示形式：通過反向構建金字塔的步驟可以準確地恢復原圖像。

由式（2）經過上采樣可重建原圖像。

3.2 融合規則

在拉普拉斯金字塔分解中，經過試驗確定取N=3 時融合圖像效果最好，此時經過對原圖像分解最終得到四層圖像的金字塔，其中頂層圖像為基礎層，其他圖像為細節層。對于基礎層采用PCA融合策略，對于細節層采用加權平均融合策略。首先，對自然光圖像基礎層的主成分變換矩陣的特征值與對應的特征向量；將特征值按從大到小的順序排序，相應的特征向量也要跟著變動，將最終的結果記為λ1,λ2,…,λn,φ1,φ2,…,φn；各主分量按如下方式計算：

將熱成像基礎層圖像與第一主分量圖像進行直方圖匹配，然后將第一主分量用熱成像圖像基礎層替換；對其進行PCA 逆變換，得到融合的基礎層圖像。

對細節層采用加權平均融合策略。記F（x，y）為細節層融合圖像的像素點，A（x，y）為自然光圖像細節層像素點，B（x，y）為熱成像圖細節層像素點，通過對圖像像素的灰度值進行線性加權平均，生成新融合圖像：

其中，ωa、ωb是加權系數，ωa+ωb=1。對ωa、ωb均取0.5。

最后，對融合后的拉普拉斯金字塔基礎層和細節層進行重構，得到融合后的待檢測圖像。

4 基于顯著性檢測的缺陷分割

4.1 顯著性檢測

認知心理學研究表明，圖像中有些區域之所以能夠吸引人的注意是因為含有豐富的信息。因此學者提出了基于人的注意力機制的顯著性檢測算法（AC［12］、FT［13］、SR［14］等）來識別圖像中的顯著性區域。其中，AC顯著性通過在CIE Lab顏色空間中計算一個感知單元在不同鄰域上的局部對比度實現多尺度顯著性。局部對比度被定義為圖像子區域的像素的平均特征向量與其附近像素的平均特征向量之間的距離。

在給定鄰域下，將圖像中位置（i，j）處像素的基于對比度的顯著性值ci，j確定為內部區域R1的像素特征的平均向量與外部區域R2的像素特征的平均向量之間的距離D：

其中，N1和N2分別是R1 和R2 中像素的個數。vk是k 這個位置的特征值或特征向量。感知單元R1 可以是一個像素或一個像素塊，其鄰域為R2，R1 和R2 所包含的所有像素的特征值的平均值分別作為R1 和R2 的特征值。由于CIE Lab 顏色空間中的感知差異為歐幾里得距離，因此式（5）可表示為

其中，v1=［L1，a1，b1］T和v2=［L2，a2，b2］T分別是區域R1和R2的平均向量。由于僅需要找到R1和R2的平均特征向量值，采用積分圖像方法來提高計算效率。通常將區域R1 選擇為一個像素，對于寬度為w 像素，高度為h 像素的圖像，區域R2 的寬度wR2滿足：

對于每個圖像，以S 個不同的尺度執行過濾，并且最終顯著圖（即SM）被確定為由S 個尺度的特征顯著圖通過直接相加得到：

其中，?i∈［1，w］，j∈［1，h］，S 取3，三個不同尺度wR2為，其中mi，j是最終顯著圖SM的像素點。

基于上述算法對本文待檢測融合圖像的實驗結果表明，缺陷檢測和分割效果并不理想，如圖5（e）所示。上述算法采用三鄰域過濾圖像，生成顯著圖，僅計算了R1 在三個不同局部區域R2 的顯著值，而未計算在全局的顯著值，因此對于局部相似而全局顯著的區域計算所得顯著值較低，與背景差異小，從而導致分割效果差。

為改進上述問題通過引入計算感知單元R1在整幅圖像中的顯著值作為參考值對算法進行改進，通過與三個不同尺度區域R2過濾所得顯著值的均值作比較確定最終顯著值，生成特征顯著圖，由式（9）和（10）得到最終顯著圖SM。其中，S 取3，A 為R1 在三個鄰域中顯著值的均值，B 為R1 在整幅圖像中的顯著值。

從圖5 中可以看出，在改進前的顯著圖（圖5（e））中穿透孔洞缺陷顯示較為模糊，經過改進后顯著圖（圖5（f））中三種缺陷均較為清晰。

圖5 顯著性檢測算法改進結果對比

4.2 缺陷分割

在經過顯著性檢測后，顯著性圖像包含缺陷信息和部分背景噪聲，為了提高閾值分割算法質量，精確選取最佳閾值，使圖像分割達到最佳效果［13］，采用最大類間方差法對顯著圖進行分割處理。

根據圖像灰度特性，將圖像分為背景和目標兩部分，當背景和目標的方差越大說明構成圖像兩部分的差別越大，當部分目標錯分為背景或部分背景錯分為目標都會導致兩部分差別變小。因此，使類間方差最大的分割方法意味著錯分概率最小。

對于M×N的顯著圖像SM（x，y），前景（即缺陷）和背景的閾值記作T，屬于前景和背景的像素點占整幅圖像的比例分別記為ω0，ω1其中，N0為圖像中像素灰度值小于閾值T 的像素個數，N1 為像素灰度值大于閾值T 的像素個數。圖像的總平均灰度記為μ，類間方差記為g：

采用遍歷法得到使類間方差g最大的閾值T即為所求分割閾值，最后由式（12）得到缺陷分割二值圖。

5 實驗結果與分析

為驗證本文方法的有效性，基于同一樣本數據對本文方法與顯著性檢測算法（AC 算法［12］、FT 算法［13］、SR算法［14］）進行對比實驗，實驗結果如圖6所示。

從圖6 可以看出，顯著性檢測算法中，AC 算［12］可以檢測到孔洞和表面劃痕缺陷，但是對圖6（b）、6（c）所示表面劃痕為曲線時檢測效果差，劃痕形狀不連貫，且表面劃痕較淺（圖6（c））時無法檢測。FT 算法［13］可以有效地檢測孔洞缺陷，但是對表面劃痕缺陷檢測效果差，尤其對圖6（b）、（c）所示表面劃痕較淺以及圖6（d）所示的裂紋較淺時無法檢測。SR 算法［14］可以檢測孔洞缺陷，但無法檢測到表面劃痕缺陷、裂紋缺陷和斑點缺陷。從本文方法實驗結果可以看出，所有類型缺陷均能被檢測出，且缺陷分割較為完整。

圖6 對比實驗結果

為客觀評估分割結果的準確性，使用平均交并比（mIoU）、虛警率（FPR）和準確率（Accuracy）對上述實驗進行評價：

其中，k+1 為樣本種類數目，pii表示檢測正確的數目，pij和pji表示假正和假負。

其中NTP表示正類樣本被正確分類的數目，NTN表示負類樣本被正確分類的數目，NFP表示負類樣本被分為正類的數目，NFN表示正類樣本被分為負類的數目。

本文使用180 張圖像作為測試集，如圖7 所示為各算法的準確率和虛警率并采用平均交并比評估分割結果。其中50 張無缺陷樣本，20 張孔洞缺陷樣本，20 張劃痕缺陷樣本，25 張包含孔洞和劃痕缺陷的樣本，20 張斑點缺陷樣本，20 張裂紋缺陷樣本，25張包含斑點和裂紋缺陷的樣本。從圖7的評估結果可以看出，本文提出的方法對缺陷檢測的效果更好。

圖7 各種算法評估結果

6 結語

本文提出一種基于拉普拉斯金字塔圖像融合和顯著性檢測的皮革缺陷檢測方法。經過實驗確定選取第25 幀檢測效果較好的紅外熱成像圖作為算法的測試圖像，同時通過實驗確定金字塔分解層數為4 時融合圖像性能最好。最后設置了對比實驗，將本文提出的算法與三種顯著性檢測算法（AC算法［12］、FT算法［13］、SR算法［14］）作對比，實驗結果證明本文提出的算法檢測結果更為準確，尤其對未穿透孔洞缺陷、較淺且彎曲的表面劃痕缺陷、斑點缺陷和裂紋缺陷的檢測結果更為完整，輪廓更為清晰。本文提出的算法可以高效、準確地檢測皮革的孔洞和表面劃痕缺陷。