基于超像素混合合并方法的銅電解槽紅外圖像功能區域分割

李欣，李勇剛，吳仁超，朱紅求，周燦

(中南大學 自動化學院，湖南 長沙，410083)

銅電解精煉主要通過電化學反應完成粗銅精煉提純。電解槽是電解反應發生的主要設備，電解槽內部反應狀態難以直接監測，但槽面溫度可反映電解槽工作狀態[1]。紅外熱成像法由于具有非接觸、大面積測溫的優勢而被用于監測槽面溫度分布[2-3]。紅外圖像中電解槽主要分為3 類功能區域即蓋布區、母排區、電解液區(進、出液區)，不同工況下各功能區呈現不同的溫度特征。例如，極間電流分布失衡，母排區溫度分布不均勻；電極間發生故障，蓋布區呈現局部高溫或低溫；電解液質量下降，進、出液區域溫度差異明顯，并進一步導致蓋布區溫度發生變化。因此，將3類功能區域從紅外圖像中完整分割并標記出來對分析槽況、優化電解效率意義重大。然而，受環境因素干擾與熱傳導影響，各功能區灰度分布復雜，區域間邊界模糊，為分割帶來挑戰。

目前，常用分割方法有閾值分割[4-5]、區域生長法[6-7]、活動輪廓[8-9]、神經網絡[10-11]等。但由于電解過程涉及電化學、傳熱和流場，屬于典型的多場耦合復雜過程，導致溫度分布及熱傳導復雜，槽面灰度分布不均勻情況嚴重，給閾值選擇帶來困難。蓋布與電極接觸，電極短路后對應蓋布區灰度升高，導致蓋布與母排出現圖像區域連通，區域邊界不連續，區域分割方法和活動輪廓方法在區域間邊緣處表現欠佳。神經網絡方法良好的分割效果則依賴足夠數量的已標注樣本圖片，這在實際工程問題中是一項繁瑣、耗時的工作。區域分割還可通過像素分類方法實現，這需要提取判別性特征，而與可見光圖像相比，紅外圖像具有分辨率低，缺乏顏色、邊緣等細節特征，熱傳導的復雜性使得同類區域的特征差異增大，不同類區域間的特征差異減小，區域更加難以區分。

不同尺度空間的局部區域包含顯著性不同的圖像特征[12]，更有利于準確分割。方形[13]或高斯核函數[14]常用于提取不同尺度空間上的局部特征，用于分割面積小、具有特定灰度分布模式的小目標。對于大面積、灰度分布復雜的電解槽功能區域而言，超像素過分割法為不同尺度空間上的所有局部區域特征獲取提供了基礎[15-16]。過分割后一般通過合并算法或分類算法[17-18]完成最終分割，但合并算法中基于特征相似性的合并停止條件容易導致不同區域的超像素產生過合并，而分類算法中單一尺度區域的特征提取會使屬于同一區域的超像素產生欠合并。本文針對銅電解槽紅外圖像，提出超像素混合合并方法，分兩步在不同的尺度空間上提取不同超像素特征進行合并與分類。第一步，在小尺度空間上，針對合并停止條件，提出基于空間獨立性約束的合并方法，引入莫蘭指數[19]閾值并給出閾值選取辦法，可有效避免過合并；第二步，在大尺度空間上，提取超像素紋理特征進行多類別SⅤM 訓練，完成功能區域分類。最后，對本文所提方法進行實驗驗證。

1 實驗方法

銅電解現場與電解槽槽面紅外圖像如圖1所示。基于超像素混合合并方法的電解槽功能區域分割流程如圖2所示。

圖1 銅電解現場與電解槽槽面紅外圖像Fig.1 Copper electrolysis site and infrared image of cell surfaces

圖2 分割流程Fig.2 Flow chart of segmentation

1)預處理提取單個完整槽；

2)超像素預分割，即利用簡單線性迭代聚類(simple linear iterative clustering，SLIC)[20]算法對單槽圖像過分割得到一系列超像素；

3)超像素混合合并：在合并階段，利用小尺度特征，根據空間獨立性判定條件迭代合并超像素；在分類階段，提取大尺度超像素紋理特征訓練SⅤM多類別分類器，識別電解槽3類功能區域。

2 預處理

2.1 單槽圖像提取

所有電解槽形狀、尺寸相同，每個電解槽具有獨立編號。為了將槽號與圖像對應，需提取單槽圖像。圖像中，橫向的槽間母排區灰度明顯比蓋布區的高；兩側縱向的電解液區(進、出液區)灰度比蓋布區的高。利用像素累積峰值法對圖像進行簡單分割：

其中：pij為像素灰度值；紅外圖像分辨率為M×N(M和N分別為圖像的縱向和橫向像素數)。通過確定累積曲線峰值坐標位置，定位母排區和電解液區位置(圖3)也就是圖像分割位置。

圖3 單槽圖像提取Fig.3 Individual cells image extraction

2.2 超像素預分割

保持邊界完整性是確保區域準確分割的基礎。電極隨機短路，蓋布區灰度值相應增大并接近母排區的灰度值，導致兩區域之間的部分邊界模糊甚至消失。簡單線性迭代聚類能夠產生分布緊湊且對邊界貼合度較好的超像素。該算法流程如下：

1)將圖像由RGB 彩色空間轉化為CIE Lab 顏色空間。提取每個像素點的顏色特征(l,a,b)和空間位置特征(x,y)組成5 維特征向量(l,a,b,x,y)；構造距離函數，在局部范圍內根據距離函數對像素點進行k-均值聚類。紅外圖像顏色特征為一維灰度值，因此，像素特征為3 維向量(g,x,y)，其中g為灰度值。

2)初始化聚類中心，確定聚類個數即超像素個數K；每間隔S像素對圖像均勻采樣，形成初始超像素。

確定每個超像素的聚類中心，在中心2S×2S范圍內，計算每個像素與范圍內所有聚類中心的相似度，根據相似度對像素分類，從而調整超像素。

K的選擇影響超分割后邊緣的準確度[21]。所有槽面尺寸相同，通過實驗確定K(圖4)。由于模糊邊界主要位于蓋布區與母排區之間，手動標注蓋布區作為參照。分割后與標注區相交但不完全屬于標注區的超像素被定義為欠分割超像素(見圖4)，欠分割超像素所包含的邊界像素數占標注邊界像素數的比例為邊界錯誤率。統計不同K取值情況下的邊界錯誤率(見圖4)，本文取K=600，因為此時邊界錯誤率最小并開始保持穩定。槽面超分割效果如圖5所示，超像素邊界與區域邊界黏合度高，為方便觀察，相鄰超像素間的共邊分開表示。

圖4 K選擇過程Fig.4 Determination processes of K

圖5 K=600時的超像素分割效果Fig.5 Super pixel segmentation when K=600

3 超像素混合合并方法

根據2.2節可知，槽面圖像被過分割為K=600個超像素，超像素集合表示為RK={R1,R2,…,RK}。槽面圖像中包含3 類功能區，完整分割各功能區域，需識別、合并屬于同類區域的超像素。超像素混合合并方法利用不同空間尺度上的超像素特征，結合區域合并和分類完成最終分割。

采用區域鄰接圖(RAG)[17]描述超像素的拓撲結構，圖中每個頂點代表一個超像素，連接2個頂點的邊的權重w(vi,vj)表示相鄰2 個超像素Ri和Rj之間的相似度。

傳統的區域合并是根據RAG 中鄰接頂點間的屬性相似度迭代合并最相似的2個鄰接超像素，直至所有鄰接超像素的相似度滿足閾值條件[17]。對高分辨率圖像而言，相似度計算時超像素屬性可選擇多維特征[22-23]，而紅外圖像分辨率低，過分割后的超像素小(約27個像素)，主要捕獲各局部區域的灰度特征，如圖6所示。因此，提取超像素的平均灰度值μ={μ1,μ2,…,μK}和方差特征值σ={σ1,σ2,…,σK}構建鄰接節點相似度函數fdis：

圖6 3類功能區的超像素塊Fig.6 Super pixel examples of three functional areas

其中：F為相似度閾值；I為超像素的鄰接矩陣，默認不鄰接的超像素完全不相似，鄰接矩陣中對應元素值為無窮大。fdis越小，具有鄰接關系的超像素Ri和Rj越有可能屬于同一目標區域，滿足式(6)條件，則合并停止。

迭代合并涉及到合并停止問題，即超像素合并到什么程度合適。由式(6)可知，迭代停止判斷條件只考慮了超像素間屬性的相似性，而沒有考慮超像素屬性的空間依賴性，如果閾值設置過大，導致不屬于同一區域的、具有鄰接關系的超像素過合；閾值過小，不能實現有效合并。

3.1 空間獨立性約束下小尺度超像素合并

3.1.1 空間獨立性約束合并

超像素是二維平面上分布在不同空間位置的圖像塊，原本屬于不同類別的區域。而各類區域因為具有不同的結構、發熱機制和傳熱材質，相互之間灰度特性具有獨立性與空間差異性。例如，母排區熱量主要來自電阻熱，溫度分布受電極排布與極間電流影響，灰度分布呈現周期性；進/出液區熱量來自高溫電解液，灰度分布較均勻；蓋布區熱量主要來自蓋布、電極、熱蒸汽之間的熱傳導和熱對流，溫度相比于其他區域較低，因此灰度較小，灰度分布具有隨機性。

超像素分割增加了區域數量，減小了區域面積，同時也降低了這些區域之間的空間差異性，增大了超像素間灰度特性在空間位置上的依賴性，即超像素與其他位置超像素灰度特性相關。空間自相關(spatial autocorrelation)[24]可用來描述二維平面上不同對象的觀測數據在空間位置上的相關性。莫蘭指數是度量空間自相關性的常用指標，被應用于各個領域[25-27]，莫蘭指數Mml的計算式如下：

其中：Xi與Xj分別為第i和j個超像素的平均灰度測量值；為所有超像素的平均灰度值。空間權重矩陣W用于描述各測量對象之間的空間接近程度或鄰接關系[28]，本文W為零一矩陣：當wi,j=1時，第i和j個超像素鄰接；當wi,j=0 時，超像素不鄰接。-1 ≤莫蘭指數Mml≤1。當Mml趨于1 時，對象平均灰度測量值之間空間相關性明顯；當Mml趨于-1 時，對象平均灰度測量值之間空間呈負相關；當Mml接近0時，對象平均灰度測量值在空間隨機分布。式(6)中每次迭代合并只考慮局部超像素對的相似性，而莫蘭指數(式(7))既考慮了全局鄰接對象的相似性，同時也兼顧了超像素間的空間分布，更加適用于合并停止條件的判斷。

屬性相似、灰度空間相關的鄰接超像素合并為尺度更大的超像素后，使當前二維圖像上各超像素區域平均灰度間的空間相關性相比于之前降低。圖7所示為超像素平均灰度值莫蘭指數隨合并次數不斷下降的過程。

圖7 Mml隨超像素合并次數的變化Fig.7 Changes of Mml with the merging number of super pixels

在迭代合并過程中，每次合并超像素后，計算當前區域鄰接圖的超像素平均灰度莫蘭指數，直至莫蘭指數小于閾值停止合并。圖8所示為空間獨立性約束下分割后的超像素(見圖5)的初步合并效果。

圖8 超像素合并結果的偽彩圖與實際區域Fig.8 Pseudo-color map and actual area of super pixel merging result

基于空間獨立性約束的超像素合并算法偽代碼如下。

3.1.2 閾值選擇

基于空間獨立性約束的超像素合并，在各區域灰度分布均勻、同質的理想情況下，合并超像素的尺寸逼近所屬區域尺寸，平均灰度值莫蘭指數閾值達到最低。因為實際槽面圖像各區域內灰度分布復雜，區域內存在局部的灰度異質分布，如槽面高亮短路，蓋布區與母排區的灰度值類似，過小的莫蘭指數閾值導致槽面短路區與母排區過合并為一個區域，故不能僅僅依靠設置一個小的閾值實現區域的分割。

為了增強合并算法的魯棒性，考慮到電解槽面場景固定，選擇10 張具有不同程度干擾的槽面圖像，手工劃分超像素，超像素個數為t，確保將每個關鍵區域完整地作為一個超像素(圖9)，構建RAG，計算相應RAG 下的平均灰度值莫蘭指數Mt，取均值作為莫蘭指數閾值TM(式(10))。

圖9 功能區作為超像素Fig.9 Functional areas as super pixels

3.2 基于PSO-SVM的大尺度超像素分類

空間獨立性約束下的超像素初步合并保留了超像素與目標區域相貼合的邊界，同時增大了超像素尺度。大尺度的超像素相比于小尺度超像素蘊含了更豐富的特征，尤其各區域由于物理結構不同而表現出的紋理差異：母排區呈現周期性紋理，且紋理較深；蓋布區雖然也表現出一定的周期性紋理，但蓋布區紋理較淺且粗糙；電解液區紋理平滑。因此，提取大尺度超像素的紋理特征，對超像素進一步分類，4 類目標區域的類別標簽見表1。

表1 功能區域類別標簽Table 1 Labels of functional areas

紋理特征的計算基于規則圖形，超像素形狀不規則，因此，需在每個超像素內構建最大內接矩形，然后，計算內接矩形在水平方向上(θ=0)、間隔2 個像素的灰度共生矩陣G。基于G，提取7個(表2)具有灰度變換不變性的紋理特征[29]用于分類識別。其中，Pij為共生像素對(Ri，Rj)在G中出現的概率；pi和pj分別為共生像素對的灰度值；μr和σr為灰度值pi在G中對應行上的均值與方差；μc和σc為灰度值pj在G中對應列上的均值與方差。為了展示超像素紋理特征的分類能力，隨機抽取數據，得到4 類區域的紋理特征在各維度上的特征值，如圖10所示，C1類與C2類、C1類與C3類均可由熵(ENT)、相異性(DIS)、對比度(CON)、相關性(COR)進行區分，C2 類與C3 類均可由相異性(DIS)和對比度(CON)進行良好區分。

圖10 4類區域各維度上的特征值Fig.10 Feature values on each dimension of the four class of regions

表2 大尺度超像素的紋理特征Table2 Textural features of large scale super pixels

利用SⅤM 分類器[30-31]對大尺度超像素進行分類。根據3.1節方法進行超像素初步合并后，搜集屬于各類區域的大尺度超像素，構成帶有類別標簽的數據集，并將其作為SⅤM 的訓練樣本，根據表2 對每個數據提取紋理特征，組成包含n個7 維(即維度l=7)特征的訓練集Xn×l參與SⅤM 訓練，Yn×l為類別標簽，yi∈{-1,1},i=1,2,…,n。分類器學習通過下式實現：

式中：C為常數懲罰因子；ξi為松弛變量；超平面(w,b)中w為分類超平面的法向量，b為原點到超平面的距離。φ(xi)為映射函數，其拉格朗日對偶問題如下：

其中：K(xi,xj)=＜φ(xi),φ(xj)＞為核函數，＜·,·＞表示直積；a為拉格朗日乘數；根據多次實驗，考慮超像素分類的準確度，最終選擇RBF 函數作為核函數即σ為高斯核帶寬此時，分類決策函數為

為了提高SⅤM 的分類器的泛化能力，采用粒子群算法對參數C和σ進行優化，適應度函數為分類器的準確率。由于支持向量機是二分類學習算法，這里需應用OⅤO(one versus one)方法[32]設計多類別分類任務，對每一對不同類別的樣本設立一個二分類器，共6個SⅤM分類器。

4 實驗結果與分析

采用大立科技DM63在線式系列紅外熱成像儀采集銅電解槽面紅外圖像數據，成像儀垂直吊裝于距槽面9.3 m 高的搬運行車上，鏡頭(焦距為9 mm)向下拍攝，圖像分辨率為240 像素×320 像素。計算機配置參數如下：CPU，AMD Ryzen 5 1600 Six-core，16 GB內存，64-bit Windows10 操作系統，MatlabR2016 a編程。

為證明空間獨立性約束合并方法的有效性，將其與相似性約束合并停止條件[17]進行對比。對包括和不包括短路2種情況的電解槽圖像進行超像素分割后(K=600，歸一化參數m=2)，分別應用2種方法進行超像素初步合并，結果如圖11所示，相似性約束使得原本不屬于同一區域的大量超像素過合并(紅色方框區域)，大大降低了分割的精確度，槽面短路區域與母排區合并為同一區域。而在空間獨立性約束合并方法中，有效的合并屬于同一功能區的超像素塊，雖然合并結束后形成的圖像塊數量較多，但保證了同類合并區域的準確性，同時也保證了區域邊界的完整性，為后續超像素分類實現精確區域識別與分割奠定了基礎。

圖11 相似性約束與空間獨立性約束下的合并效果對比Fig.11 Comparison of merging effects with similarity constrain and space independence constrain

隨機選取50 張槽面圖像，在進行超像素分割與小尺度超像素合并后，隨機選擇266個屬于各類區域的、面積大于1/100圖像面積的圖像塊作為樣本集，其中2/3 作為訓練樣本集，母排區、蓋布區、電解液區、背景區四類樣本的占比為1:1:1:1；剩余1/3 用于測試。由于SⅤM 算法選擇RBF 函數作為核函數，故采用粒子群優化(PSO)算法對RBF_SⅤM參數尋優，粒子群優化算法中的加速系數設置為τ1=1.5，τ2=1.7，種群數量為5，優化得到的最優參數C和σ見表3。在PSO 算法尋優過程中，針對6 個SⅤM 分類器的適應度曲線如圖12所示。

圖12 多類別SⅤM分類器的適應度曲線Fig.12 Fitness curves of multi-class SⅤM classifier

表3 PSO尋優后多類別SⅤM分類器的最優參數Table 3 Optimum parameters of multi-class SⅤM classifier with PSO

精確率(Qp)、召回率(Rc)以及F1可用于定量評估SⅤM 算法對各類區域的識別效果，各指標計算式如下：

其中：NTp指實際為正例、同時被模型識別為正例的測試樣本個數；NFp指實際為負例但被模型識別為正例的測試樣本個數；NFn指實際為正例但被模型識別為負例的測試樣本個數。4類區域的圖像塊分類結果如表4所示，其中，NT為測試數據集中包含的各類樣本個數，詳細的混淆矩陣如圖13所示。

結合表4 和圖13 可知：利用紋理特征，SⅤM分類器對蓋布區C1、母排區C2 和電解液區C3 的大尺度超像素識別準確率較高，對電解液區C3 超像素的召回率較低，37.5%的電解液區(C3)被誤識別為蓋布區(C1)。這是因為在超像素分割階段，蓋布區和電解液區的邊界上不可避免地存在欠分割現象，欠分割的超像素在合并步驟中被合并為蓋布區。

表4 4類區域的識別效果Table 4 Recognition effects of the four classes of areas

圖13 混淆矩陣Fig.13 Confusion matrix

圖14所示為基于多尺度超像素特征分割方法與OTSU、活動輪廓方法的分割效果。關鍵區域分割完整是獲取完備溫度信息的關鍵，在活動輪廓法中，蓋布上的短路信息被遺漏。單閾值分割結果還需借助其他手段進一步區分母排區和電解液區，而且母排區尖刺多，區域信息并不完整，并且該方法也同樣在短路電極處產生信息中斷。基于多尺度超像素特征法相對較完整地保留了蓋布區地上的異變溫度信息，同時也能完整準確地識別母排區和電解液區。

圖14 活動輪廓法、Otsu、基于混合超像素合并法的功能區分割效果Fig.14 Segmentation effects of functional areas with active contour method,Otsu and the proposed hybrid merging method

以手動標記的各功能區域為參照，計算各區域分割結果與實際區域之間被錯誤分割的像素數占實際區域像素總數的比例(即區域錯誤率)，并將其作為衡量各區域分割結果的準確度，蓋布區、母排區、電解液區的分割錯誤率分別為1.38%，1.59%和5.35%。

5 結論

1)提出一種超像素混合合并方法用于銅電解槽紅外圖像功能區域分割。

2)針對槽面紅外圖像灰度分布復雜、分辨率低影響分割準確度的問題，將圖像劃分為一系列與區域邊界貼合度較高的小尺度超像素，然后利用不同尺度超像素的特征，分別進行小尺度超像素合并與大尺度超像素分類，并在合并過程中提出基于空間獨立性約束的合并方法，克服了低分辨率限制特征提取問題，提高了分割的準確性。

3)本文算法在確保功能區域完整性方面的效果優于其他分割方法的效果。該方法同樣適用于鉛、鋅、鎳等金屬的電解監控過程。