屬性一致的物體輪廓劃分模型

孫勁光 李 桃 董祥軍

①(遼寧工程技術大學 葫蘆島 125105)

②(遼寧礦山安全數據工程技術研究中心 葫蘆島 125105)

③(齊魯工業大學(山東省科學院)濟南 250353)

1 引言

皮帶運輸作為自動化采礦中的主運輸系統，其穩定的工作性能和準確的停機操作等至關重要。礦石過大將造成皮帶運輸機停機等事故；由于大小、形狀不一的礦石在皮帶機上的位置隨機，亮度變化明顯的點而非礦石的輪廓點；現有模型采用亮度變化明顯的點作為物體的輪廓點，在對大礦石進行輪廓劃分中，出現了大概率的錯劃現象，使得物體輪廓的繪制產生了較大的偏差。因此，準確地將物體的輪廓在極小的偏差內標記出來，對加載至主運輸系統中的礦石粒度生成儀至關重要。

邊緣檢測的目的是標識數字圖像中亮度變化明顯的點，目前采用全卷積網絡模型(Fully Convolutional Network,FCN)[1]進行顯著性區域檢測效果尤為突出；Liu等人[2]提出了一種改進的層次深度卷積神經網絡(Deep Hierarchical Saliency,DHS)模型；Li等人[3]提出了像素級全卷積深度對比度學習(Deep Contrast Learning,DCL)模型，充分發揮了FCN端到端的檢測模型具有輸入可為任意大小圖像的優點。2015年，Xie等人[4]提出面向邊緣檢測任務的HED (Holistically-nested Edge Detection)模型，采用端到端的網絡結構，邊緣提取效果提升顯著；2016年Zhao等人[5]提出PSPNet聚合不同區域的上下文信息，提高獲取全局信息的能力。2017年Badrinarayanan等人[6]提出了SegNet用于自動駕駛圖像語義分割后，進行邊緣檢測。2018年余春艷等人[7]提出的HED模型為基礎架構，引入去卷積模塊與跳躍嵌套結構(Deconvolution and Skip Nested layers,DSN)以融合不同層次特征圖，并添加全連接條件隨機場(Fully Connected Conditional Random Field,FC-CRF)優化顯著性圖，實現了端到端的HED-DSN 模型。2019年張冬明等人[8]利用已有顯著圖特征，構建深度融合模型，解決多顯著圖有效融合問題，來提升顯著性檢測的性能；Hou等人[9]集成了低級和高級功能顯著性檢測，提出編碼距離映射用于測量超像素之間的相似性；紀超等人[10]提出一種結合區域特征-全文信息的深度學習框架，用于顯著區域檢測計算的方法；Wu等人[11]提出FastFCN更進一步地帶動了語義分割的發展，為邊緣檢測提供了保證。2020年，郭輝等人[12]研究的車輛邊緣網絡中，基于多參數MDP模型的動態服務遷移策略，結合車輛及時延限制構造候選服務器集合，提出了基于Bellman廣告表示的長期收益值進行遷移決策；范九倫等人[13]提出了一種利用倒數粗糙熵的基于均勻性直方圖粒子選取方式，對圖像進行粒化的方法；廖苗等人[14]對于超像素難以有效劃分圖像目標邊界的問題，提出了利用局部信息進行多層級簡單線性迭代聚類的方法，有效地解決了圖像過分割和欠分割問題；Li等人[15]通過單波段圖像解碼“B,R,G”和進一步累積幀積累技術獲得高級別圖像灰度后，通過神經網絡實現了3幅單波段圖像的信息融合，進而利用所建立的模型進行邊緣檢測。

2 本文方法

本文提出一種全局與局部屬性具有一致性的深度殘差全卷積網絡(Residual U-shaped fully convolutional network,ReUnet)作為物體輪廓劃分模型，如圖1所示。模型使用兩個附加網絡，即全局和局部上下文判別網絡，在訓練過程中通過對抗式損失，約束物體輪廓劃分網絡的權重學習過程，使物體輪廓劃分網絡能夠真實地劃分圖像。該模型采用分階段的訓練方法，在加速網絡擬合的同時進一步提高物體輪廓劃分的準確度。

圖1 屬性一致的物體輪廓劃分模型框架

2.1 物體輪廓劃分網絡

物體輪廓劃分網絡以深度殘差網絡為基礎，按照編碼器-解碼器的形式構建。網絡的輸入是RGB三通道原始圖像，網絡的輸出為RGB三通道圖像劃分結果。物體輪廓劃分網絡的結構詳見表1。

表1 物體區域劃分網絡結構

2.1.1 殘差學習神經網絡映射

引入殘差學習解決神經網絡中因深度的增加而發生梯度消失或爆炸的情況，模型與輸入數據之間的映射為

其中，YM(xi)為映射函數，xi為輸入的數據或第i層特征，M為網絡層數，F為殘差函數，wm={wm,k|1≤k≤K}則為一組與第m個殘差單元相關的偏置項、K為每個殘差單元中的層數，σ為激活函數。

從式(1)可以看出，網絡中使用了殘差累加的線性計算，而不是非線性連乘連接，這樣的計算方法不僅避免了連乘計算的梯度求解問題，還會減少權重層的計算，使得網絡的權重層更容易優化。

為了增加特征圖的通道數，引入線性映射保證捷徑連接(shortcut connections)的維度與特征圖輸入的維度相同，采用式(2)來調整xi的維度。

其中，W表示卷積操作。

物體輪廓劃分網絡中，采用式(3)的GN(Group Normalization)歸一化方法，解決訓練的小樣本的問題。

其中，x為卷積層輸出的特征，xi為特征圖中的位置，i為特征圖的4個維度的坐標i=(in,ih,iw,iC),N為批處理數，h,w,C分別為特征圖的高、寬、通道數，ε為常數，均值μi,σi為其均值和標準差，Si為計算均值和標準差的像素點集合。

2.1.2 殘差學習重塑卷積神經網絡映射

對于像素級的輪廓邊緣特征提取時，為了恢復下采樣時丟失了的細節，本文提出了重塑上采樣卷積，用于實現放大特征圖尺寸的目的。

設下采樣得到分辨率為h×w，通道為C的特征圖，通過2C個1×1的卷積將其通道數增加2倍，經過正則化操作和激活函數得到h×w×2C的特征圖。若將這個特征圖分為C/2個部分，對每一部分的特征圖進行重塑操作計算見式(4)

其中，PS(T)w,h,C為重塑后的特征圖，T為下采樣的特征圖，w,h,C分別為特征圖的寬、高和通道數，r為特征圖的采樣倍數。

經過重塑上采樣卷積操作，實現特征圖分辨率擴大2倍、通道數縮小1/2的上采樣過程。

2.2 圖像判別網絡

為增強網絡對全局語義的理解以及對局部細節的把控，網絡結構在采用擴張卷積與殘差跳躍連接的基礎上，運用對抗網絡的思想，通過上下文全局和局部判別網絡，對物體輪廓劃分網絡在網絡結構上進行優化，以提高物體輪廓劃分效果，如圖1所示。

由圖1知，全局上下文判別網絡的輸入為縮放至256像素×256像素的整幅圖像，輸出為輸入圖像是真實圖像的概率。全局上下文判別網絡的作用是監督物體輪廓區域劃分網絡能真實地將輪廓大小不同的礦石邊緣區域的劃分，確保所劃分的區域與全圖在屬性上保持上下文一致性。全局上下文判別網絡結構詳見表2。

表2 全局上下文判別網絡結構

為了實現屬性一致，在設計全局判別網絡的基礎上，設計了一個局部判別網絡用于雙路并行判別，見圖1。由于局部判別網絡的圖像尺寸為全局判別網絡的一半，所提取的特征相應地減少，為提升判別效果和減少網絡訓練時的計算消耗的角度考慮，加之卷積核與步長的影響，在局部判別網絡結構設計時移除了全局判別網絡的第1層。雖然局部上下文判別網絡在結構上與全局上下文判別網絡基本一致，但由于該判別網絡的輸入是包含區域劃分錯誤的128像素×128像素范圍的圖像，當圖像為真實圖像時，隨機選取全圖1/4大小的圖像塊作為輸入。局部上下文判別網絡的作用是增強圖像區域的細節表現，降低生成紋理的模糊程度。局部上下文判別網絡結構詳見表3。

表3 局部上下文判別網絡結構

對抗式損失用于提高物體輪廓劃分網絡的精度。全局和局部上下文網絡兩個子判別網絡各自輸出一個結果，根據子判別網絡的權重綜合計算得到最終的判別結果，這樣做既有助于判別網絡的擬合，又能夠提高判別網絡的精度，間接提高了物體輪廓劃分的精度。

2.3 損失函數

為使物體輪廓劃分網絡模型能準確地對區域進行劃分，取得較高的準確率，本文使用了多個損失函數進行屬性一致的物體輪廓劃分網絡的訓練。

2.3.1 ReUnet損失

設圖像判別網絡用函數D(x,Mc)表示。為避免反向傳播訓練不穩定性的不利影響，采用洛瓦斯損失函數作為第1階段ReUnet網絡的最小損失函數，見式(5)。

2.3.2 對抗式損失

設圖像判別網絡用函數D(x,Md)表示。在網絡模型訓練的第3階段，物體輪廓劃分網絡和圖像判別網絡串聯訓練、聯合優化，對于整個圖像Re-Unet模型，優化函數可以定義為

其中，Md表示隨機區域，期望值為一個訓練批次中圖像x的像素平均值。

結合圖像ReUnet損失和對抗式損失，得到最終的聯合優化函數為

其中，λ1和λ2分別為物體輪廓劃分和對抗式損失的權重，經多次實驗總結得到權重參考值為λ1=0.9,λ2=0.01。聯合優化函數適用于訓練的第3階段，即物體輪廓劃分網絡與圖像判別網絡聯合訓練，此階段對物體輪廓劃分模型進行微調，提高物體輪廓劃分效果。

2.4 模型訓練

為加速網絡模型擬合并提高物體輪廓劃分的準確度，本文采用分階段訓練的方式，交替訓練物體輪廓劃分網絡和圖像判別網絡，具體訓練步驟如下：

輸入：附加錯誤劃分區域的圖像X

輸出：正確劃分區域的圖像Y

步驟 1 從訓練集中隨機抓取圖片并做縮放、隨機翻轉等預處理。

步驟 2 第1階段訓練

(1)用隨機大小的錯誤劃分區域的圖像Mc輸入物體輪廓劃分網絡，進行圖像的區域劃分；

(2)根據輸入、輸出圖像，用式(5)計算ReUnet損失，并更新物體輪廓劃分的網絡參數。

步驟 3 第2階段訓練

(1)用隨機大小錯誤劃分區域圖像Md輸入參數固定的物體輪廓劃分網絡進行圖像區域劃分；

(2)并采用二分類交叉熵損失(BCE_Loss)計算圖像判別損失，并更新圖像判別網絡參數。

步驟 4 第3階段訓練。

(1)用隨機大小錯誤劃分區域圖像Md輸入參數固定的物體輪廓劃分網絡進行圖像區域劃分；

(2)將物體輪廓劃分網絡與物體輪廓劃分判別網絡聯合訓練，用式(7)計算物體輪廓劃分損失，根據聯合損失對整體網絡模型進行微調。

3 實驗驗證

本文的實驗在Ubuntu18.04.2系統下的Pytorch 1.1.0進行訓練和測試。硬件環境為Intel?CoreTMi7-8700K處理器(3.70 GHz)、32 GB內存、NVIDIA GTX 1080Ti顯卡。物體輪廓劃分網絡模型進行一次完整的訓練需要28 h左右，整個訓練周期約為14 d。訓練好的模型圖片輪廓劃分時間約為5 fps。

傳統輪廓劃分方法是以圖像物體邊緣特征提取、像素間變化為分割基準，進行物體區域劃分，因此出現了將一個大礦石作為(劃分成)多個小礦石和將多個小礦石作為(劃分成)一個大礦石的現象。

為解決上述問題，確保大礦石劃分的準確率，實驗制作了2300余樣物體輪廓樣本，并按樣本的長、寬、投影面積等進行了劃分。

為驗證ReUnet在物體輪廓劃分特別是礦石分析中的有效性，并應用到礦石粒度檢測儀皮帶運輸機上，根據礦石輪廓劃分準確標準，對礦石輪廓劃分進行了驗證；分別進行了大礦石劃分實驗、小礦石劃分實驗和整體劃分實驗；并在每類實驗中，與自動閾值劃分方法的結果進行了對比，實現了主觀效果和客觀指標的橫向對比，綜合評估了本文提出的模型。

3.1 實驗樣本的制作

由于礦石粒度采集的隨機性，無通用的礦石粒度采集樣本可用，因此，在實驗中自行自制樣本。在樣本制作中，由于所抓拍的圖像是將立體的礦石在2維圖像中展示出來，所以在標注中，將具有一定高度的物體及在不同方向下光照所產生的陰影面，均作為物體的輪廓，一并標注為物體所在區域；這樣，對于不規則形體礦石，避免了由于亮度不同所產生的像素顏色值的差異信息。

圖2給出了根據礦石的長度Length、寬度Width、面積Area劃分的大、較大、中、小、較小5個等級、不同顏色的標注礦石。

圖2 不同等級的樣本制作圖

3.2 實驗結果與分析

圖3為實驗欲劃分的樣本原始圖；圖4為傳統方法劃分的物體輪廓標注圖。

(1)大礦石輪廓劃分實驗。圖5為經本文提出的物體輪廓劃分網絡ReUnet所標注出的大礦石標注區域圖。

從圖4(a)與圖5(a)可以看出，傳統方法將圖3(a)中右側的2個大礦石劃分為若干個小礦石；同樣圖4(b)—圖4(e)與圖5(b)—圖5(e)均存在將大礦石劃分為多個小礦石的情況。圖3(b)所示的區域A中，由于存在大量不成粒度的巖土和小顆粒覆蓋，傳統方法可將區域A錯誤地標為若干個小粒度礦石，本文方法無法將此區域小顆粒下的大礦石標注出來。

圖3 原圖片

圖4 傳統方法的礦石輪廓劃分圖

圖5 ReUnet大礦石輪廓劃分圖

通過對礦石粒度生成儀每天84個時間段，1個月的圖片進行分析后，得出表4中不同方法大礦石輪廓劃分的百分比。

表4 大礦石輪廓劃分準確率

為確保大礦石在運輸中皮帶不出現卡、頓等現象，表4給出了大礦石輪廓劃分的準確率。其中：傳統方法是采用了灰度的2維Otsu自動閾值分割方法得到的結果，ReUnet則為本文提出的物體輪廓劃分模型劃分的結果。

對ReUnet實驗結果進行說明：在1470張礦石圖片中含有大礦石2370個，2364個大礦石被準確地分割了出來，故準確率為99.75%，有5個非大礦石錯誤地劃分成了大礦石，另有3個大礦石沒有被準確地分割出來，故誤判率0.21%。在大礦石區域劃分時，對所劃分出的區域面積占大礦石本身區域的90%以上，80%～90%,70%～80%和60%～70%的情況進行了統計，ReUnet在區域面積90%以上的大礦石為2301個，80%～90%的大礦石63個；而傳統的方法對大礦石所占60%區域進行了劃分后，周圍的區域劃分成了若干的小礦石。

由于ReUnet沒有對大礦石區域面積所占比例低于80%進行錯誤劃分的情況發生，說明該模型對具有一定高度的物體，均能夠忽略其在不同方向下光照所產生的陰影面，而是以物體的輪廓為基準，一并標注為大礦石區域，同時說明了全局和局部上下文判別網絡的有效性。

(2)小礦石輪廓劃分實驗。圖6顯示的是經本文提出的物體輪廓劃分網絡ReUnet所標注出的小礦石標注區域圖。

圖4(a)與圖6(a)為小礦石傳統輪廓劃分與ReUnet輪廓劃分圖。從圖中可以看出，由于傳統方法將圖右側的2個大礦石劃分為若干個小礦石，這樣小礦石劃分的準確率將降低；同樣圖4(b)—圖4(e)與圖6(b)—圖6(e)均存在將大礦石劃分為多個小礦石的情況，以圖3(d)中物體o為例，由于傳統方法僅將該物體上表面作為物體的輪廓，見圖4(d)，而未將厚度所占據的區域作為整體輪廓，這樣將會造成其輪廓誤差偏大，而ReUnet則最小地降低了該誤差，見圖6(d)。表5為小礦石輪廓劃分結果。

表5 小礦石輪廓劃分結果

圖6 小礦石輪廓劃分圖

ReUnet實驗結果說明：在1470張礦石圖片中共含有小礦石28812個，其中28518個小礦石被準確地分割了出來，故準確率為98.98%；294個非小礦石錯誤地劃分成了小礦石，故誤判率1.02%。

由于ReUnet對小礦石進行劃分時，極小礦石疊加誤識為小礦石的誤判率僅為1.02%，說明ReUnet模型對小礦石劃分時，也具備忽略其在不同方向下光照所產生的陰影面，而是以物體的輪廓為基準，一并標注為小礦石區域，再次驗證了全局和局部上下文判別網絡的有效性。

(3)整體輪廓劃分實驗。圖7顯示的是經本文提出的物體輪廓劃分網絡ReUnet所標注出的礦石標注輪廓區域圖。

從圖4與圖7可以看出，除大、小礦石外，傳統方法在進行礦石區域劃分時，均存在以表面像素變化進行判別的情況；ReUnet模型也存在當大面積區域出現時，而無法進行判別而錯判的情形，以圖3(e)中A區域為例，在圖7(e)，整體確認為較大礦石的情形。為減少當極小礦石聚集和光線照射，出現由小集聚成大礦石的情況，應注重樣本的采集及模型的訓練，改善此類情況的發生。

圖7 礦石輪廓劃分圖

4 結束語

本文提出了一種基于屬性一致性、結合生成式對抗網絡思想的物體輪廓劃分模型，用于更好地解決皮帶運輸中礦石粒度生成儀進行礦石輪廓劃分方法。該模型從圖像全局語義理解、全局與局部屬性一致的角度出發，針對現有工作存在的問題，借鑒U-net網絡，提出一種新的物體輪廓劃分模型ReUnet，通過多方面的改進完善，使模型更加有效地對礦石進行輪廓劃分，特別是對大礦石的劃分具有極其優良的效果。盡管深度學習具有強大的學習能力和表示能力，由于巖石的特性不一，礦石采集中所涉及場景隨機性較強，因此本文所提出方法可以根據不同巖層地帶條件的實際情況，對訓練集的制作達到精良，并需要對網絡模型進行調整并進行遷移學習(transfer learning)、微調(fine-tune)等操作，在其訓練難度與時間代價均在可接受的范圍內，以便達到更好的效果。