多類別標簽弱監督語義分割熱力圖生成算法

遲津生，楊大偉，毛 琳

(大連民族大學 機電工程學院，遼寧 大連 116605)

基于圖像級標簽的弱監督語義分割(Weakly-Supervised Semantic Segmentation，WSSS)由于標注成本較低而備受關注，其標注依據不同的監督強度可分為點、類標簽、邊框和涂鴉等。類標簽僅指明類的存在，邊框和涂鴉提示了對象的空間范圍，而點指示了對象的位置。在上述標注中，類標簽的圖像獲取方式是最經濟高效的，但同時監督信息最弱，其難點在于如何將圖像的類標簽信息精準映射到圖像的每個像素點，賦予像素點語義標簽。目前，使用圖像級標簽的弱監督語義分割方法大多基于可視化的兩階段方法。首先，訓練分類網絡，通過初始定位獲得偽像素級掩碼；其次，利用生成的偽掩碼作為監督信息訓練語義分割網絡。目前弱監督語義分割的方法主要集中在生成高質量的偽像素級掩碼，而所有的圖像級弱監督語義分割算法都使用了類激活映射(Class Activation Map，CAM)獲取偽像素掩碼。CAM的本質是利用交叉標簽約束的先驗，根據分類模型提供的信息定位圖像中的種子區域，利用種子區域生成偽像素掩碼。CAM是粗定位，通常無法覆蓋目標類的整個語義區域，導致偽像素掩碼邊界粗糙和丟失，造成分割結果和目標邊界不匹配，這也是目前弱監督語義分割算法性能的主要限制。

類標簽弱監督語義分割多通過CAM算法得到種子區域以獲得偽像素標簽，之后進行傳播得到分割結果。但由于CAM的固有特點，經CAM生成的偽像素掩碼質量較低。隨著改進CAM算法的方法不斷涌現，Zhou等[1]提出CAM技術，并演示將不同卷積核大小、卷積層數量的CNN作為無監督對象檢測器的功能，一副圖像經過CNN可以給圖像中的內容打上標簽，通過使用CAM，可以將CNN生成類別標簽過程中關注的區域可視化成熱力圖，使深度學習所做的決策具有可解釋性。然而，CAM需要為每個類分別訓練對應的線性分類器，計算量龐大并殘留大量的不確定像素點，導致生成熱力圖精度較低。Selvaraju等[2]提出Grad-CAM，結合CAM的類條件屬性和像素空間梯度可視化技術，如反向傳播和反卷積，強調圖像細粒度元素，使生成的熱力圖精度更高，提高基于CNN模型的可解釋性。GradCAM++[3]為梯度像素加權引入更可靠的表達式，提高分類效果，進一步提高像素分類精度。然而，基于梯度的CAM方法無法表示圖像中的真實信息，因為激活映射的權重沒有得到證實，所以基于梯度的CAM方法魯棒性較差[4]。為此，Wang等[5]提出了Score-CAM，利用每個像素在目標類的前向傳播得分獲得其權重，不依賴梯度生成熱力圖，而是將權重和激活映射線性組合得到最終結果。但Score-CAM沒有考慮像素之間的關系，導致錯誤分類的情況出現，造成熱力圖精度較低[6]。基于RelatianceCAM方法[7]生成的類激活映射圖具有良好的類辨別能力，但其熱力圖存在噪聲，使其無法獲得高精度熱力圖。針對CAM無法生成高精度熱力圖的問題，Chen等[8]提出利用圖像上的某個區域將其周圍相似的像素點通過迭代逐步擴充到一起的方案，得到擴充結果并將該區域稱為種子區域，利用此方案，Chen將粗定位圖作為初始種子區域展開，在展開過程中采用條件隨機場(Conditional Random Field，CRF)保持預測與邊界的重合，使像素分類變得更加準確，從而得到精度更高的熱力圖，但該熱力圖只關注影響深度學習分類結果的區域，而忽略了圖像內的其他信息，導致圖像內殘留大量不確定像素點。

針對圖像中不確定像素點的分類問題，本文提出多類別標簽熱力圖生成算法(Multi-Category Class Activation Map，MU-CAM)算法，通過將種子區域內的像素與特征圖進行相似度評分，構造一種注意力機制，使種子區域內的所有像素點都可以被重新分類，由此生成包含更多語義信息的熱力圖。利用邊界探索網絡(Boundary Exploration Network，BENet)[9]的結果校正MU-CAM的邊界圖，最后使用CRF融合優化熱力圖和邊界圖，得到分割結果。該結果在高精度熱力圖的幫助下，像素分類更加準確，可將原本區分錯誤或無法區分的像素正確分類，提高了分割精度。

1 MU-CAM算法

1.1 問題分析

在弱監督語義分割中，由于弱監督學習的固有特點，在語義分割過程中會出現大量不確定像素點[10]。而傳統CAM只關注影響深度學習分類結果的像素點，并未關注不確定像素點對弱監督語義分割精度的影響，導致CAM只能作為可視化工具[11]。為提高像素點分類的準確性，本文提出了MU-CAM算法，通過多類別標簽，將弱監督語義分割轉化為不確定像素點區域和確定像素點區域的分類問題，再利用多類別標簽和特征圖構造注意力機制，使分類結果更準確，從而生成高精度熱力圖，改善弱監督語義分割算法的表現。

CAM和MU-CAM熱力圖對比如圖1，其中圖1a為CAM生成的熱力圖，注重相關性；圖1b為MU-CAM生成的熱力圖，注重相關性和權重大小。

a)CAM熱力圖 b)MU-CAM熱力圖

在CAM生成的熱力圖中，熱力信息更多集中在目標鳥的頭部，而身體等其他部位被嚴重低估，從而導致較多像素點無法合理進行標簽分類，形成了殘留的不確定像素點。MU-CAM通過關注每個目標中有哪些像素點，得到精度更高的熱力圖。圖1b中可以清楚看到熱力圖幾乎覆蓋鳥的全身，提高熱力圖精度可以使不確定像素點減少，像素分類更準確。

1.2 多類別標簽熱力圖生成算法

定義1：如果像素點在前景和背景的相似度得分差不大于ε，則網絡不能對該像素點正確分類，即該像素點為不確定像素點，全體不確定像素點的集合簡稱不確定類。

定義2：設輸入圖像內的像素為i，則像素i和特征圖進行相似度計算公式為

(1)

定義3:設圖像分割結果為I，I在同一幅圖像中固定不變，則每張圖像的I=P前景+P背景+δ。其中，P前景表示該圖像中前景類像素點集合；P背景表示該圖像中背景類像素點集合；δ表示該圖像中不確定類像素點的集合。

δ=α前景+β背景+Δδ 。

(2)

式中：α前景為不確定類集合內本該屬于前景類的像素；β背景為不確定類集合內本該屬于背景類的像素；Δδ為本網絡無法進行區分的像素，則有公式：

I=(P前景+α前景)+(P背景+β背景)+Δδ 。

(3)

CAM雖然關注圖像像素和分類器之間的關系，使得弱監督語義分割的發展成為可能，并減少對人工標注的依賴，降低訓練網絡成本[12]。但CAM忽略了弱監督學習產生的不確定信息，也沒有關注每個類別中有哪些像素點，導致熱力圖生成精度較低[13]。MU-CAM算法通過利用特征圖對種子區域的像素點進行相似度評分，將圖像內像素點分為前景類、背景類和不確定三類像素，再利用特征增強后的特征圖對不確定類像素點進行相似度打分，將不確定像素點分類為前景或者背景，以此減小Δδ。不確定像素點減少，像素的分類更加準確。利用種子區域生成熱力圖的可視化結果如圖2。

圖2 基于種子區域生成熱力圖可視化像素分類

圖像經種子區域劃分為多類之后，輸入圖像的大部分像素點可以被正確分類為前景或背景，但仍然會殘留許多不確定像素點，影響弱監督語義分割的效果。這時，通過增強特征圖的前景特征，對位于不確定類內的像素點和前景背景進行相似度評分。利用特征圖中所有像素和不確定類像素點的相似度判斷位于不確定類像素點的類屬，相似度得分高的像素屬于同一類，由此可以改善像素分類結果。最后，將像素分類結果等效成熱力圖，達到生成高精度熱力圖的目的。

對位于不確定類區域的像素點進行權重分配的邏輯如圖3。利用前景特征增強后的特征圖對位于不確定類區域的像素進行相似度判斷，并獲得相似度得分。相似度高的像素屬于同一類，故每個像素與相似度高的類之間的權重被設為1，與其他類的權重為0，以此進行每個不確定像素的重新分類。

圖3 不確定類像素權重分配邏輯圖

1.3 MU-CAM網絡整體結構

MU-CAM網絡的整體結構如圖4。MU-CAM網絡以CAM架構為基礎，首先對輸入圖像進行種子區域的劃分，得到多類別標簽，再利用特征增強的特征圖對種子區域內的不確定類像素點進行相似度評分，使像素分類更準確，生成高精度熱力圖；利用BENet生成的邊界圖與MU-CAM生成熱力圖的邊界圖構造損失函數，使邊界圖變得更加準確。最后將高精度的熱力圖和邊界圖進行條件隨機場優化，得到最終分割結果。

圖4 MU-CAM網絡整體結構

(4)

(5)

式中，Mc是c類別的類激活映射圖。

本文提出的MU-CAM利用前景和背景信息以提高熱力圖精度，給定一個輸入圖像和一個預先訓練的分類網絡。類激活映射K個前景類和背景可以表示為

(6)

Mb=α(1-max1≤k≤KMk)。

(7)

式中，Fs是網絡最后一層的語義特征。將處理后的背景激活映射與前景激活映射結合為一個整體，即M=Mk∪Mb，以幫助建模背景知識。

在構建背景知識之后，要對位于不確定域內的像素進行分類。

(8)

式中：?為卷積運算；j為特征圖上的空間索引；Si(j)表示像素i和j之間的相似度。

最后，利用相似度得分對位于不確定區域內的像素分配權重，使像素找到自己所屬類別：

(9)

2 實驗結果分析

2.1 實驗設置

硬件配置為NVIDIA GeForce RTX 3060顯卡，在Windows10操作系統中，編程環境Python3.6，采用Pytorch1.12.0深度學習框架進行訓練并測試網絡模型。以PascalVOC2012為基準數據集[14]，該數據集包括20個類別，1 464張用于訓練圖像，1 449張用于驗證圖像和1 456張用于測試圖像。按照語義分割的常用實驗協議，從SBD增強數據集中提取額外注釋，構建一個包含10 582張圖像的增強訓練集。在PascalVIC2012數據集下，批尺寸設置為4，學習率設為0.000 001，epoch設為5。

2.2 評價指標

為評價分割結果的準確性，以平均交并比(Mean Intersection over Union，mIoU)作為圖像語義分割評價指標，mIoU越大表示像素預測值與真實值的交集越大，分類結果越準確。mIoU的計算過程:

(10)

式中：(α+1)表示類別數目;i表示真實類別；j表示預測類別；pij表示像素值真實為i類但被預測為j類；pii表示正確將像素真實值預測為i；pji表示將像素真實值j類預測為i類。

2.3 仿真分析

MU-CAM利用增強特征后的特征圖對位于不確定類域內的像素點進行相似度評分，使位于不確定類域內的像素可以被正確分類，改善像素分類結果。其中，將ε設為0.05，采用前景特征增強，增強系數為1.10。針對不同增強系數對分割結果產生的影響進行消融實驗，實驗結果如圖5。

圖5 MU-CAM網絡整體結構

消融實驗結果表明，當背景不變，前景特征增強系數設為1.10時，弱監督語義分割的結果較高。根據定義1，不確定類像素點在前景和背景的相似度得分相近，所以在背景不變的前提下，對前景做特征增強處理。如果不確定類像素屬于前景類，當前景特征增強后，該像素點與前景的相似度得分會提高，由此可以將該像素點歸類為前景。如果該不確定像素點屬于背景，當前景特征增強后，該像素點與前景的相似度得分會降低，由此也可將該像素點歸類為背景。此外，當前景特征系數大于1.15后分割結果會降低，這是因為在對前景特征增強的同時，也增強了圖像中某些噪聲的強度，造成分割精度降低。基于以上消融實驗結果，最終將前景特征增強系數設定為1.10。

將像素分類等效成的熱力圖轉換為邊界圖，再與BENet生成邊界圖進行融合并經過CRF優化處理，得到最終的語義分割結果對比結果見表1。

表1 語義分割結果對比

實驗結果表明，在尺寸、迭代周期和學習率設置相同的條件下，MU-CAM算法mIoU為65.13%，相比CAM算法提高14.57%。為直觀比較輸入圖像經CAM和MU-CAM生成熱力圖的效果，結果對比如圖6。

通過對比熱力圖覆蓋區域，不難發現利用多類標簽MU-CAM對圖像信息處理更準確，使得位于物體不確定的像素點可以分類更精確，生成高精度熱力圖并使網絡在后續的處理中語義分割效果更好，解決了由于CAM忽略圖像內不確定信息導致無法改善弱監督語義分割結果的問題。

CAM與MU-CAM分割結果對比如圖7。圖中框內部分為使用CAM分割后確實或分類錯誤的部分。例如，在圖7b第(1)行對摩托車前方的三輪車尾部和上方摩托車輪胎未進行分割，而在使用MU-CAM后，分割效果明顯提升。

圖6 CAM和MU-CAM熱力圖對比

圖7 基于CAM和MU-CAM分割結果對比圖

3 結 語

弱監督語義分割過程中，不可避免地會產生許多不確定像素點，而這些不確定像素點會影響像素分類的準確性。本文提出一種多類別標簽弱監督語義分割熱力圖生成算法MU-CAM，該算法通過利用特征圖和多類別標簽構造注意力機制，使圖像像素點的分類更加準確，進而減少弱監督學習的不確定性影響，較大程度提高了不確定像素點的分類準確度，改善了弱監督語義分割的效果。MU-CAM算法可以提高弱監督語義分割在復雜環境下的分割精度，使弱監督語義分割可以更好地應用于無人車自主駕駛等領域。在未來工作中，將進一步解決弱監督學習的不確定性，提高弱監督語義分割的精度。