基于壓縮表示的實例分割方法

摘要： 針對目前實例分割領域掩膜表示高復雜度的問題， 提出一種新的圖像實例掩膜表征方法， 使用3個不依賴于任何先驗信息的表征單元表示并預測掩膜， 且以非線性解碼的形式復原掩膜，" 該方法可顯著降低圖像實例掩膜的表示復雜度和推理運算量. 基于這種表示方法， 構建一個高效的單階段實例分割模型， 實驗結果表明， 相對于其他單階段實例分割模型， 該模型在保證時間開銷基本相同的情況下能獲得更好的性能. 此外， 將該表征方法以最小改動嵌入經典模型BlendMask以重建注意力圖， 改進的模型相對于原模型的推理速度更快， 掩膜平均精度提升1.5%， 表明該表征方法通用性較好.

關鍵詞： 深度學習； 實例分割； 壓縮表示； 表征單元

中圖分類號： TP391.4文獻標志碼： A文章編號： 1671-5489（2023）04-0883-07

Instance Segmentation Method Based on" Compressed Representation

LI Wenju， LI Wenhui

（College of Computer Science and Technology， Jilin University， Changchun 130012， China）

Abstract： Aiming at the problem of high complexity in mask representation in the field of instance segmentation， we proposed a new mask representation method for instance segmentation， which used three repsesentation units that did not rely on any prior information" to represent and predict mask， and restored the mask in the form of nonlinear decoding. This method could significantly reduce the representation complexity and inference computation of image instance masks."" Based on the representation method， we constructed an efficient single-shot instance segmentation model. The experimental results show that compared to other single-shot instance segmentation models， the model can achieve better performance while ensuring that the" time cost is basically the same. Additionally， we embed the representation method with minimal modifications into the classic model BlendMask to reconstruct attention maps. The improved model has a" faster inference speed compared" to the original model， and the average accuracy of the mask is improved by 1.5%， indicating that the" representation method has good universality.

Keywords： deep learning; instance segmentation; compressed representation; representation unit

實例分割是計算機視覺領域最重要、 最復雜和最具挑戰性的任務之一， 其對圖像中的每個實例做像素級分割， 難度遠高于目標檢測. 近年來， 實例分割技術獲得了快速發展［1-3］. 隨著一階段目標檢測模型的日漸完善， 實例分割模型大多數基于一階段目標檢測器［4-6］構建， 并取得了較好的效果. 同時， 一階段目標檢測也推動了另一類實例分割架構的發展， 這類架構僅憑對目標檢測模型的最小化改動即可實現實例分割， 通常被稱為單階段（single-shot）實例分割［7-8］.

對于單階段實例分割架構， 實例掩膜的表示信息直接從頂層分支輸出， 如果沒有合適的掩膜信息表示方法， 該架構將會……