污染修復場地中基于顯著性的目標檢測方法

張寶峰，曹珍珍，朱均超*，劉 娜

（天津理工大學a.天津市復雜系統控制理論及應用重點實驗室，b.電氣電子工程學院，天津300384）

顯著性檢測是指人們在復雜、宏大的動態、靜態場景中可以快速定位感興趣物體、事件的能力。顯著性檢測的目的是經過視覺系統排除場景中冗余無用的信息，快速找出圖片、視頻等視覺數據中最吸引人注意的區域，減少大腦的決策負擔，從而使身體對外部刺激的反應更加迅速[1]。

顯著性檢測的經典模型主要有以下4種：1）認知模型。對于圖像，模型提取基本視覺特征：顏色（RBGY）、亮度和方向，在多種尺度下使用中央-邊緣操作體現顯著性度量的特征圖，將這些特征圖組合得到最終的顯著性圖后，利用生物學中的贏家取全競爭機制，得到圖像中最顯著的區域，它用于指導注意位置的選擇，之后通過返回抑制的方式完成注意焦點的移動[2]。該模型已變成自下而上視覺注意模型的標準。然而，該模型中顯著圖的生成通常由不同的初級特征圖在相應的合并策略下生成，有時會導致合成的顯著圖的大小和位置與目標存在一定的差異。2）決策論模型。從決策論的角度看，進化感知系統可以在決策論意義中產生對周圍環境的最優決策。決策理論中的注意模型既能表達自下而上的注意，又能表達自上而下的注意。它已成功地應用于計算機視覺領域，如分類、視覺位置預測等，取得了很高的精度。但該模型忽略了數據間的相關性，容易發生過擬合[3]。3）圖論模型。基于圖論的顯著性模型以眼動數據為時間序列，采用隱馬爾可夫模型、動態貝葉斯網絡和條件隨機場等方法，它可以對復雜的注意機制進行建模，從而獲得更好的預測能力。但是，當模型涉及訓練和可讀性時，它是高度復雜的[4]。4）頻域模型。基于頻域的顯著性模型，形式簡潔、易于實現，并在注意焦點預測和顯著區域檢測方面取得了很大的成功，但其生物合理性不是非常清楚。

在污染修復場地中，部分工作區域的有毒氣體含量過高且環境復雜，若未佩戴高級防毒面具的工作人員誤入這些危險的區域將會對工作人員的人身安全造成威脅，因此對于施工人員的實時防護在污染修復場地中是非常重要的。其中對施工人員的檢測結果，是決定實時防護是否能有效進行的根本。由于現場背景通常與4個圖像邊界中每一個局部或全局呈現外觀連通性，且前景呈外觀一致。本文將采用基于流形排序的自下而上顯著性檢測模型，同時考慮局部信息和全局信息，綜合利用圖像中背景、前景的先驗位置分布[5]及連通性通過流形排序方法得到最終顯著圖，以提高工作區域中人員檢測的精準度。

1 基于流形排序的顯著性檢測

流形排序指利用數據（如圖像）的內在流形結構進行圖形標注的排序方法。經典的基于流形排序顯著性檢測算法[6]是將超像素分割后構建的圖形，進行兩階段的流形排序算法。具體算法流程如圖1所示。

圖1 基于流行排序的顯著性檢測算法流程圖Fig.1 Flow chart of significance detection algorithm based on popular sorting

1.1 圖形構建

基于流形排序顯著性檢測的經典算法采用超像素分割的方法[7]，即在圖模型G中以超像素為節點E構造k-正則圖。使每個節點不僅連接到其相鄰節點，而且還連接到與其相鄰節點共享同一超像素邊界的節點。并且圖中4個邊界處的節點強制兩兩相連，構成封閉圖。

兩個節點之間的邊權重為：

其中，ci、cj表示CIELAB顏色空間中相鄰節點的超像素平均值；δ為控制邊權重的常數；V為由數據集X={x1，x2，…，xn}?Rm×n（m為特征維數）組成的節點。

1.2 第一階段的顯著性檢測

第一階段為背景先驗的流形排序算法[8]，將圖像各邊界節點作背景種子點，利用其他節點與背景種子點的相似度排序代替顯著性，由此得到第一階段的顯著圖。

以圖像的上邊界為例。將邊界上的節點設為背景種子點，其他為未被標記的節點，可以得出指示向量y。定義指示向量y=[y1，…，yn]T，當xi為種子點時yi=1，否則yi=0。

根據公式（2）可以計算出所有節點的排序向量f*（f*是N維向量，每一元素均為節點與背景種子點的相關性）。

其中，D為圖的度矩陣D=diag{d11，…，dnn}，參數α=1/（1+μ）實驗時設為0.99；W為關聯矩陣W=[wij]n×n。

將向量f*歸一化至[0，1]，則超像素節點i的顯著性為：

其中，N為圖像的節點總數；f*（i）為超像素節點i的歸一化向量。

由此可以得到使用上邊界先驗的顯著圖St。同樣，通過計算不同的指示向量y，可以使下、左、右邊界的超像素節點作為背景種子點來計算顯著圖Sb、Sl、Sr。將4個得到的顯著圖融合，即為第一階段顯著圖Sbq：

1.3 第二階段的顯著性檢測

第二階段為前景上的流形排序算法[9]，先利用自適應閾值分割處理第一階段的顯著圖，得出前景種子點。由此可得指示向量y，經公式（2）可計算出排序向量f*，將其歸一化后再利用流形排序方法加強，即為最終的顯著圖Sfq：

其中，N為圖像的節點總數，f*（i）為超像素節點i的歸一化向量。

基于流形排序問題的模型如圖2所示。

圖2 基于流行排序問題的模型示意圖Fig.2 Model diagram based on popular ranking problem

2 本文算法

雖然經典的基于流形排序的顯著性檢測方法在一些數據集上對其準確率以及運行速度進行了驗證，并得到了較好的結果。但在本課題的研究背景下，最終得到的人員檢測顯著圖由于環境的影響其結果并不是十分滿意。因此，本文在經典算法的基礎上進行了相應的改進。

2.1 調整權重

由于連接區域中的超像素很可能同屬于前景目標或背景。在保留流形排序方法構造的正則圖基礎上，本文將屬于同一連通區域的超像素連接起來。將公式（1）定義的邊權重重新定義為

其中，Ci和Cj是CIELab顏色空間中節點i和j的連接區域取值，包含所有超級像素的平均顏色；λ是平衡系數，取值為0.50；實驗時，

根據公式（6）調整邊權重，使屬于同一連接區域的節點之間的連接更強。與公式（1）中邊緣權重的設置相比，它更容易區分，更符合人類視覺的直觀感受[10]。

2.2 調整參數

經典的基于流形排序顯著性檢測算法在設置超像素塊時，一般將圖片劃分為200個超像素塊。通過實驗，本文對效率和精度進行了綜合測試，認為使用300個超像素塊可以獲得更精確的結果，而在時間成本方面，它與劃分200個超級像素塊所需的時間略有不同。

分割的超像素塊愈精細，控制節點間權重強度的δ也應適當變大，補償像素塊增多引起的權重衰減。本文通過實驗，將δ12=δ22設為0.20。然后根據δ2的值，找到最佳的α值為0.90。

3 實驗與驗證

本文的實驗平臺系統為Windows10，軟件為Matlab R2017b Win 64版本，處理器為Intel（R）Core（TM）i5-3210M，主頻為2.50 GHz，內存為4.00 GB。

本文在實驗時，設置超像素的數量N=300；算法中的參數α、δ根據經驗設為α=0.90，δ12=δ22=0.20；經典算法參數設置為δ2=0.10、α=0.99[11]。本文改進方法與經典算法的實驗結果對比如圖3。

圖3 經典算法與本文算法視覺結果對比圖Fig.3 Comparison of the visual results between the classical algorithm and the algorithm in this paper

3.1 數據集

顯著性檢測算法至今發展為兩個分支，與此對應提出了兩種類型的數據集。一類為顯著性檢測評估提供了眼動數據標注，記錄人眼的注意位置及停留時長；一類為顯著性檢測提供像素級的顯著物體精確標注，利于顯著性物體的檢測結果對比，代表性數據集為MSRA10、MSRA10K和ECSSD。此外，數據集DUT-OMRON，同時提供上述兩種性能。由于不同數據集中所含圖像數量及分辨率均有差異，因此，大多數顯著性檢測的結果需在多個數據集中進行測試以反映顯著性檢測方法的性能。針對本文對目標進行顯著性檢測的研究目的，選定MSRA10K、DUT-OMRON兩個數據集為本文所用數據集。

3.2 評價方法

為了對實驗結果進行定量對比，本文采用準確率-召回率曲線（PR曲線）、接收器操作特性曲線（ROC曲線）下的面積（AUC）、F值（F-measure）3種評價指標[12]，將本文算法與經典算法在MSRA10K、DUT-OMRON兩個數據集上進行對比驗證。

PR曲線可以體現由閾值T把顯著圖V轉化成的二制圖M與給定標注G之間的關系，如公式（7）所示。在保證準確率P的前提下，召回率R越高則說明顯著圖V越準確。

與PR曲線類似，ROC也有多組點對組成，其中橫坐標為假陽性率FPR、縱坐標為真陽性率TPR。

曲線假陽性率越低，真陽性率越高，則說明顯著性圖V越準確。本文利用ROC曲線求出其下方面積AUC。該面積越大，代表FPR越小，同時TPR越大，相比于ROC曲線，AUC更能直觀的反映優劣。

F-measure只計算某個閾值T得到的PR點對，然后根據公式（9）得到的標量來衡量算法的優劣。本文在實驗時設置β2=0.30來強調精度。

兩種算法在MSRA10K、DUT-OMRON數據集上的對比結果如圖4、圖5所示。

圖4 兩算法在MSRA10K數據集上不同評價方法的結果Fig.4 The results of different evaluation methods of the two algorithms on MSRA10K data set

圖5 兩算法在DUT-OMRON數據集上不同評價方法的結果Fig.5 The results of different evaluation methods of two algorithms on DUT-OMRON data set

4 結論

本文通過對經典的基于流形排序顯著性檢測方法中權重以及相關參數的調整，對該算法進行了相應的改善。解決了原有算法在本文研究背景下檢測結果準確度低的問題。通過對兩種算法的最終顯著圖進行視覺對比，可以發現本文算法相較于原有算法在視覺效果上有一定的改進。同時，根據在MSRA10K、DUT-OMRON兩個數據集上進行的相應評估可以得出，本文算法在準確率、召回率等方面也得到了一定的改善。