基于選擇性注意機(jī)制的目標(biāo)區(qū)域提取研究*

王奕婷 高美珍 洪家平 陳英豪 喬豐收

（1.北京師范大學(xué)人工智能學(xué)院 北京 100875）（2.湖北師范大學(xué)物理與電子科學(xué)學(xué)院 黃石 435002）

（3.湖北師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 黃石 435002）

（4.中國(guó)人民解放軍91919部隊(duì) 黃岡 438000）（5.武漢船舶通信研究所 武漢 430079）

1 引言

在目標(biāo)檢測(cè)［1～3］領(lǐng)域，傳統(tǒng)的方法如方向梯度直方圖結(jié)合支持向量機(jī)［4～5］的算法在實(shí)時(shí)性和準(zhǔn)確率之間達(dá)到平衡，但對(duì)于遮擋和目標(biāo)方向改變的情況存在漏檢。為使結(jié)果更加精確，基于區(qū)域候選［6～7］的方法被提出并大量探索。這類(lèi)方法先提取目標(biāo)備選區(qū)域，然后訓(xùn)練神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)目標(biāo)檢測(cè)。但在保證準(zhǔn)確率的前提下，候選區(qū)域提取方法有一定計(jì)算復(fù)雜度且生成候選框的數(shù)量較多，造成后續(xù)訓(xùn)練和測(cè)試的計(jì)算量大，難以應(yīng)用于實(shí)時(shí)監(jiān)測(cè)的場(chǎng)景。

在現(xiàn)有模型的基礎(chǔ)上，引入選擇性注意機(jī)制［8～9］能夠更加高效地實(shí)現(xiàn)目標(biāo)備選區(qū)域提取。Ji等人在卷積神經(jīng)網(wǎng)絡(luò)中引入多尺度注意機(jī)制［10］產(chǎn)生顯著性映射圖，并在多個(gè)數(shù)據(jù)集上達(dá)到了更高的檢測(cè)精度。趙謙等［11］借鑒視覺(jué)注意模型生成顯著圖，能夠?yàn)V除部分干擾并對(duì)目標(biāo)區(qū)域進(jìn)行增強(qiáng)以達(dá)到更高的準(zhǔn)確率。但隨著外界環(huán)境的變化與目標(biāo)數(shù)量的增加，該方法表現(xiàn)欠佳且實(shí)時(shí)性不夠，需要更加高效的視覺(jué)注意機(jī)制模型。

近年來(lái)，構(gòu)建基于注意機(jī)制的算法模型逐漸成為研究熱點(diǎn)，并被廣泛應(yīng)用于分類(lèi)［12～13］、檢測(cè)［14］與分割［15］、目標(biāo)跟蹤與識(shí)別［16～17］、質(zhì)量評(píng)估［18］等多個(gè)領(lǐng)域。Itti等提出一種基于視覺(jué)注意的系統(tǒng)［19］，融合多尺度圖像特征并進(jìn)行疊加構(gòu)建顯著圖，能夠減少背景噪聲的干擾并實(shí)現(xiàn)不同場(chǎng)景下的目標(biāo)區(qū)域提取，但處理后圖像的邊緣信息丟失。在此基礎(chǔ)上，許永恩等引入邊緣信息的提取［20］以實(shí)現(xiàn)更精確的目標(biāo)檢測(cè)，但其在復(fù)雜場(chǎng)景下檢測(cè)精度不高，且較Itti模型運(yùn)算速度有所下降。為提高定位準(zhǔn)確率，Harel等提出基于圖的視覺(jué)注意（GBVS）模型［21］，在特定特征通道上生成激活圖，對(duì)其進(jìn)行歸一化得到顯著的區(qū)域。該模型在自然圖像場(chǎng)景下檢測(cè)準(zhǔn)確度高，但無(wú)法精確提取出目標(biāo)區(qū)域輪廓且運(yùn)算速度較慢。

針對(duì)上述問(wèn)題，本文提出并構(gòu)建一種基于選擇性注意機(jī)制的目標(biāo)區(qū)域高效提取模型。這種方法可以不依賴(lài)于光照、方向等其他底層特征，且不需要高性能設(shè)備的安裝，大大降低了運(yùn)算量。

2 背景建模

將二維尺度的圖像從空間域轉(zhuǎn)化到頻域，能夠根據(jù)不同的頻率成分來(lái)區(qū)分不同組成部分的信息。圖1展示了原始圖像及其變換后的結(jié)果。

圖1 原始圖像與變換圖示

圖1（a）為原始圖像，將給定的三通道RGB圖像轉(zhuǎn)換為灰度圖像，如圖1（b）所示。進(jìn)行二維離散余弦變換，得到對(duì)應(yīng)的幅度與頻率的變化關(guān)系。圖1（c）展示了變換后得到的頻域部分區(qū)域，采用灰度圖像的方式呈現(xiàn)，共分為256個(gè)灰階。隨著水平方向的自左向右和垂直方向的自上向下變化，頻率數(shù)值由小到大遞增。圖示表明，能量主要集中在低頻部分。

為進(jìn)一步觀察不同水平和垂直等級(jí)的數(shù)值變化情況，在離散余弦變換的結(jié)果中選擇部分的行和列，分別繪制水平和垂直方向的幅度-頻率關(guān)系曲線，如圖2和圖3所示。

圖2 水平方向的幅度-頻率關(guān)系曲線

圖3 垂直方向的幅度-頻率關(guān)系曲線

可以看到，圖像中大部分信息存在于頻域中的低頻區(qū)域。對(duì)輸入信號(hào)的不同頻率成分的信息進(jìn)行變換和分析，能夠去除部分冗余信息并突出較為顯著的目標(biāo)區(qū)域。根據(jù)以上分析，構(gòu)建模型并進(jìn)行理論分析。

3 模型算法

本文提出一種基于頻域分析的計(jì)算模型，操作步驟分為預(yù)處理和算法實(shí)現(xiàn)兩部分。先對(duì)圖像進(jìn)行預(yù)處理，再通過(guò)分析頻譜信息并進(jìn)行函數(shù)映射與差值計(jì)算，提取目標(biāo)區(qū)域。

3.1 預(yù)處理

讀入原始圖像并統(tǒng)一調(diào)整格式，采用加權(quán)平均法將彩色圖像轉(zhuǎn)為灰度圖像，如式（1）。

其中，x、y分別為輸入圖片的水平和垂直位置，R(x，y)、G(x，y)、B(x，y)為輸入圖像每個(gè)像素對(duì)應(yīng)的紅、綠、藍(lán)通道的值，f(x，y)為變換得到的灰度圖像。在不影響圖像的有效信息表示和目標(biāo)提取準(zhǔn)確度的前提下，設(shè)置圖像大小為原來(lái)的一半可以提高后續(xù)的運(yùn)算和處理速度。

3.2 模型構(gòu)建

為去除圖片中的部分冗余信息，構(gòu)建計(jì)算模型如圖4所示。

圖4 基于選擇性注意機(jī)制的區(qū)域備選流程圖

預(yù)處理得到的f(x，y)作為輸入信號(hào)，其中，圖像的長(zhǎng)為M，寬為N，0≤x≤M，0≤y≤N。對(duì)輸入的信號(hào)進(jìn)行二維離散余弦變換，從空域轉(zhuǎn)換到頻域。

式中 0≤u≤M，0≤v≤N，DCT代表對(duì)信號(hào)進(jìn)行離散余弦變換，u、v是變換后二維數(shù)組的坐標(biāo)，F(xiàn)(u，v)為不同頻率坐標(biāo)位置的系數(shù)值。將F(u，v)的相位信息記為φ(u，v)。圖像的相位包含了數(shù)據(jù)的空間位置信息，因此提取出來(lái)可以在幅值進(jìn)行映射變換后重構(gòu)顯著區(qū)域圖。

構(gòu)造式（3），在頻域中對(duì)幅值信息進(jìn)行映射。定義a為補(bǔ)償因子，當(dāng)a取值為10時(shí)，特性曲線如圖5所示。

圖5 映射函數(shù)特性曲線

其中，x為輸入信號(hào)，g（x）為輸出。這里的輸入信號(hào)為|F(u，v)|，也即經(jīng)過(guò)離散余弦變換后的幅度。

將F(u，v)經(jīng)過(guò)函數(shù)g(x)映射變換的函數(shù)記為G(u，v)，采用鄰域平均法對(duì)輸出信號(hào)處理得到I(u，v)。通過(guò)數(shù)值作差，在變換域中減去相對(duì)冗余的成分，而保留較為顯著的成分，將差值結(jié)果記作H(u，v)。

在變換域中構(gòu)建式（5），將形狀信息與幅值信息結(jié)合在一起。

對(duì)Hf(u，v)進(jìn)行二維離散余弦逆變換，得到變換后的信號(hào)h(i，j)。

式中IDCT表示對(duì)信號(hào)進(jìn)行二維離散余弦逆變換。再對(duì)恢復(fù)的信號(hào)進(jìn)行絕對(duì)平方運(yùn)算并進(jìn)行線性濾波，記得到的結(jié)果為hn(i，j)，如式（7）、（8）、（9）。

其中，p(i，j)為n階矩陣。對(duì)hn(i，j)進(jìn)行直方圖均衡化得到輸出，即為目標(biāo)備選區(qū)域圖。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)統(tǒng)一采用Intel（R）CoreTMi5-7200U CPU@2.50GHz、4.00GB RAM的硬件配置和Matlab R2018b的軟件環(huán)境，比較本文提出的算法與Itti提出的視覺(jué)注意模型和基于圖的視覺(jué)顯著性（GBVS）模型的處理效果與運(yùn)算速度。

選用SOD數(shù)據(jù)集和INRIA Person數(shù)據(jù)集進(jìn)行測(cè)試和驗(yàn)證。其中，SOD數(shù)據(jù)集包含300張不同目標(biāo)類(lèi)別的自然場(chǎng)景圖像及對(duì)應(yīng)的人工標(biāo)注過(guò)的目標(biāo)區(qū)域圖，用于定量評(píng)估模型效果。INRIA Person數(shù)據(jù)集共有2573張圖片，被分為訓(xùn)練集和測(cè)試集，每集合包括正樣本和負(fù)樣本。正樣本中包含多種類(lèi)型的行人目標(biāo)圖片；負(fù)樣本為不包含行人的其他場(chǎng)景圖片。訓(xùn)練集和測(cè)試集的正樣本中分別包含2416和1126個(gè)不同姿態(tài)的人物。

4.2 實(shí)驗(yàn)驗(yàn)證

4.2.1 定量評(píng)估

在SOD數(shù)據(jù)集上進(jìn)行測(cè)試并采用檢測(cè)精度（precision）作為評(píng)估指標(biāo)，如式（10）。其中，TP表示被正確地劃分為正例的個(gè)數(shù)，F(xiàn)P表示被錯(cuò)誤地劃分為正例的個(gè)數(shù)。

分別用本文構(gòu)建的模型、Itti模型和GBVS模型處理SOD數(shù)據(jù)集上的圖像，將其結(jié)果與人工標(biāo)注的目標(biāo)區(qū)域圖比較并根據(jù)上式計(jì)算得出預(yù)測(cè)精度值，如表1。

表1 不同方法在SOD數(shù)據(jù)集評(píng)估結(jié)果

采用本文提出的算法得到的檢驗(yàn)精度為0.5641，Itti提出的模型精度為0.5184，GBVS模型的精度為0.6132。該算法的精度介于Itti模型與GBVS模型之間，說(shuō)明在自然場(chǎng)景目標(biāo)的數(shù)據(jù)集上表現(xiàn)優(yōu)良。

4.2.2 實(shí)測(cè)效果

行人檢測(cè)作為一個(gè)特殊領(lǐng)域，超出了一般的目標(biāo)檢測(cè)。為進(jìn)一步驗(yàn)證該方法的效果，選用INRIA Person數(shù)據(jù)集作為實(shí)驗(yàn)測(cè)試數(shù)據(jù)，該數(shù)據(jù)集包含有公路、街道、商場(chǎng)、山地、橋梁、湖泊、雪地等室內(nèi)外的多種場(chǎng)景，能夠較為全面地體現(xiàn)不同場(chǎng)景下的樣例。

分別采用本文提出的算法、Itti提出的模型和GBVS模型對(duì)INRIA Person數(shù)據(jù)集進(jìn)行處理，圖6展現(xiàn)了不同方法處理的效果。其中，左側(cè)的（a）欄為原始圖片；（b）欄為本文方法處理后的目標(biāo)備選區(qū)域圖；（c）欄為Itti模型處理結(jié)果圖；（d）欄為基于圖的視覺(jué)顯著性模型計(jì)算結(jié)果。

圖6 原始圖像與不同算法處理結(jié)果

可以看到，本文處理結(jié)果比Itti模型和GBVS模型提取出的區(qū)域輪廓更加精確，并且在不同天氣、不同背景、不同數(shù)量行人的情況下都能完整地提取出行人所在區(qū)域，具有優(yōu)越的表現(xiàn)。

4.2.3 運(yùn)算速度

統(tǒng)計(jì)本文算法、Itti提出的視覺(jué)注意模型以及基于圖的視覺(jué)顯著（GBVS）模型在INRIA Person數(shù)據(jù)集正負(fù)樣本的運(yùn)算時(shí)間如表2。該時(shí)間為讀取圖片、進(jìn)行數(shù)據(jù)預(yù)處理、模型計(jì)算、寫(xiě)入指定文件夾總共的時(shí)間。

表2 統(tǒng)一環(huán)境配置下的累計(jì)運(yùn)行時(shí)間

經(jīng)計(jì)算，本文提出算法平均每張圖片的實(shí)測(cè)時(shí)間約為 0.061s，Itti模型約為 0.2273s，GBVS模型約為0.4978s。統(tǒng)一條件下與Itti模型及GBVS模型相比，該方法平均每張圖片的處理時(shí)間降低了一個(gè)數(shù)量級(jí)，顯著提升了運(yùn)算速度。不同方法在數(shù)據(jù)集上的平均運(yùn)行時(shí)間如表3。

表3 統(tǒng)一環(huán)境配置下的平均運(yùn)行時(shí)間

5 結(jié)語(yǔ)

針對(duì)目前引入視覺(jué)注意機(jī)制的目標(biāo)檢測(cè)方法計(jì)算量大且難以適應(yīng)復(fù)雜背景與多目標(biāo)場(chǎng)景檢測(cè)的問(wèn)題，本文提出一種基于選擇性注意機(jī)制的模型，能夠?qū)δ繕?biāo)區(qū)域進(jìn)行高效提取。該模型基于數(shù)據(jù)驅(qū)動(dòng)，不需要有關(guān)場(chǎng)景的先驗(yàn)信息，采用便攜采集設(shè)備即可實(shí)現(xiàn)，因此具有較強(qiáng)的適用性。在SOD數(shù)據(jù)集上，本文方法的檢測(cè)精度高于Itti模型。結(jié)果表明該方法顯著提升了運(yùn)算速度，在INRIA Person數(shù)據(jù)集上平均每張圖片處理時(shí)間為0.061s，相較Itti模型和GBVS模型每張圖片處理時(shí)間減少一個(gè)數(shù)量級(jí)，并且能夠更精準(zhǔn)地刻畫(huà)目標(biāo)的邊緣輪廓。