基于語義信息的精細(xì)化邊緣檢測方法

黃 勝，冉浩杉

（重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065）

0 概述

邊緣檢測是計算機視覺以及圖像處理領(lǐng)域的研究熱點，在早期被定義為檢測圖像像素強度中不連續(xù)的變化［1］，通過檢測圖像像素強度中的一階或者二階梯度變化信息提取圖像的邊緣。邊緣檢測算法主要有Sobel算子［2］、Canny 算子［3］等。傳統(tǒng)邊緣檢測算法雖然實時性好，但是容易受復(fù)雜自然場景的影響（如光照、自然噪聲等），需要人工設(shè)置閾值，且難以滿足不同場景下的要求。除傳統(tǒng)邊緣檢測算法之外，基于人工設(shè)計特征的邊緣檢測算法主要有基于信息論人工設(shè)計特征算法（如gPb 分割算法［4］、Pb 算法［5］）和基于學(xué)習(xí)人工設(shè)計特征的方法（如BEL算法［6］、Multi-scale算法［7］和Structured Edge 算法［8］等）。盡管基于人工設(shè)計特征的邊緣檢測方法具有較優(yōu)的性能，但對于人工設(shè)計特征的依賴限制了該方法性能的提升。

基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的方法是邊緣檢測的主要研究方向，文獻(xiàn)［9］利用CNN 學(xué)習(xí)到的深度特征提高邊緣檢測的準(zhǔn)確度。文獻(xiàn)［10］利用CNN 提取不同尺度的特征圖，融合預(yù)測圖像邊緣，提出端到端訓(xùn)練的整體嵌套邊緣檢測（Holistically-nested Edge Detection，HED）網(wǎng)絡(luò)。文獻(xiàn)［11］在HED 模型的基礎(chǔ)結(jié)構(gòu)上進(jìn)行改進(jìn)，提出用于邊緣檢測更豐富的卷積特征（RCF）模型，該模型添加了更多特征提取卷積塊，以提取更豐富的圖像特征并進(jìn)行融合。這些方法在伯克利分割（BSDS500）［12］等主流數(shù)據(jù)集指標(biāo)中具有較優(yōu)的效果。

基于CNN 的邊緣檢測方法能夠較準(zhǔn)確地提取具有語義信息的邊緣圖像，但其相較于經(jīng)典方法提取的圖像邊緣粗糙，且檢測到的邊緣線條較粗糙。在圖像分割任務(wù)中，基于CNN 的邊緣檢測方法能夠在分割圖像任務(wù)中得到精細(xì)的圖像邊緣，且提取到更豐富的邊緣語義特征。通過圖像分割任務(wù)中提取到的語義信息特征可以增強邊緣檢測任務(wù)，以學(xué)習(xí)到更精細(xì)的圖像邊緣特征。

本文提出一種基于語義信息的精細(xì)化邊緣檢測方法。在主干網(wǎng)絡(luò)中通過構(gòu)建圖像分割子網(wǎng)絡(luò)以學(xué)習(xí)圖像語義信息，將學(xué)習(xí)到的語義特征信息傳入邊緣檢測子網(wǎng)絡(luò)中進(jìn)行融合，并指導(dǎo)邊緣檢測網(wǎng)絡(luò)學(xué)習(xí)精細(xì)的圖像邊緣特征。同時，在邊緣檢測子網(wǎng)絡(luò)中引入具有注意力機制的SE（Squeeze-and-Excitation）結(jié)構(gòu)［13］進(jìn)行多尺度特征圖融合，并在訓(xùn)練中使用兩階段分步式訓(xùn)練策略，從而有效提高邊緣檢測的精細(xì)度。

1 精細(xì)化邊緣檢測方法

基于CNN 的邊緣檢測方法普遍存在圖像邊緣線條較厚、邊緣模糊等問題，本文提出一種語義指導(dǎo)的精細(xì)化邊緣檢測方法。在RCF 網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建子網(wǎng)絡(luò)用于圖像分割任務(wù)，通過圖像分割任務(wù)學(xué)習(xí)圖像中豐富的語義信息，利用學(xué)習(xí)到的語義信息指導(dǎo)邊緣檢測網(wǎng)絡(luò)，再通過深層監(jiān)督訓(xùn)練提高邊緣檢測精度。本方法的網(wǎng)絡(luò)架構(gòu)中同時進(jìn)行邊緣檢測和圖像分割任務(wù)，利用兩階段分步式訓(xùn)練策略訓(xùn)練網(wǎng)絡(luò)，整個網(wǎng)絡(luò)的訓(xùn)練采用端到端方式，其方法流程如圖1 所示。

圖1 精細(xì)化邊緣檢測方法流程Fig.1 Procedure of refined edge detection method

1.1 語義指導(dǎo)的邊緣檢測模型

語義指導(dǎo)的邊緣檢測模型的設(shè)計思想是對經(jīng)典邊緣檢測模型RCF 網(wǎng)絡(luò)進(jìn)行改進(jìn)，在主干網(wǎng)絡(luò)VGG16［14］左端構(gòu)建圖像分割任務(wù)，右端構(gòu)建邊緣檢測任務(wù)。語義指導(dǎo)的邊緣檢測模型分為圖像分割子網(wǎng)絡(luò)、邊緣檢測子網(wǎng)絡(luò)、多尺度特征融合模塊、語義融合模塊4 個部分，其結(jié)構(gòu)如圖2 所示。

圖2 語義指導(dǎo)的邊緣檢測模型結(jié)構(gòu)Fig.2 Structure of edge detection model with semantic guidance

1）圖像分割子網(wǎng)絡(luò)

為構(gòu)建圖像分割子網(wǎng)絡(luò)，本文在主干網(wǎng)絡(luò)的末端構(gòu)建一條拓展路徑用于反卷積操作，在拓展路徑上共由4 個反卷積組成，每個反卷積的卷積核為3×3，且使用雙線性插值法進(jìn)行初始化，通過將特征圖尺寸放大2 倍，使得主干網(wǎng)絡(luò)末端輸出的特征圖經(jīng)過拓展路徑后還原到原圖大小，同時利用分割圖像標(biāo)簽進(jìn)行監(jiān)督并輸出分割圖像。通過構(gòu)建的拓展路徑操作，主干網(wǎng)絡(luò)與拓展路徑能夠組成一個類似U-Net［15］的圖像分割子網(wǎng)絡(luò)，該子網(wǎng)絡(luò)能學(xué)習(xí)到更豐富的語義信息特征，并用于指導(dǎo)邊緣檢測子網(wǎng)絡(luò)學(xué)習(xí)更精細(xì)的圖像邊緣特征。

2）邊緣檢測子網(wǎng)絡(luò)

在主干網(wǎng)絡(luò)的不同階段中，邊緣檢測子網(wǎng)絡(luò)能夠提取不同尺度的邊緣特征，由于不同深度的階段感受野不同，因此提取到的特征層次也是不同的。例如在Stage_1 中提取到的低級細(xì)節(jié)特征較多，而語義特征較少；而Stage_5 中卻能夠提取大量的語義級別的高級特征和少量語義信息的細(xì)節(jié)特征。因此，主干網(wǎng)絡(luò)將提取到的不同尺度圖像特征信息送入到具有注意力機制的不同尺度特征融合模塊（SE Fusion）中進(jìn)行特征融合，在邊緣檢測標(biāo)簽的監(jiān)督下利用低級細(xì)節(jié)特征與高級語義特征輸出更精細(xì)的邊緣圖像。

主干網(wǎng)絡(luò)能夠提取更豐富的高級語義信息，在Stage_4 以及Stage_5 中加入混合膨脹卷積（Hybrid Dilated Convolution，HDC）［16］的卷積結(jié)構(gòu)，將Stage中的3 個卷積塊替換為膨脹率分別為1、2、5 的3×3大小的膨脹卷積核。主干網(wǎng)絡(luò)利用混合膨脹卷積的結(jié)構(gòu)，一方面在不增加額外參數(shù)的情況下擴大網(wǎng)絡(luò)中Stage_4 與Stage_5 的感受野，使得提取到的高級語義特征更加豐富，另一方面防止僅使用膨脹卷積造成的空洞過多，卷積核無法計算像素中的所有像素，導(dǎo)致圖像中像素信息連續(xù)性丟失。

本文方法將圖像分割子網(wǎng)絡(luò)的輸出與邊緣檢測網(wǎng)絡(luò)的最終輸出相融合，利用兩個子網(wǎng)絡(luò)的輸出特征圖進(jìn)行維度拼接并使用一個1×1 卷積進(jìn)行特征壓縮，最終在邊緣標(biāo)簽的監(jiān)督下得到邊緣圖像最終輸出，使得圖像分割子網(wǎng)絡(luò)輸出具有豐富語義信息的特征，指導(dǎo)邊緣檢測網(wǎng)絡(luò)進(jìn)行更加精細(xì)的邊緣檢測任務(wù)。

3）多尺度特征融合模塊

在邊緣檢測子網(wǎng)絡(luò)中，為了更好地融合不同尺度大小特征信息，并充分利用其中的高級語義特征和低級細(xì)節(jié)特征，本文結(jié)合SE 結(jié)構(gòu)提出一種帶注意力機制的特征融合模塊，其模塊結(jié)構(gòu)如圖3 所示。

圖3 多尺度特征融合模塊Fig.3 Multi-scale feature fusion module

本文利用SE 結(jié)構(gòu)區(qū)分重要特征通道和不重要特征通道，使得在帶SE 結(jié)構(gòu)的特征融合模塊中能夠抑制特征信息中不重要的低級細(xì)節(jié)特征，并增加重要的高級語義特征。主干網(wǎng)絡(luò)中各Stage 塊輸出不同尺度和不同通道數(shù)的特征圖，輸出的特征圖像分別具有42 和63 的通道數(shù)，經(jīng)過SE 模塊后這些通道數(shù)會被分配不同的權(quán)重，通過權(quán)重來區(qū)分重要的特征信息，以抑制不重要的特征信息。

SE 結(jié)構(gòu)能夠嵌入到各類殘差模塊中，本文為了避免因模型深度的增加導(dǎo)致重要特征信息丟失，在SE 模塊中加入ReNeXt［17］殘差結(jié)構(gòu)，實驗結(jié)果表明，加入ReNeXt 結(jié)構(gòu)的模型具有更優(yōu)的邊緣檢測效果。

4）語義融合模塊

本方法將分割子網(wǎng)絡(luò)與邊緣檢測子網(wǎng)絡(luò)輸出的特征圖像送入語義融合模塊，并進(jìn)行最終的語義指導(dǎo)融合。在此模塊中，為充分利用分割子網(wǎng)絡(luò)所提取的高級語義特征，本方法將帶有兩種不同語義信息的特征圖像進(jìn)行維度拼接（concat）操作后，再輸入到SE 模塊中賦予合適的權(quán)重。在本文語義融合模塊中的高級邊緣語義特征將得到較高權(quán)重并對其進(jìn)行加強，然而不重要的細(xì)節(jié)語義特征使用較小權(quán)重進(jìn)行抑制，使得邊緣檢測子網(wǎng)絡(luò)充分提取高級邊緣語義信息，最后使用1×1 卷積降維后輸出邊緣圖像。

1.2 語義信息指導(dǎo)的邊緣檢測模型訓(xùn)練策略

1.2.1 數(shù)據(jù)集增強

模型在BSDS500 數(shù)據(jù)集上進(jìn)行訓(xùn)練，該數(shù)據(jù)集同時具有圖像分割標(biāo)簽以及邊緣檢測標(biāo)簽，能夠滿足本模型雙標(biāo)簽訓(xùn)練的需求。BSDS500 數(shù)據(jù)集包含訓(xùn)練集圖像200 張，測試集圖像200 張，驗證集圖像100 張。模型因數(shù)據(jù)集過小導(dǎo)致訓(xùn)練出現(xiàn)過擬合，因此本文對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強操作，采用單樣本隨機數(shù)據(jù)增強方法，以保證數(shù)據(jù)增強后數(shù)據(jù)集的質(zhì)量。通過對訓(xùn)練集與驗證集中共300 張圖像進(jìn)行仿射變換、增強對比度、裁剪、翻轉(zhuǎn)等多種隨機操作，使得訓(xùn)練集中圖像增多到25 000 張。

1.2.2 模型損失函數(shù)

本模型是圖像分割任務(wù)以及邊緣檢測同時進(jìn)行的多任務(wù)網(wǎng)絡(luò)，需分別對2 個任務(wù)中的代價函數(shù)進(jìn)行定義，并利用圖像分割任務(wù)的結(jié)果進(jìn)行語義指導(dǎo)融合，最終輸出精細(xì)化邊緣預(yù)測圖像。模型的最終輸出也需要接受邊緣檢測標(biāo)簽的監(jiān)督，因此需要定義3 個代價函數(shù)。對于輸入圖像X，本文將其在圖像分割子任務(wù)中的預(yù)測圖像表示為Fseg，在邊緣檢測任務(wù)中的預(yù)測圖像表示為Fedg，最終輸出的邊緣預(yù)測圖像如式（1）所示：

其中：f(*|W)為特征圖融合操作；W為其中卷積操作的參數(shù)。對于圖像分割子任務(wù)的目標(biāo)損失函數(shù)，本文采用通用的交叉熵函數(shù)，如式（2）所示：

針對邊緣檢測中類別不平衡的問題，本文在邊緣檢測任務(wù)以及最終語義信息指導(dǎo)融合階段均采用加權(quán)交叉熵函數(shù)，如式（3）所示：

其中：|Y|為圖像像素總數(shù)；Y+和Y-分別為圖像中邊緣像素集和非邊緣像素集，其權(quán)重參數(shù)β=|Y-|/|Y|，則1-β=|Y+|/|Y|，通過這2 個權(quán)重參數(shù)來保護(hù)邊緣像素，以抑制非邊緣像素；為邊緣檢測子任務(wù)預(yù)測圖中的第i個像素；為在像素yi上的分類置信度；We為訓(xùn)練參數(shù)集合。

1.2.3 兩階段分步式訓(xùn)練

在網(wǎng)絡(luò)模型訓(xùn)練階段，本文采取兩階段分步式訓(xùn)練策略，使得在網(wǎng)絡(luò)中的兩個子任務(wù)得到更好的訓(xùn)練。在第一個階段中進(jìn)行兩端子任務(wù)的訓(xùn)練，此時模型的目標(biāo)損失函數(shù)如式（4）所示：

其中：λ為均衡系數(shù)，主要均衡兩端子任務(wù)目標(biāo)函數(shù)的比例，在本實驗中設(shè)置為0.5，在此目標(biāo)損失函數(shù)下將模型訓(xùn)練至基本收斂，且兩端子任務(wù)能夠輸出較好的預(yù)測圖像。

第二個階段的訓(xùn)練是在第一個階段模型收斂之后進(jìn)行的，對第一個階段訓(xùn)練得到的模型權(quán)重參數(shù)進(jìn)行固定，并指導(dǎo)融合階段邊緣圖像輸出的訓(xùn)練，此時模型的目標(biāo)損失函數(shù)如式（5）所示：

其中：Lfusion為加權(quán)交叉熵函數(shù)；Ffusion為語義指導(dǎo)融合后輸出的邊緣圖像。在第二個階段中將模型訓(xùn)練至收斂，在圖像分割子任務(wù)中語義信息指導(dǎo)下，模型能夠輸出精細(xì)的邊緣圖像。

2 實驗與結(jié)果分析

本文實驗在數(shù)據(jù)增強后的BSDS500 數(shù)據(jù)集上進(jìn)行，共有25 000 張訓(xùn)練圖像，200 張測試圖像。本文提出的模型使用谷歌開源的Tensorflow1.12.0 版本作為開發(fā)框架，在Linux 環(huán)境下進(jìn)行實驗，硬件設(shè)備為4 塊NVIDIA GeForce GTX 1080 Ti GPU 同時訓(xùn)練，每張顯卡內(nèi)存12 GB，模型的測試環(huán)境為Windows 系統(tǒng)，CPU為Intel i5-4200。

2.1 實驗訓(xùn)練參數(shù)設(shè)置

由于本文模型對輸入圖像的大小不敏感，因此本文將所有訓(xùn)練集的圖像統(tǒng)一修改為256×256 像素。在模型訓(xùn)練過程中，本文使用Adam 優(yōu)化算法作為訓(xùn)練的優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.000 1，然后每迭代10 000 次，將學(xué)習(xí)率降低1/10，batch size 設(shè)置為4，momentum 設(shè)置為0.9。模型訓(xùn)練并未使用任何預(yù)訓(xùn)練模型，所有權(quán)重的初始化使用Xavier［18］初始化。

2.2 實驗分析

本文使用固定輪廓閾值（ODS）和圖像最佳閾值（OIS）作為評價指標(biāo)，其中ODS 是在測試集中的所有圖片均使用固定閾值進(jìn)行評估得到的F-measure；OIS 是在測試集中每張圖片使用這張圖片最佳的閾值進(jìn)行評估，以得到F-measure［19］。所有測試集的邊緣圖像輸出都經(jīng)過非極大值抑制［20］處理，再使用Edge Box［21］測量工具進(jìn)行指標(biāo)測量。

本文方法與目前主流的邊緣檢測方法的ODS和OIS 對比如表1 所示。表中前3 個為傳統(tǒng)基于特征的方法，后4 個是基于卷積神經(jīng)網(wǎng)絡(luò)的方法，所有對比方法均使用與本文方法相同的實驗環(huán)境和原論文參數(shù)。

表1 不同方法的ODS 和OIS 對比Table 1 ODS and OIS comparison among different methods

從表1 可以看出，相比HED，本文方法的ODS 和OIS 指標(biāo)分別提高了3 和3.7 個百分點，相較于RCF分別提高了0.7 和1.1 個百分點。因此，本文方法能夠提升邊緣檢測的精細(xì)度，在ODS 和OIS 指標(biāo)上都有一定的提高。

圖4 表示本文方法中兩個子任務(wù)輸出與最終語義信息指導(dǎo)輸出的對比，可以看出，經(jīng)過語義指導(dǎo)融合的邊緣圖像比邊緣檢測子任務(wù)中輸出的邊緣圖像更加精細(xì)，且在邊緣線條中保留了更多細(xì)節(jié)特征，從而提高了清晰度。

圖4 兩個子任務(wù)輸出與最終語義信息指導(dǎo)輸出的對比Fig.4 Comparison between the output of two subtasks and semantic information guidance output

為驗證本文所提模塊的有效性，本文進(jìn)行了5 種不同配置的實驗，所有實驗訓(xùn)練參數(shù)均相同，并在增強后的BSDS500 數(shù)據(jù)集上進(jìn)行訓(xùn)練。通過5 種不同配置下的實驗分別驗證混合膨脹卷積（HDC）、多尺度特征融合（SE Fusion）、語義指導(dǎo)（Semantic Guidance，SG）的有效性，表2 為不同配置下的實驗結(jié)果。

表2 本文方法在不同模塊下的ODS 和OIS 對比Table 2 ODS and OIS comparison of the proposed method on different modules

從表2 可以看出，在原始模型中依次添加HDC、僅包含ResNeXt 的SE 融合模塊以及SG 模塊，模型的ODS 和OIS 指標(biāo)都得到了提高。在對比實驗中，在加入圖像分割子任務(wù)SG 模塊后，模型ODS 和OIS分別提高了0.002 5 以及0.005 4，說明在圖像分割子任務(wù)中能夠提取到豐富的特征信息，其中包含高級語義信息和邊緣細(xì)節(jié)特征信息，這些特征信息能夠指導(dǎo)邊緣檢測任務(wù)以輸出更精細(xì)的邊緣圖像。此外，在SE Fusion 模塊中加入殘差結(jié)構(gòu)ResNeXt，模型能夠進(jìn)一步改進(jìn)邊緣檢測效果。加入殘差結(jié)構(gòu)后的SE Fusion 模塊在ODS 和OIS 上分別提升了0.001 7和0.002 3，表明加入殘差結(jié)構(gòu)配合SE 模塊能夠充分融合多尺度的特征圖信息，一方面殘差結(jié)構(gòu)保留了更多的細(xì)節(jié)特征以及高級語義特征，另一方面SE 模塊抑制了對于邊緣檢測任務(wù)不重要的特征通道，而增強了重要的特征通道，使得模型更注重邊緣檢測任務(wù)的特征。

為了從主觀視覺上更好地與其他邊緣檢測方法進(jìn)行對比，圖5 表示基于全卷積網(wǎng)絡(luò)和傳統(tǒng)的邊緣檢測方法與本文方法的邊緣檢測效果對比，其中Canny 方法的超參數(shù)σ=2.0。從圖5 可以看出，本文提出的方法能夠有效解決基于全卷積網(wǎng)絡(luò)的邊緣檢測方法輸出邊緣模糊、線條粗糙等問題，其得到的邊緣圖像在細(xì)節(jié)上更精細(xì)，且邊緣線條更清晰。

圖5 不同方法的邊緣圖像檢測效果對比Fig.5 Edge image detection effects comparison among different methods

3 結(jié)束語

本文提出一種基于語義信息的精細(xì)化邊緣檢測方法。利用RCF 網(wǎng)絡(luò)構(gòu)建圖像分割子網(wǎng)絡(luò)，即在主干網(wǎng)絡(luò)末端構(gòu)建一條擴展路徑用于反卷積操作，以提取圖像豐富的語義信息。同時，在主干網(wǎng)絡(luò)中加入混合膨脹卷積以增大網(wǎng)絡(luò)感受野，構(gòu)建具有SE 模塊以及殘差結(jié)構(gòu)的多尺度特征融合模塊。實驗結(jié)果表明，本文方法在ODS、OIS 指標(biāo)上均優(yōu)于HED、RCF 等主流邊緣檢測方法，其預(yù)測的邊緣檢測圖像更接近標(biāo)簽圖像，且生成的圖像邊緣清晰準(zhǔn)確。后續(xù)將在模型訓(xùn)練中融合分割子任務(wù)與邊緣檢測子任務(wù)的輸出特征圖，進(jìn)一步優(yōu)化語義信息指導(dǎo)效果。