引入注意力機制的整體嵌套邊緣檢測網(wǎng)絡(luò)

劉超超 司亞超

(河北建筑工程學(xué)院,河北 張家口 075000)

0 引 言

邊緣檢測(或輪廓檢測)是指借助計算機技術(shù),對數(shù)字化圖像中相鄰像素間亮度、紋理、顏色等發(fā)生明顯變化的像素點進行標(biāo)識,以此來捕捉整幅圖像中像素點的顯著性變化,借助這些變化的像素點來刻畫圖像中所出現(xiàn)的所有物體、圖案等的外部邊緣情況.具體來講,邊緣檢測的任務(wù)是對于給定的一副圖像中的所有像素點,判斷該像素點是邊緣像素點還是非邊緣像素點,即對該像素點進行二分類,對應(yīng)的整幅圖像的邊緣檢測任務(wù)可以被認(rèn)為是一個有關(guān)像素點的稠密預(yù)測二分類問題.邊緣檢測任務(wù)是圖像處理技術(shù)和計算機視覺中的基礎(chǔ)性問題,對后續(xù)的計算機視覺高層任務(wù)如目標(biāo)檢測、圖像分割、視覺跟蹤等有一定的促進作用.

邊緣檢測作為計算機視覺中長期發(fā)展和演進的任務(wù),一直以來受到研究者們的廣泛關(guān)注.在邊緣檢測相關(guān)算法的發(fā)展歷程中,可以劃分為兩個階段:由人類專家手工設(shè)計的傳統(tǒng)的邊緣檢測算子和自動化參數(shù)設(shè)計的基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法.傳統(tǒng)的邊緣檢測算子主要是利用了圖像中梯度信息,借助求解圖像在不同方向上的梯度變化時的階躍變化特點,即在圖像中物體與背景、物體與物體之間的梯度的顯著差異性進行邊緣檢測,可以劃分為一階微分邊緣檢測算子和二階微分邊緣檢測算子等[1].傳統(tǒng)邊緣檢測算子受限于卷積核的大小,只考慮到圖像中局部感興趣區(qū)域內(nèi)的像素取值的變化,借助像素取值梯度信息尋找邊緣點,未能充分利用整幅圖像級別的語義特征.

隨著深度學(xué)習(xí)在計算機視覺任務(wù)(如圖像分類、圖像生成、物體檢測、圖像分割等)中的持續(xù)突破,顯示了卷積神經(jīng)網(wǎng)絡(luò)在提取蘊含在圖像中高層語義特征的能力.將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于邊緣檢測任務(wù),能夠自動地學(xué)習(xí)圖像的特征信息,避免了手工設(shè)計特征提取時存在的偏差,同時卷積神經(jīng)網(wǎng)絡(luò)能夠捕捉整幅圖像的語義特征,可以顯著改善提取的邊緣圖像的準(zhǔn)確性,減少因圖像成像過程中噪聲、光照、投影、畸變對邊緣檢測的影響.2014年的N4-Fields提出使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像中各個特征塊的特征表示[2],將特征表示在字典中搜索潛在的匹配結(jié)果,使用匹配到的結(jié)果得到邊緣信息.2015年的DeepEdge網(wǎng)絡(luò)借助Knet將邊緣檢測轉(zhuǎn)化為分類和回歸的問題、DeepContour方法利用聚類算法對邊緣圖像進行劃分,并使用卷積神經(jīng)網(wǎng)絡(luò)提取特征、隨機森林算法整合特征圖來輸出邊緣線條[3].2015年的HED網(wǎng)絡(luò)在VGG16網(wǎng)絡(luò)中引入側(cè)邊結(jié)構(gòu)[4],借助多尺度和多層次的訓(xùn)練,首次實現(xiàn)了端到端的邊緣檢測網(wǎng)絡(luò)[5].2017年的RCF網(wǎng)絡(luò)使用多階段卷積過程中的所有特征圖,顯著提升了邊緣檢測結(jié)果的準(zhǔn)確性.2021年的PiDiNet網(wǎng)絡(luò)從傳統(tǒng)的邊緣檢測算子中受到啟發(fā),使用像素差分卷積網(wǎng)絡(luò)將邊緣檢測結(jié)果提升到與人類視覺水平相當(dāng)?shù)乃疁?zhǔn).

1 傳統(tǒng)邊緣檢測算子

傳統(tǒng)的邊緣檢測算子主要依賴于圖像的梯度信息,根據(jù)對圖像梯度求偏導(dǎo)數(shù)時次數(shù)可分為一階微分邊緣檢測算子和二階微分邊緣檢測算子.常見的一階微分邊緣檢測算子包括Roberts交叉梯度算子、Prewitt算子、Sobel算子、Scharr算子等,二階微分邊緣檢測算子包括Laplace算子等.

假設(shè)圖像在像素點(x,y)處的像素取值函數(shù)為f(x,y),在該像素點的一階微分(梯度信息)可以表示為一個具有方向和大小的矢量值,即:

(1)

由于圖像的像素取值函數(shù)f(x,y)為離散的二維函數(shù),相應(yīng)的微分運算就是相鄰像素之間的差值,對應(yīng)的水平方向與垂直方向一階微分結(jié)果為:

(2)

(3)

(4)

方向角為:

(5)

同理,在該像素點的水平方向和垂直方向的二階微分可表示為:

(6)

(7)

由此可得二階微分的Laplace算子為:

(8)

1.1 Roberts交叉梯度算子

Roberts交叉梯度算子利用對角線方向的像素之間的像素差值進行梯度檢測,對應(yīng)的Roberts算子的模板為:

(9)

Roberts算子的參數(shù)少,運算量小,對噪聲干擾的平滑作用不明顯,主要對邊緣變化顯著而噪聲干擾較少的圖像較為適用.

1.2 Prewitt算子

Prewitt算子主要是利用像素點周圍的其他像素的平均來抑制噪聲對該像素點的影響,借助周圍像素點的平滑及補償來消除噪聲的影響,對應(yīng)的Prewitt算子的模板為:

(10)

Prewitt算子的計算量相對Roberts算子略大一些,但是在抑制噪聲影響效果中相對較好,但是整體的邊緣定位效果稍遜于Roberts算子.

1.3 Sobel算子

Sobel算子與Prewitt算子相似,都是借助像素點周圍其他像素的加權(quán)平均來抑制噪聲影響,但是Sobel算子增加了像素點水平方向左側(cè)及垂直方向上上側(cè)像素點的權(quán)值、并相應(yīng)減少了水平方向右側(cè)及垂直方向上下側(cè)像素點的權(quán)值,更加強調(diào)了不同像素位置對邊緣結(jié)果的影響,對應(yīng)的Sobel算子的模板為:

(11)

Sobel算子的計算量與Prewitt算子的計算量相同,在平滑周圍像素點抑制噪聲方面相比Prewitt算子略有提升,但仍然難以應(yīng)對復(fù)雜圖案情形下及噪聲干擾影響較大的圖像邊緣提取任務(wù).

1.4 Scharr算子

Scharr算子與Sobel算子相似,同樣對水平和垂直兩個方向的邊緣設(shè)置了不同的檢測模板,相比于Sobel算子,調(diào)整了周圍像素點的權(quán)值,能夠?qū)ο噜徬袼亻g數(shù)值的突變給出較強的響應(yīng),對應(yīng)的Scharr算子的模板為:

(12)

1.5 Laplace算子

Laplace算子與之前的一階微分算子不同,主要借助像素點的二階微分進行計算.根據(jù)圖像的邊緣點附近的灰度值有較大的變化這一特點,結(jié)合二元函數(shù)偏導(dǎo)數(shù)的數(shù)學(xué)性質(zhì),可以獲知在圖像的邊緣點的一階微分偏導(dǎo)數(shù)有局部的極值,從而二階微分偏導(dǎo)數(shù)通過零點.因而Laplace算子是通過借助求解整幅圖像中像素點二階微分的零點的位置,以此來找到整幅圖像中的邊緣點,進而實現(xiàn)對圖像的邊緣檢測.常見的Laplace算子的模板為:

(13)

2 HED網(wǎng)絡(luò)

HED網(wǎng)絡(luò)(Holistically-Nested Edge Detection,整體嵌套邊緣檢測)是由謝賽寧和屠卓文于2015年提出的用于邊緣檢測任務(wù)的深度神經(jīng)網(wǎng)絡(luò),HED網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)主要基于VGG網(wǎng)絡(luò).HED網(wǎng)絡(luò)第一次實現(xiàn)了端到端的邊緣檢測,通過融合多個層級的特征圖像,輸出多尺度的邊緣圖像.

2.1 VGG網(wǎng)絡(luò)

VGG網(wǎng)絡(luò)是由牛津大學(xué)視覺幾何工作組于2014年提出的深度卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)主要應(yīng)用于圖像分類任務(wù),曾獲得ILSVR2014圖像分類任務(wù)分賽道的冠軍[6].有鑒于VGG網(wǎng)絡(luò)表現(xiàn)出的對圖像語義級別強大的特征提取能力,該網(wǎng)絡(luò)也常常作為目標(biāo)檢測、圖像分割等計算機視覺任務(wù)的骨干網(wǎng)絡(luò).VGG網(wǎng)絡(luò)常見的形式包括四種,分別為11層、13層、16層、19層網(wǎng)絡(luò),隨著網(wǎng)絡(luò)程度的加深,提取高層語義特征的能力越強,但其計算量也相應(yīng)增加,經(jīng)過該網(wǎng)絡(luò)的前向推理時長也越長.在不同的計算機視覺任務(wù)中,往往會根據(jù)實際任務(wù)的需要做出平衡,選擇合適的VGG網(wǎng)絡(luò)形式,其中VGG16網(wǎng)絡(luò)是使用率較高的深度卷積神經(jīng)網(wǎng)絡(luò).HED網(wǎng)絡(luò)使用的骨干網(wǎng)絡(luò)即是根據(jù)VGG16網(wǎng)絡(luò)修改得到的,下面將對VGG16網(wǎng)絡(luò)進行簡短介紹.

VGG16網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,在圖示上方標(biāo)注了網(wǎng)絡(luò)各層對應(yīng)的特征圖尺寸大小,即特征圖的寬、高及相應(yīng)的通道深度.VGG16網(wǎng)絡(luò)輸入圖像的大小限定為224*224分辨率的彩色圖像,可將VGG16網(wǎng)絡(luò)分為由五個卷積塊組成的卷積神經(jīng)網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)兩部分,前者主要對輸入圖像進行特征提取,得到對應(yīng)的特征輸出,后者主要根據(jù)特征輸出進行分類,得到分類結(jié)果.五個卷積塊的結(jié)構(gòu)相似,都是經(jīng)由兩個或三個卷積層來獲得較大尺寸、較深層次的特征圖,再經(jīng)過池化層對特征圖尺寸進行縮減.VGG16網(wǎng)絡(luò)中廣泛使用了3*3大小的卷積核,通過堆疊兩個3*3的卷積核來代替一個5*5的卷積核、通過堆疊三個3*3的卷積核來代替一個7*7的卷積核,整體上減少了參數(shù)計算量,同時保持了相比于原始輸入的感受野的大小.

圖1 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

2.2 HED網(wǎng)絡(luò)

HED網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,HED網(wǎng)絡(luò)基于VGG16網(wǎng)絡(luò)進行特征提取,保留了VGG16網(wǎng)絡(luò)中的五個卷積塊組成的卷積神經(jīng)網(wǎng)絡(luò),同時去除了VGG16網(wǎng)絡(luò)中的全連接網(wǎng)絡(luò),解除了網(wǎng)絡(luò)對輸入圖像尺寸的限制.HED網(wǎng)絡(luò)在VGG16網(wǎng)絡(luò)的五個卷積塊結(jié)構(gòu)中,將各個卷積塊最后一層的卷積層的輸出添加了側(cè)邊結(jié)構(gòu),經(jīng)過側(cè)邊結(jié)構(gòu)的卷積層、上采樣層獲得邊緣圖像,同時將五個側(cè)邊結(jié)構(gòu)的邊緣圖像進行融合.

圖2 HED網(wǎng)絡(luò)結(jié)構(gòu)示意圖

HED網(wǎng)絡(luò)通過對整幅圖像進行多次特征提取,借助由淺層網(wǎng)絡(luò)到深層網(wǎng)絡(luò)多個層級獲取到的特征,以此來獲取整幅圖像的高層級語義信息,進而實現(xiàn)對圖像中出現(xiàn)的物體、圖案等外輪廓的識別,得到各個物體、圖案對應(yīng)的邊緣.同時,將骨干網(wǎng)絡(luò)中淺層網(wǎng)絡(luò)獲取的富含細(xì)節(jié)信息的特征與深層網(wǎng)絡(luò)獲取的富含語義信息的特征進行融合,利用淺層網(wǎng)絡(luò)獲取到的特征圖像中細(xì)節(jié)比較豐富的特點,與深層網(wǎng)絡(luò)中獲取的特征圖像中物體輪廓更連續(xù),抗噪聲能力更強的特點進行融合,以此來彌補淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)各自的局限與不足,充分利用不同網(wǎng)絡(luò)層級特征圖像的特點,實現(xiàn)提取的邊緣圖像更加準(zhǔn)確、邊緣線條連續(xù)不中斷.

3 改進型HED網(wǎng)絡(luò)

在HED網(wǎng)絡(luò)中,經(jīng)過多個卷積層獲取不同層級的特征圖時,會隨著網(wǎng)絡(luò)深度的增加,對應(yīng)的感受野增大,網(wǎng)絡(luò)中獲取的特征圖的細(xì)節(jié)信息逐漸模糊,特別是某些中間層的輸出未能充分聚焦在物體邊緣周圍,而淺層網(wǎng)絡(luò)中攜帶的噪聲影響無法借助深層網(wǎng)絡(luò)完全抵消,影響對原始圖像中邊緣點的選擇與定位.因而考慮在HED網(wǎng)絡(luò)中引入注意力機制模塊,增強不同卷積層的特征圖獲取時的聚集性,更加關(guān)注在通道維度上疊加深層結(jié)構(gòu)后對噪聲與干擾的抑制,在空間維度上動態(tài)學(xué)習(xí)選擇性關(guān)注邊緣點相鄰區(qū)域,以此來獲得更為全面的特征信息,得到邊緣線條更加準(zhǔn)確、非邊緣點干擾較小的邊緣圖像.

3.1 卷積塊注意力機制

卷積塊注意力機制(Convolutional Block Attention Module,CBAM)是一種同時關(guān)注通道和空間維度的雙重注意力機制[7-9],通過在通道維度、空間維度設(shè)置不同的權(quán)重,以此來增強對應(yīng)維度上的有用特征的強度,抑制不太重要的特征表示的強度,更加注重在有用特征周圍的聚集性.卷積塊注意力機制的結(jié)構(gòu)如圖3所示,將輸入特征圖分別經(jīng)過通道注意力和空間注意力模塊,得到重定義特征圖,重定義特征圖相比原始輸入特征圖可以更加集中于有用特征周圍,其中,通道注意力模塊包含最大池化、平均池化以及多層感知機,空間注意力模塊包含維度擴展以及多個卷積層.

圖3 卷積塊注意力機制

3.2 引入注意力機制的HED-CBAM網(wǎng)絡(luò)

經(jīng)過對HED網(wǎng)絡(luò)優(yōu)缺點的分析,以及對HED網(wǎng)絡(luò)結(jié)構(gòu)的洞察,本文提出一種引入CBAM卷積塊注意力機制的HED-CBAM網(wǎng)絡(luò),該網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.在VGG16網(wǎng)絡(luò)的五個卷積塊輸出之后,分別添加CBAM卷積塊注意力模塊,得到重整后的特征圖,將重整后的特征圖再次送入原始HED網(wǎng)絡(luò)的側(cè)邊結(jié)構(gòu).

圖4 HED-CBAM網(wǎng)絡(luò)結(jié)構(gòu)示意圖

HED-CBAM網(wǎng)絡(luò)通過在網(wǎng)絡(luò)的特征圖融合階段引入注意力機制,將VGG16骨干網(wǎng)絡(luò)提取的特征圖重新再次經(jīng)過注意力模塊進行進一步地聚焦,得到重新定義的特征圖,新得到的特征圖在通道維度上經(jīng)過重整之后,抗噪聲能力更強,同時在空間維度上,借助注意力機制提取更加有效的特征,忽略不太重要的特征.引入注意力機制之后,整體網(wǎng)絡(luò)的可調(diào)節(jié)超參數(shù)總量會相應(yīng)增加,經(jīng)過網(wǎng)絡(luò)前向傳播的總體耗時也會同樣增加,網(wǎng)絡(luò)中可調(diào)節(jié)超參數(shù)的增加可以提高網(wǎng)絡(luò)中間層級特征圖的特征提取能力的提升,進而提升整個網(wǎng)絡(luò)的特征提取能力,同時影響后續(xù)對特征圖融合能力的提升效果.

4 實 驗

4.1 PaddlePaddle飛槳深度學(xué)習(xí)框架

PaddlePaddle飛槳深度學(xué)習(xí)框架是由百度開發(fā)并于2018年開源的完全擁有自主知識產(chǎn)權(quán)的國產(chǎn)化深度學(xué)習(xí)框架,該框架由C++、Python等編程語言開發(fā),同時支持靜態(tài)圖和動態(tài)圖的開發(fā)模式,兼容命令式和聲明式兩種編程范式,支持多客戶端多平臺的部署,特別是對國產(chǎn)芯片硬件(如百度昆侖、寒武紀(jì)、比特大陸等國產(chǎn)芯片廠商的芯片類產(chǎn)品)進行了全面的適配,支持麒麟、統(tǒng)信、普華等國產(chǎn)操作系統(tǒng).飛槳框架提供完善的中文文檔說明,并提供了一系列應(yīng)用案例示例程序,有效地降低了深度學(xué)習(xí)門檻.

4.2 BSDS數(shù)據(jù)集及數(shù)據(jù)增強

BSDS數(shù)據(jù)集是由美國加州大學(xué)伯克利分校開放的適用于邊緣檢測任務(wù)的數(shù)據(jù)集,目前該數(shù)據(jù)集共包含500張圖像,其中200張圖像用于訓(xùn)練、100張圖像用于驗證、200張圖像用于測試,常被稱為BSDS500數(shù)據(jù)集.該數(shù)據(jù)集中的所有圖像均經(jīng)過多位人類專家的認(rèn)真標(biāo)注,廣泛應(yīng)用于邊緣檢測算法的評估標(biāo)準(zhǔn).

在本次實驗實施過程中,將訓(xùn)練集和驗證集圖像合并后得到300張圖像用于訓(xùn)練任務(wù),另外200張圖像用于測試相關(guān)算法的性能指標(biāo)評價與對比.有鑒于訓(xùn)練任務(wù)中的圖像數(shù)量過少,容易造成卷積神經(jīng)網(wǎng)絡(luò)對相關(guān)超參數(shù)過擬合,為了有效避免該網(wǎng)絡(luò)在測試集上的泛化能力衰退,需要對訓(xùn)練集圖像進行數(shù)據(jù)擴充,采用數(shù)字圖像處理技術(shù)對訓(xùn)練集圖像數(shù)據(jù)增強.對于訓(xùn)練集圖像,主要采用多尺度變換與圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)相結(jié)合的方法,對每張原始圖像以22.5度為間隔進行旋轉(zhuǎn),針對旋轉(zhuǎn)后的圖像進行水平翻轉(zhuǎn),并對處理后的圖像進行多尺度變換,最終將原始訓(xùn)練集擴充為96倍,共計28800張訓(xùn)練集增強圖像.

4.3 邊緣檢測評價標(biāo)準(zhǔn)

邊緣檢測的常見評價標(biāo)準(zhǔn)[10]主要包括三個相關(guān)的數(shù)值指標(biāo):全局最佳閾值(optimal dataset scale,ODS)、單圖最佳閾值(optimal image scale,OIS)、平均準(zhǔn)確率(average precision,AP).

精確率(Precision),表示經(jīng)過網(wǎng)絡(luò)測試獲得的邊緣檢測的像素值預(yù)測結(jié)果符合真實標(biāo)注像素值結(jié)果的概率情況.召回率(Recall),表示經(jīng)過網(wǎng)絡(luò)測試獲得的邊緣檢測的像素值預(yù)測結(jié)果中被認(rèn)為是真實的標(biāo)注像素值結(jié)果占全部所有的真實標(biāo)注像素值結(jié)果的比值.

對于邊緣檢測的像素值預(yù)測結(jié)果中,記TP表示經(jīng)過邊緣檢測模型輸出的結(jié)果中被認(rèn)定為正類的正樣本,一般認(rèn)為給出了正確的可接受的結(jié)果;相應(yīng)地,FP表示經(jīng)過邊緣檢測模型輸出的結(jié)果中被認(rèn)定為正確的類別中的負(fù)樣本,FN表示經(jīng)過邊緣檢測模型輸出的結(jié)果中被認(rèn)定為錯誤的類別中的正樣本,相應(yīng)的精確率和召回率的定義為:

(14)

F1-Score值(一般簡稱為F1值),是一種綜合了精確率和召回率的結(jié)果,其取值結(jié)果介于0和1之間,其數(shù)學(xué)定義為:

(15)

全局最佳閾值ODS,表示在整個數(shù)據(jù)集中的所有數(shù)據(jù)達到最好的結(jié)果時,F1值的平均值即為ODS;單圖最佳閾值OIS,表示在整個數(shù)據(jù)集中的每一張圖片都達到最好的結(jié)果時,F1值得平均值即為OIS.

平均準(zhǔn)確率AP,其計算方式為P-R曲線下方的面積,其取值范圍在0和1之間.

4.4 實驗過程

本次實驗過程中,使用Python編程語言在飛槳深度學(xué)習(xí)框架編寫深度神經(jīng)網(wǎng)絡(luò)實驗代碼,借助Tesla T4顯卡進行GPU硬件加速.在訓(xùn)練過程中初始學(xué)習(xí)率設(shè)定為1e-4,學(xué)習(xí)率調(diào)度策略使用多項式衰減策略,批次大小設(shè)置為單次迭代共10張圖像,共迭代10萬次,訓(xùn)練過程總時長約28小時.訓(xùn)練完成后,針對200張測試集圖像生成對應(yīng)的邊緣圖像,借助MATLAB 2021進行性能指標(biāo)驗證,驗證過程總時長約12小時.最終引入注意力機制的HED-CBAM網(wǎng)絡(luò)在ODS獲得0.787的結(jié)果,相比HED網(wǎng)絡(luò)的ODS結(jié)果0.782提升了5‰,具體實驗結(jié)果如表1所示.

表1 對比實驗結(jié)果

5 結(jié) 語

應(yīng)用于邊緣檢測任務(wù)的傳統(tǒng)型邊緣檢測算子利用圖像中像素變化的梯度信息,整體計算量小,但手工設(shè)計的算子模板受限于局部特征,未能充分利用圖像的高層語義特征.使用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取的HED網(wǎng)絡(luò),充分利用了整幅圖像的語義特征,通過多尺度的特征圖融合輸出邊緣圖像.在分析了HED網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)缺點之后,通過向HED網(wǎng)絡(luò)引入注意力機制,加強了有用特征,改善了邊緣檢測任務(wù)的性能.