基于關(guān)鍵點的Anchor Free目標(biāo)檢測模型綜述①

鄭婷婷,楊 雪,戴 陽

(長安大學(xué) 信息工程學(xué)院,西安 710064)

引言

目標(biāo)檢測是計算機(jī)視覺應(yīng)用的基礎(chǔ),在圖像處理中任務(wù)中發(fā)揮著至關(guān)重要的作用.目標(biāo)檢測是一種利用算法在圖像中搜索感興趣區(qū)域的技術(shù),結(jié)合了目標(biāo)分類和定位兩個任務(wù).在人臉檢測、人體姿勢估計、實例分割等領(lǐng)域的到了廣泛的使用.

傳統(tǒng)的目標(biāo)檢測模型主要包括Haar 特征+Adaboost+Cascade、HOG 特征+SVM、HOG 特征+Cascade、DPM 特征+Latent SVM 等,這些算法雖然推動了目標(biāo)檢測的發(fā)展,但仍然存在以下兩點問題:一是基于滑窗的區(qū)域選擇沒有針對性,耗時較長,窗口冗余;二是手動標(biāo)記的特征對于多變的情況具有較差的魯棒性.隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,這些問題已經(jīng)得到了解決.

自2013年Girshick 等[1]提出R-CNN 框架后,在此基礎(chǔ)上的一系列框架不斷被提出,如Faster R-CNN、Mask R-CNN 等的two stage 框架和YOLO、SSD、RetinaNet 等的one stage 框架,二者都是基于錨框的目標(biāo)檢測.相比傳統(tǒng)的目標(biāo)檢測方法,基于卷積神經(jīng)網(wǎng)絡(luò)的錨框的方法能夠進(jìn)行更為精細(xì)的檢測.但使用錨框仍存在以下兩方面的問題:一是通常需要一組非常大的錨框,例如:DSSD[2]超過4 萬,RetinaNet[3]超過10 萬.這是因為檢測器被訓(xùn)練用以分類每個錨框是否與真實框盡可能的重疊,所以需要大量的框以確保與大多數(shù)的真實框最大程度的重疊.最終只有一小部分框與真實框重合,這會導(dǎo)致正負(fù)樣本的不平衡,并減慢了訓(xùn)練的速度.二是使用錨框會引入許多超參數(shù)的組合問題,即已有方法把目標(biāo)在哪和目標(biāo)有多大綁在一個框里,通過局部分類器一次性判斷各種不同大小、不同比例的框是否為目標(biāo),這會造成超參數(shù)的組合問題.同時,超參數(shù)通常與檢測任務(wù)和數(shù)據(jù)集相關(guān),難以調(diào)優(yōu)和通用.

而anchor free的目標(biāo)檢測可以消除框,改善錨框帶來的各種問題,進(jìn)行更快、更精細(xì)的檢測.所謂基于關(guān)鍵點的anchor free的目標(biāo)檢測,其實質(zhì)就是使用one stage 網(wǎng)絡(luò)將目標(biāo)邊界檢測為一對關(guān)鍵點.通過將目標(biāo)檢測為成對關(guān)鍵點,就可消除現(xiàn)有的one stage 檢測網(wǎng)絡(luò)中對一組anchor的需要.為進(jìn)一步了解近期anchor free的目標(biāo)檢測關(guān)鍵技術(shù)的發(fā)展進(jìn)程,本文首先綜述了基于CornerNet 模型、CenterNet 模型、FCOS 模型3 個不同方向的anchor free 目標(biāo)檢測的主要思想和網(wǎng)絡(luò)架構(gòu),其次對不同模型的優(yōu)點和不足進(jìn)行了詳細(xì)的說明和分析,最后對anchor free 目標(biāo)檢測的現(xiàn)有問題和未來發(fā)展趨勢進(jìn)行展望.

1 基于角點的anchor free 目標(biāo)檢測

基于角點的目標(biāo)檢測方法通過組合從特征圖中學(xué)習(xí)到的角點對,來預(yù)測邊框.這種方法不需要設(shè)計錨框,減少了對錨框的各種計算,從而成為生成高質(zhì)量邊框的更有效的方法.基于角點的anchor free 目標(biāo)檢測模型主要有CornerNet和CornerNet的優(yōu)化CornerNet-Lite.

1.1 CornerNet

Law 等[4]提出了一個基于配對關(guān)鍵點(左上角和右下角)的目標(biāo)檢測方法,算法步驟:(1)使用單個卷積神經(jīng)網(wǎng)絡(luò)Hourglass-104[4,5]預(yù)測這兩個位置的熱圖集合來表示不同目標(biāo)種類的角點位置.在角點熱圖上使用非極大值抑制,選擇前k個左上角點和前k個右下角點.該方法中還引入了角點池化,這是一種新型的池化層,其可以幫助網(wǎng)絡(luò)更好的定位角點;(2)預(yù)測一個嵌入向量[6],對每一個檢測到的角點,讓屬于同一類物體的對應(yīng)角點之間的嵌入向量距離最小;(3)為了產(chǎn)生更緊湊的目標(biāo)框,預(yù)測一個偏置L1 損失[7]來微調(diào)角點的位置.該方法的流程圖如圖1所示.

圖1 CornerNet 流程圖[4]

依據(jù)文獻(xiàn)[4]實驗結(jié)果,該方法在MSCOCO 數(shù)據(jù)集上實現(xiàn)了42.2%的精確度,效果優(yōu)于其之前的所有單級檢測器,使mAP 有所提高,相較于框的目標(biāo)檢測其必有新穎之處,例如:角點池化,它可以幫助卷積網(wǎng)絡(luò)更好地定位邊界框的角點;嵌入向量,它是對角點進(jìn)行分組,對于預(yù)測到的角點根據(jù)它們的嵌入向量之間的距離差異被分成不同的組;損失函數(shù),使用焦點損失函數(shù)[3],其重點學(xué)習(xí)難樣本和平衡正負(fù)樣本以幫助更好的訓(xùn)練網(wǎng)絡(luò).

但是在其他方面還有許多不足,例如:在速度上,每張圖像的處理時間為1.147 s,這對于需要實時或交互速率的視頻來說很慢;在精度上,盡管可以通過減少處理的像素數(shù)量來加快處理時間,但是這樣會導(dǎo)致精度的大幅度下降;在全局性上,CornerNet 缺乏對物體全局信息的考慮,即因為每個目標(biāo)物都有兩個角點,算法對識別目標(biāo)物的邊界框很敏感,同時又無法確定哪兩個角點屬于同一個物體,所以會產(chǎn)生一些錯誤的邊框.因此,對于這些問題,Law 等[8]提出CornerNet-Lite的高效目標(biāo)檢測和Duan 等[9]提出CenterNet的關(guān)鍵點三元組進(jìn)行解決.

1.2 CornerNet-Lite

CornerNet-Lite的高效目標(biāo)檢測是在CornerNet的基礎(chǔ)上進(jìn)行的優(yōu)化,是Cornernet的兩個高效變體的組合,優(yōu)化包括兩點:(1)CornerNet-Saccade 使用類似于人眼的注意力機(jī)制消除了對圖像的所有像素進(jìn)行處理的需要,通過減少像素個數(shù)來提高檢測速度.CornerNet-Saccade 可以用于線下處理,不用犧牲精度也可提升速度.CornerNet-Saccade是第一個在基于關(guān)鍵點的目標(biāo)檢測方法中使用Saccade的;(2)引入了新的緊湊骨干架構(gòu)CornerNet-Squeeze,通過減少每個像素的處理量來加速圖像處理.它融合了SqueezeNet[10]和MobileNet[11]的思想,并引入了一種新的緊湊型沙漏骨干(54 層,CornerNet的沙漏骨干104 層),廣泛使用1×1 卷積,瓶頸層和深度可分離卷積[12].CornerNet-Squeeze 可用于實時處理,提升精確度而無需犧牲速度,是第一篇把Squeeze和沙漏網(wǎng)絡(luò)組合用于目標(biāo)檢測的文章.

CornerNet-Saccade的算法步驟:第一步是獲取圖像中可能的目標(biāo)位置.(1)先把原圖進(jìn)行縮小和裁剪;(2)將縮小的完整圖像輸入到骨架網(wǎng)絡(luò)(沙漏網(wǎng)絡(luò):卷積、下采樣和卷積、上采樣)中預(yù)測attention maps和檢測縮小后的圖像中的目標(biāo)并生成粗邊框(兩者都提出可能的對象位置).通過使用不同尺度的特征圖來預(yù)測3 個attention maps,用于小、中、大物體;(3)從預(yù)測的attention maps和粗邊框中得到可能的目標(biāo)位置.第二步是檢測目標(biāo).(1)對第一步(3)的可能位置中選取前k個位置,把這k個位置與對原圖裁剪得到的圖片進(jìn)行對應(yīng),得到在可能的位置處檢測到目標(biāo);(2)對檢測的結(jié)果基于soft-NMS 進(jìn)行處理,處理方式與CornerNet[4]一樣,從而得到目標(biāo)物的邊界框;(3)利用得到的邊界框的尺寸來確定目標(biāo)所在圖像的縮放大小,進(jìn)行目標(biāo)的合并且大小與原圖一致.在訓(xùn)練時,采用與CornerNet 相似的訓(xùn)練損失來訓(xùn)練網(wǎng)絡(luò)以預(yù)測角點熱圖、嵌入和偏置.CornerNet-Saccade的流程圖如圖2所示.

圖2 CornerNet-Saccade的流程圖[8]

CornerNet-Squeeze是CornerNet-Lite 研究的另一個方案,降低每個像素點上處理成本.在CornerNet中,大多數(shù)的計算都耗費在Hourglass-104[4,5]上,非常耗時.為了降低Hourglass-104 網(wǎng)絡(luò)的復(fù)雜度,引入Squeeze和MobileNet的思想[10,11],設(shè)計了一個輕量級的Hourglass-52.訓(xùn)練CornerNet-Squeeze 使用了與CornerNet 中一樣的損失函數(shù)和超參數(shù),唯一不同的是batch size.

Squeeze 提出了3 種降低網(wǎng)絡(luò)復(fù)雜策略:(1)用1×1 卷積替換3×3 卷積,減少輸入通道的數(shù)量;(2)減少3×3 卷積的輸入通道;(3)下采樣后延(此文沒用到),沙漏網(wǎng)絡(luò)是對稱的,延遲下采樣會在上采樣期間產(chǎn)生更高分辨率的特征圖,再執(zhí)行卷積,會增加計算量.

由文獻(xiàn)[6]實驗結(jié)果可知:(1)在COCO 數(shù)據(jù)集上CornerNet-Saccade的計算速度比CornerNet 提升了6 倍,且精度提高了1.0%,這說明CornerNet-Saccade在追求高準(zhǔn)確率的同時,速度也得到了很大的提高;(2)在COCO 數(shù)據(jù)集上CornerNet-Squeeze的34 ms 時有34.4%的準(zhǔn)確度,而YOLOv3的33 ms 時有33.0%的準(zhǔn)確度,提高了當(dāng)前流行的實時檢測器YOLOv3的速度和準(zhǔn)確度.

2 基于中心點的anchor free 目標(biāo)檢測算法

基于中心點的目標(biāo)檢測方法是對特征圖的每個位置預(yù)測它是目標(biāo)中心點的概率,并且在沒有錨框先驗的情況下進(jìn)行邊框的預(yù)測.基于中心點的Anchor free目標(biāo)檢測模型主要有CenterNet (中心點和角點)和CenterNet (中心點).

2.1 CenterNet (使用中心點和角點)

由于CornerNet 缺乏對物體全局信息的考慮,通常會遭受大量不正確的目標(biāo)邊框的困擾,為解決該問題,Duan 等[9]提出了CenterNet的用于目標(biāo)檢測的關(guān)鍵點三元組方法,即在CornerNet的基礎(chǔ)上加入一個中心關(guān)鍵點的熱圖,并預(yù)測了中心點的偏置.相較于CornerNet,CenterNet 關(guān)鍵點三元組方法進(jìn)行了如下優(yōu)化:(1)確定中心區(qū)域的大小,能更準(zhǔn)確的定位目標(biāo);(2)為了增強(qiáng)中心點和角點信息,提出了中心池化和級聯(lián)角點池化(豐富了邊界和內(nèi)部信息,而CornerNet的角點池化只有邊界信息).該方法提高了準(zhǔn)確性和查全率.在COCO數(shù)據(jù)集上,CenterNet的AP 達(dá)到了47.0%,比現(xiàn)有的一級檢測器至少好4.9%.

算法步驟:該方法的檢測步驟與CornerNet[4]的步驟類似,(1)在CornerNet的步驟(1)中再預(yù)測一個中心熱圖,在熱圖上采用非極大值抑制,選擇前k個中心點.該方法中引入的是級聯(lián)角點池化和中心點池化;(2)在CornerNet的步驟(2)中添加一個中心偏置;(3)兩個角點用來檢測潛在的目標(biāo)框,然后用中心區(qū)域判斷中心點是否在中心區(qū)域內(nèi),最后確定最終的邊界框的位置.CenterNet的流程圖如圖3所示.

由文獻(xiàn)[9] 實驗結(jié)果可知,該算法的AP 相較于CornerNet 有很大的提高.但是,基本上所有的目標(biāo)檢測器都會把潛在的目標(biāo)位置列舉出來,并對每一個物體進(jìn)行分類.這樣做是非常浪費時間、低效的,而且還需要額外的后處理,如非極大值抑制等,使網(wǎng)絡(luò)變得很復(fù)雜.而Zhou 等提出的CenterNet[13],即將目標(biāo)當(dāng)作中心點來檢測不需要這些步驟,極大提高了檢測速度.雖然不需要進(jìn)行非極大抑制等操作,但CornerNet 在完成關(guān)鍵點檢測后,還需要將左下角關(guān)鍵點和右上角關(guān)鍵點進(jìn)行兩兩匹配,導(dǎo)致檢測速度有所下降.

2.2 CenterNet (只使用中心點)

Zhou 等[13]提出的基于CenterNet的將目標(biāo)作為點的方法規(guī)避了低效和額外的后處理等缺點.該方法通過其邊界框中心的單個點來表示所檢測的目標(biāo),然后可以直接從中心位置的圖像特征回歸其他屬性,如目標(biāo)大小、尺寸、3D 位置、方向甚至姿勢.因此,基于中心點的方法相對于其他基于邊界框的目標(biāo)檢測器來說,其具有更簡單、速度更快和準(zhǔn)確度更高的特點.圖4所示為在COCO 數(shù)據(jù)集上該方法與基于框的幾種方法在速度和準(zhǔn)確度上的比較.

圖4 幾種方法比較[13]

該算法的流程如下:首先,將圖像輸入完全卷積網(wǎng)絡(luò)生成熱圖,該熱圖中的峰值對應(yīng)于目標(biāo)中心.其次,將輸出的熱圖中每個類別的峰值點單獨提取出來,即熱圖上的所有點與其相連的8的臨近點比較,若該點的值不小于其8 個臨近點,則該點保留,最后保留滿足所有要求的前100 個峰值點.最后,對每個峰值處的圖像特征預(yù)測得到目標(biāo)框的高度和寬度信息(根據(jù)不同的任務(wù)預(yù)測不同的屬性,如對于3D 邊框估計,需要預(yù)測目標(biāo)絕對深度、邊框尺寸和方向[14]).該訓(xùn)練網(wǎng)絡(luò)是單個網(wǎng)絡(luò)前向傳遞的,因為每個目標(biāo)僅有一個中心點,所以沒有非極大值抑制等后處理.

將目標(biāo)作為點的方法對于上述幾個基于關(guān)鍵點估計[15]的目標(biāo)檢測器來說,不同之處在于:(1)該方法不需要在關(guān)鍵點檢測之后進(jìn)行組合分組,這明顯提高了算法的計算速度;(2)該方法僅僅需要為每個目標(biāo)預(yù)測單個中心點,而不需要進(jìn)行非極大值抑制后處理;(3)損失函數(shù)中不僅有關(guān)鍵點損失(焦點損失[3])和偏置損失,還加入了目標(biāo)大小損失,這樣可以提高算法的準(zhǔn)確度.

由文獻(xiàn)[8]實驗可得,該方法在COCO[16]數(shù)據(jù)集上實現(xiàn)了速度與準(zhǔn)確度的權(quán)衡,其中AP為28.1%的模型處理速度達(dá)到了142 FPS,AP為37.4%的的模型處理速度達(dá)到了52 FPS,AP為45.1%的模型處理速度達(dá)到了1.4 FPS.該方法通過預(yù)測一個中心點解決了2D和3D 目標(biāo)檢測,以及姿態(tài)估計,把這3 個任務(wù)很完美的統(tǒng)一到了一起(在這里主要綜述了2D 目標(biāo)檢測).雖然該方法簡單、快速、準(zhǔn)確,但是在訓(xùn)練過程中,如果兩個不同的目標(biāo)重疊了,共享同一個中心點,在這種情況下,CenterNet 會把這兩個目標(biāo)當(dāng)成一個目標(biāo)來訓(xùn)練,只會檢測其中一個,這樣就會存在大量的誤檢,這是該方法的一個不足.

3 基于全卷積的anchor free 目標(biāo)檢測

Tian 等[17]提出的FCOS是一種基于全卷積的單級目標(biāo)檢測器,是像素級別的目標(biāo)檢測,其主要思想類似于語義分割.該方法不需要錨框,因此其完全避開了錨框的缺點.FOCS 僅憑借后處理非極大值抑制,該方法優(yōu)于之前的基于錨框的一級探測器,其優(yōu)勢在于更簡單、靈活,可以提高檢測的精度.算法步驟如下:首先,對輸入的原始圖像進(jìn)行預(yù)處理操作;然后將預(yù)處理之后的數(shù)據(jù)送入主干網(wǎng)絡(luò)中獲取輸入數(shù)據(jù)的feature map,對獲得的feature map 上的每一像素點進(jìn)行回歸操作,對網(wǎng)絡(luò)進(jìn)行訓(xùn)練以獲得網(wǎng)絡(luò)模型;再將得到的模型用于測試,利用特征金字塔網(wǎng)絡(luò)進(jìn)行多級預(yù)測,從而得到多個head,從多個head 中可以獲得預(yù)測的結(jié)果;最后使用非極大值抑制后處理獲得最終的檢測結(jié)果.FCOS的流程圖如圖5所示.

圖5 FCOS的流程圖[17]

FCOS的新穎之處:(1)在遠(yuǎn)離目標(biāo)中心的位置上會產(chǎn)生一些不好的框,FCOS 中為了降低這些不好的結(jié)果,引入了Center-ness 分支,即利用中心分支來抑制低質(zhì)量預(yù)測邊界框;(2)在網(wǎng)絡(luò)中,除了最后的預(yù)測層,在卷積層中加入了組標(biāo)準(zhǔn)化GN,使得訓(xùn)練更加穩(wěn)定;(3)FCOS 中,特征金字塔網(wǎng)絡(luò)中利用P5 生成P6和P7,而不是用骨干網(wǎng)絡(luò)的C5,這使得網(wǎng)絡(luò)的性能得到略微的提高.

根據(jù)文獻(xiàn)[10]實驗結(jié)果可知,相比于CornerNet[4],FCOS[17]在mAP 上有0.5%的提高.雖然FCOS 性能有略微的提高,但是相對于CornerNet 來說是有優(yōu)勢的,如其主干網(wǎng)絡(luò)是ResNet-101 而不是Hourglass-104[5],該網(wǎng)絡(luò)更快更簡單;除了非極大值抑制,不需要其他的后處理,而CornerNet 還需要將具有嵌入向量的角點分組等.實驗也表明了,FCOS 可以檢測到各種各樣的物體,包括擁擠、遮擋、高度重疊、極小和極大的物體.

4 算法性能比較

基于深度學(xué)習(xí)的目標(biāo)檢測算法可分為兩大類:基于錨框的目標(biāo)檢測和基于Anchor free的目標(biāo)檢測.目標(biāo)檢測中非常重要的兩個性能:精度和速度.本文在VOC2007和COCO 數(shù)據(jù)集上,分別對這兩類目標(biāo)檢測算法進(jìn)行了性能上的比較和分析.

4.1 基于錨框的目標(biāo)檢測算法比較

基于錨框的目標(biāo)檢測算法分為兩種:two stage 檢測算法和one stage 檢測算法.two stage 檢測算法中典型的目標(biāo)檢測算法有:R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN 等.從R-CNN 算法到Mask RCNN 算法,它們依次不斷地在檢測的準(zhǔn)確度和速度上進(jìn)行改進(jìn).但是,這些算法的實時性很差,難以滿足實際的需求.表1總結(jié)了two stage的目標(biāo)檢測算法在VOC2007和COCO 數(shù)據(jù)集上的性能,“—”表示沒有相關(guān)的數(shù)據(jù).

表1 Two stage的目標(biāo)檢測算法性能比較

由表1數(shù)據(jù)可以得出,在two stage 目標(biāo)檢測算法中,每個算法在精確度上都是從前往后不斷地提高,而檢測的速度沒有達(dá)到這樣的特性,也就是說在保證精度的前提下,實時性沒有得到顯著提高.因此,研究者們提出了基于回歸的目標(biāo)檢測算法,即one stage 目標(biāo)檢測算法.

One stage 檢測算法中典型的算法有YOLO 系列、SSD 及RetinaNet 等.該類算法雖然在實際中的應(yīng)用成為可能,但是實時性和準(zhǔn)確度還有待提高.表2羅列了one stage 算法在VOC2007和COCO 數(shù)據(jù)集上的性能,“—”表示沒有相關(guān)的數(shù)據(jù).

表2 One stage的目標(biāo)檢測算法性能比較

從表2的數(shù)據(jù)可以得到,one stage 算法不但在精確度上有所提高,而且檢測的速度也有明顯的提升.由此可見,相比于two stage 算法,其更有實用性.但是,在實際應(yīng)用中,one stage 模型的實時性還滿足不了需求.因此,研究者們提出了基于anchor free的目標(biāo)檢測,此種方法的提出,極大的滿足了目標(biāo)檢測在實際應(yīng)用中的實時性需求.

4.2 基于關(guān)鍵點的anchor free 目標(biāo)檢測算法比較

第1～3 節(jié)介紹的算法是基于關(guān)鍵點的anchor free的目標(biāo)檢測算法,其基本思路是輸入圖像、提取關(guān)鍵點、尺度預(yù)測及位置回歸的所有過程在一個卷積神經(jīng)網(wǎng)絡(luò)中實現(xiàn),不需要提前設(shè)置錨框,極大地改善了檢測的實時性,在很大程度上滿足實際應(yīng)用的需求.表3對本文中所列舉的各類目標(biāo)檢測模型的機(jī)制、優(yōu)點、缺點、適用范圍及實現(xiàn)成本進(jìn)行了總結(jié).表4總結(jié)了各個算法在COCO 數(shù)據(jù)集上的性能.

從表4各個基于關(guān)鍵點的anchor free 目標(biāo)檢測算法的性能比較可見,通過逐步改進(jìn)網(wǎng)絡(luò),相比于基于錨框的目標(biāo)檢測算法,由表1和表2所示,anchor free 目標(biāo)檢測算法不僅在精確度上有很大提升,檢測速度也得到明顯提高.例如CornerNet 模型,該算法在COCO 數(shù)據(jù)集上準(zhǔn)確度達(dá)到42.1%,超過所有基于錨框的檢測算法.在CornerNet 上改進(jìn)的CornerNet-Lite 模型中引入Saccade、Squeeze 來減少像素個數(shù)和降低網(wǎng)絡(luò)復(fù)雜度,因此精確度提高了1%和運算速度提高了6 倍.而CenterNet 模型中,為更好的檢測中心點和角點,該算法中提出中心點池化(center pooling)和級聯(lián)角點池化(cascade corner pooling),使得在COCO 數(shù)據(jù)集上達(dá)到47% mAP,超過目前所有的one stage 檢測算法,并大幅度領(lǐng)先于基于關(guān)鍵點的anchor free 檢測模型,其領(lǐng)先幅度至少為4.9%,但是檢測時間略慢.基于CenterNet的將目標(biāo)作為點的模型,相比于其他模型來說,由于沒有額外的后處理,使得該模型更簡單,在COCO 數(shù)據(jù)集上mAP 達(dá)到45.1%,高于YOLO、SSD、RetinaNet 等基于錨框的one stage模型.FCOS 模型通過對不同特征級別的像素點進(jìn)行回歸,共享不同特征層之間信息,后處理僅用非極大值抑制,使得該模型參數(shù)效率更高、更靈活,相比于錨框的檢測,檢測精度有很大提高,其mAP 高達(dá)44.7%.由此可見,基于關(guān)鍵點的anchor free 目標(biāo)檢測算法具有更高的檢測精確度和檢測速度,因此其更具有實用性.

表3 各類目標(biāo)檢測模型總結(jié)

表4 基于關(guān)鍵點的anchor free 目標(biāo)檢測性能比較

5 總結(jié)與展望

近年來,卷積神經(jīng)網(wǎng)絡(luò)正在不斷的被運用到計算機(jī)視覺領(lǐng)域,尤其是在目標(biāo)檢測方向已經(jīng)有很多基于卷積神經(jīng)的目標(biāo)檢測模型,極大地提高了檢測的精度和運算時間.本文主要對基于關(guān)鍵點的anchor free 目標(biāo)檢測方法進(jìn)行了綜述,根據(jù)檢測關(guān)鍵點個數(shù)的不同,將基于關(guān)鍵點的anchor free 目標(biāo)檢測模型進(jìn)一步分為基于角點的目標(biāo)檢測模型、基于中心點的目標(biāo)檢測模型以及基于全卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型.對每類模型的方法進(jìn)行了研究、分析和對比,總結(jié)了每類模型的思路及其優(yōu)缺點,并對基于關(guān)鍵點的anchor free目標(biāo)檢測算法與基于錨框的檢測算法性能做了對比,由此可以看出anchor free 目標(biāo)檢測算法不論是在速度還是精度上都有非常大的改善.

目前,在交通等各領(lǐng)域的發(fā)展中,目標(biāo)檢測是一大研究課題,速度和精度檢測仍是重中之重,在現(xiàn)有研究的基礎(chǔ)上,我認(rèn)為該領(lǐng)域中研究熱點及發(fā)展趨勢如下:

(1)從專注精度的CornerNet、CenterNet、FCOS和專注速度的CornerNet-Squeeze,anchor free 目標(biāo)檢測未來的方向更加專注于精度和速度的結(jié)合.同時為了提高目標(biāo)的檢測精度,目前大多算法只是對單一時間、單一空間的信息進(jìn)行融合,研究者可以從多維度,對多層級的信息進(jìn)行融合以提升算法的準(zhǔn)確度與魯棒性.

(2)目標(biāo)檢測依賴大量的訓(xùn)練樣本,在數(shù)據(jù)標(biāo)注上消費很大成本,anchor free 目標(biāo)檢測在精度上已經(jīng)有所提升,那么如何對小規(guī)模數(shù)據(jù)的監(jiān)督學(xué)習(xí)進(jìn)行更有效的訓(xùn)練,使其檢測精度大幅度提高將會促進(jìn)目標(biāo)檢測檢測領(lǐng)域的進(jìn)一步發(fā)展.

(3)Anchor free 目標(biāo)檢測對已知類的檢測已日趨成熟,如何實現(xiàn)未知目標(biāo)類的檢測,即從已知類別遷移到對未知類別的目標(biāo)進(jìn)行檢測也將成為未來研究的熱點.