一種基于多尺度的無(wú)人機(jī)影像特征點(diǎn)提取方法

石斌斌?閔曹文

摘 要：為提高無(wú)人機(jī)影像特征點(diǎn)的提取質(zhì)量與拼接精度，建立高斯金字塔實(shí)現(xiàn)多尺度變化進(jìn)行粗差剔除，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）提取影像特征點(diǎn)并通過(guò)最鄰近值匹配特征點(diǎn)完成影像拼接，最后通過(guò)拼接一組無(wú)人機(jī)影像從粗差剔除率、匹配準(zhǔn)確率、匹配時(shí)間3個(gè)方面來(lái)驗(yàn)證影像質(zhì)量。驗(yàn)證結(jié)果表明，匹配點(diǎn)粗差剔除率提升了33.08%，匹配精度提升了12.17%，整體匹配效率有所提升，效果良好。

關(guān)鍵詞：多尺度;卷積神經(jīng)網(wǎng)絡(luò)（CNN）;影像匹配拼接;匹配精度

中圖分類(lèi)號(hào)：TP751;P237 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2021）34-00-03

A Feature Point Extraction Method of UAV Image Based on Multi-Scale

SHI Binbin MIN Caowen

（Jiangxi V&T College of Communications， Nanchang Jiangxi 330000）

Abstract： In order to improve the extraction quality and stitching accuracy of UAV image feature points， this paper establishes a Gaussian pyramid to realize multi-scale change for gross error elimination， uses Convolution Neural Network （CNN） to extract image feature points， and completes image stitching by matching the feature points with the nearest values. Finally， a group of UAV images are stitched from gross error elimination rate， matching accuracy Match time to evaluate image quality. The verification results show that the gross error elimination rate of matching points is improved by 33.08%， the matching accuracy is improved by 12.17%， the matching efficiency is improved， and good results are obtained.

Keywords： multiscale;Convolutional Neural Network（CNN）;image matching and splicing;matching accuracy

無(wú)人機(jī)影像是快速、低成本地獲取地理信息的重要手段之一，廣泛應(yīng)用于各個(gè)領(lǐng)域的信息提取和分析方面。與其他影像產(chǎn)品相比，無(wú)人機(jī)影像具有定位精度高、影像信息豐富等特點(diǎn)，在國(guó)土資源調(diào)查、土地權(quán)屬調(diào)查中發(fā)揮著重要作用。實(shí)際應(yīng)用中，無(wú)人機(jī)獲取的影像圖幅較小，很難滿(mǎn)足后續(xù)工程生產(chǎn)需求，必須進(jìn)行拼接處理。影像的拼接也是攝影測(cè)量生產(chǎn)中的重要環(huán)節(jié)，提升影像拼接的精度顯得尤為重要[1-2]。

近年來(lái)，無(wú)人機(jī)影像拼接仍是研究熱點(diǎn)之一。隨機(jī)抽樣一致算法（Random Sample Consensus，RANSAC）對(duì)影像的粗差實(shí)現(xiàn)了大量刪減以提升影像匹配精度，但可能導(dǎo)致原始影像失真。尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）空間尺度變化，首先構(gòu)建尺度空間并檢測(cè)極值點(diǎn)，后檢測(cè)特征點(diǎn)主方向刪除離散點(diǎn)。該方法的關(guān)鍵在于如何準(zhǔn)確確定特征點(diǎn)主方向。研究表明，結(jié)合矢量數(shù)據(jù)，賦予主要地物更大的拼接權(quán)值，提高了算法速度，但對(duì)矢量數(shù)據(jù)現(xiàn)勢(shì)性要求較高;利用圖像相似性（位置、邊緣）、位置約束、注意力模型，可以生成差異矩陣和動(dòng)態(tài)搜索矩陣，但搜索量大且動(dòng)態(tài)搜索準(zhǔn)確度不高。

1 基于多尺度的卷積神經(jīng)網(wǎng)絡(luò)匹配特征點(diǎn)

通過(guò)構(gòu)建尺度金字塔，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）提取影像特征點(diǎn)，最后通過(guò)最臨近值法完成影像匹配。匹配流程如圖1

所示。

1.1 尺度金字塔

利用高斯金字塔對(duì)影像進(jìn)行分解。利用低通濾波和下采樣得到高斯金字塔第一層，同樣再對(duì)第一層影像進(jìn)行濾波和采樣處理得到第二層，并以此類(lèi)推。設(shè)第i層影像為T(mén)i，則有：

利用不同的高斯差分核對(duì)影像完成濾波處理，降低噪聲與高斯函數(shù)G對(duì)圖像T的模糊函數(shù)為：

1.2 基于CNN的網(wǎng)絡(luò)描述

CNN是對(duì)特征點(diǎn)識(shí)別與分類(lèi)的一種深度學(xué)習(xí)方法，主要由卷積層（Convolution Layer）、池化層（Pooling Layer）、全連接層（Fully Connected Layer）以及激活函數(shù)組成。其原理是通過(guò)卷積核對(duì)圖像卷積得到特征圖（Feature Map），綜合局部特征學(xué)習(xí)到更加抽象、層次更深的特征。特征學(xué)習(xí)的過(guò)程不易受到圖像平移、旋轉(zhuǎn)、縮放的影響，既能學(xué)習(xí)到圖像的細(xì)節(jié)信息，也能準(zhǔn)確地描述圖像整體輪廓[3-5]。卷積特征點(diǎn)提取示意圖如圖2所示。

2 試驗(yàn)結(jié)果及分析

2.1 試驗(yàn)數(shù)據(jù)來(lái)源及參數(shù)

試驗(yàn)環(huán)境為Windows 10操作系統(tǒng)，16 GB內(nèi)存、i7-CPU，Matlab 2020a。數(shù)據(jù)來(lái)源于大疆無(wú)人機(jī)拍攝的江西南昌某區(qū)域的影像數(shù)據(jù)，分辨率為5 472×3 648，相對(duì)航高150 m。CNN卷積模型由5個(gè)卷積層、1個(gè)采樣層、1個(gè)ReLU激活函數(shù)構(gòu)成，卷積核為16×16。

2.2 試驗(yàn)方法

2.2.1 生成高斯金字塔尺度影像。構(gòu)建多尺度空間主要是利用高斯金字塔對(duì)影像進(jìn)行分解[6-9]，利用低通濾波下采樣得到不同尺度的影像。下采樣得到的影像如圖3所示。

采樣后影像的新增像素值通過(guò)原有像素值進(jìn)行加權(quán)平均確定。圖3（b）由圖3（a）進(jìn)行低通濾波后得到，即圖3（b）是圖3（a）模糊化、降采樣后的處理結(jié)果。因此，圖3（b）所含有的細(xì)節(jié)信息比圖3（a）所含有的細(xì)節(jié)信息要少。采樣后的影像在滿(mǎn)足準(zhǔn)精度要求的同時(shí)，盡可能多地保存了原始像素級(jí)數(shù)據(jù)信息。

2.2.2 特征點(diǎn)提取與匹配。卷積神經(jīng)網(wǎng)絡(luò)提取特征點(diǎn)的關(guān)鍵是找到特征變化的分界點(diǎn)——特征的邊緣。邊緣兩側(cè)影像的灰度變化較大，針對(duì)灰度漸變區(qū)域構(gòu)建二階導(dǎo)數(shù)，識(shí)別出圖像漸變區(qū)域。灰度變化較小或者均勻變化的區(qū)域，會(huì)得到一個(gè)接近0的值，而灰度變化大的區(qū)域則相反，從而識(shí)別出圖片的邊緣。將二階導(dǎo)數(shù)運(yùn)算結(jié)果與卷積核運(yùn)算后，得到圖像水平方向的二階導(dǎo)數(shù)。當(dāng)滑動(dòng)卷積核對(duì)整個(gè)影像進(jìn)行卷積時(shí)，水平邊緣會(huì)令二階導(dǎo)數(shù)取得一個(gè)接近0的值，其余部分就會(huì)得到一個(gè)較大的值，從而突出了垂直邊緣，最后將特征點(diǎn)位置重新映射回原圖像，觀(guān)察試驗(yàn)結(jié)果，如圖4所示。

2.3 試驗(yàn)分析

SIFT算法是一種特征檢測(cè)算子，通過(guò)對(duì)尺度空間極值點(diǎn)的檢測(cè)，根據(jù)關(guān)鍵點(diǎn)的信息生成關(guān)于特征點(diǎn)的特征向量。對(duì)任一特征點(diǎn)，根據(jù)特征點(diǎn)所在尺度，選擇以特征點(diǎn)為中心的16×16大小的區(qū)域，將此區(qū)域分成4×4個(gè)子區(qū)域，對(duì)每個(gè)子區(qū)域的8個(gè)方向梯度進(jìn)行計(jì)算。子區(qū)域的8個(gè)方向梯度根據(jù)位置排序，構(gòu)建出128維的特征向量，將特征向量長(zhǎng)度歸一化處理后就是圖像SIFT局部特征描述子。

為了驗(yàn)證該影像拼接方法是有效的，將本方法與SIFT算法進(jìn)行對(duì)比分析。兩種匹配方法如圖5所示，分別從粗差剔除率（計(jì)算影像均方根誤差并剔除誤差大于3倍均方根誤差的點(diǎn)）按式（4）計(jì)算匹配精度、匹配時(shí)間評(píng)價(jià)效果。

式中：X '、Y '為參考影像坐標(biāo);x、y為匹配后坐標(biāo);n為匹配點(diǎn)數(shù)。

由表1得出以下結(jié)論。①本影像拼接方法比SIFT算法的影像特征點(diǎn)粗差剔除率提升了33.08%。②SIFT算法可匹配不同角度獲取的影像，但其計(jì)算過(guò)程復(fù)雜、拼接效率低;本方法經(jīng)過(guò)尺度變換與卷積神經(jīng)網(wǎng)絡(luò)提純特征點(diǎn)操作后，能夠有效剔除粗差，大幅減少特征點(diǎn)匹配時(shí)間。③對(duì)于相同影像，SIFT算法匹配的特征點(diǎn)為480個(gè)，匹配準(zhǔn)確率為87.93%;本方法匹配特征點(diǎn)為165個(gè)，匹配準(zhǔn)確率為93.10%，達(dá)到了亞像元的精度，提升了匹配精度。

3 結(jié)語(yǔ)

隨著對(duì)影像匹配精度質(zhì)量的要求提高，傳統(tǒng)的無(wú)人機(jī)匹配方法逐漸顯現(xiàn)出諸多不足。SIFT算法不能有效剔除匹配點(diǎn)中存在的錯(cuò)誤，對(duì)于紋理單一區(qū)域構(gòu)建的特征向量極少，對(duì)影像匹配產(chǎn)生了較大影響。通過(guò)卷積來(lái)改善特征點(diǎn)質(zhì)量，在減少特征點(diǎn)匹配點(diǎn)的同時(shí)保證了配準(zhǔn)精度，極大地改善了影像拼接效果，但全卷積神經(jīng)網(wǎng)絡(luò)模型高度復(fù)雜，需要研究人員有較強(qiáng)的調(diào)節(jié)參數(shù)能力。同時(shí)，一幅影像總的特征點(diǎn)數(shù)量關(guān)系到匹配精度的評(píng)價(jià)，是今后值得深入研究的內(nèi)容。

參考文獻(xiàn)：

[1]陳常暉.基于特征點(diǎn)的無(wú)人機(jī)圖像拼接技術(shù)優(yōu)化研究[J].蘭州文理學(xué)院學(xué)報(bào)（自然科學(xué)版），2021（4）：59-64.

[2]張占平，武風(fēng)英，包鵬章.改進(jìn)SIFT的傾斜無(wú)人機(jī)影像匹配方法[J].地理空間信息，2021（8）：106-109.

[3]晏細(xì)蘭，楊震倫.圖像特征點(diǎn)提取與匹配的算法分析[J].科學(xué)技術(shù)創(chuàng)新，2021（22）：111-112.

[4]王俊超.圖像特征點(diǎn)的快速檢測(cè)與匹配方法研究[D].西安：西安科技大學(xué)，2019：1-64.

[5]劉健辰.基于傾斜影像的Mesh模型自動(dòng)構(gòu)建方法研究[D].武漢：武漢大學(xué)，2017：1-137.

[6]王震，劉健辰.基于圖割法的無(wú)人機(jī)正射影像拼接[J].北京測(cè)繪，2020（9）：1179-1183.

[7]陳銳，陳志，張佳煜，等.基于優(yōu)化三維重建技術(shù)的快速影像拼接[J].軟件導(dǎo)刊，2020（7）：219-222.

[8]喜文飛，史正濤，李國(guó)柱.圖論算法的無(wú)人機(jī)影像匹配特征點(diǎn)粗差剔除[J].測(cè)繪通報(bào)，2020（4）：6-10.

[9]劉洪江，曹玉香，李佳，等.基于OpenCV圖像處理的無(wú)人機(jī)影像拼接技術(shù)研究[J].城市勘測(cè)，2021（2）：83-86.