基于優化SIFT算法的農田航拍全景圖像快速拼接

劉媛媛，何 銘，王躍勇，孫 宇，高雪冰

?農業信息與電氣技術?

基于優化SIFT算法的農田航拍全景圖像快速拼接

劉媛媛1,3，何 銘1,3，王躍勇2,3※，孫 宇1,3，高雪冰1,3

（1. 吉林農業大學信息技術學院，長春 130118；2. 吉林農業大學工程技術學院，長春1 30118；3. 吉林農業大學智慧農業研究院，長春 130118）

為了快速準確獲取大面積農田圖像信息，提高保護性耕作秸稈還田監測效率和準確性，該研究提出一種基于優化SIFT（scale-invariant feature transform）算法的農田航拍全景圖像快速拼接方法。首先對高分辨率圖像進行降采樣處理，針對圖像的重疊區域進行有效檢測；然后采用基于梯度歸一化的特征描述符對特征點進行匹配，同時通過漸進樣本一致算法去除誤匹配，精準計算拼接轉換模型；最后采用基于最佳拼接線的多分辨率融合算法進行圖像融合，得到全景拼接圖像。試驗結果表明：該文方法在圖像配準階段與傳統SIFT算法和SURF（speeded up robust feature）算法相比，特征點數量分別減少了97%和90%，運行時間減少了94%和69%，平均匹配效率為65.17%，約為SIFT算法的4倍，SURF算法的9倍；與APAP（ss-projective-as-possible）、SPHP（shape-preserving half-projective）和AANAP（adaptive as-natural-as-possible）算法相比，該方法拼接圖像的信息熵、平均梯度和圖像對比度均有明顯提高。與傳統方法相比，該文分層拼接方法提高了全景拼接圖像的清晰度和融合效果，解決了傳統方法中出現的錯位和重影問題，其中全景圖像的信息熵、平均梯度小幅提高，對比度明顯提高，拼接時間大約縮短了90%以上。研究結果可為保護性耕作秸稈還田監測提供科學參考。

無人機；圖像處理；全景拼接；SIFT算子；特征點匹配；圖像融合

0 引 言

秸稈覆蓋還田能夠杜絕秸稈焚燒產生的大氣污染，同時還能起到增肥增產作用，對農業生產、生態環境有積極影響[1-3]。為了更好地實行秸稈還田補貼政策，準確評估秸稈還田率極其重要。目前，國內主要采用人工拉繩法來測量秸稈覆蓋率，效率低、精度差。因此，采用計算機視覺技術解決田間秸稈覆蓋率精準檢測問題十分重要[4-6]。近幾年，無人機航拍技術不斷發展與普及，其具有快速、靈活、操作方便、影像分辨率高等優勢，得到廣泛應用[7-8]。受到無人機飛行高度和相機成像視場的限制，無人機獲取的單幅圖像難以完全覆蓋目標區域，為了滿足秸稈覆蓋率及地理信息檢測對大面積全景圖像的要求，需要利用圖像拼接技術，對無人機采集的序列圖像進行全景拼接。圖像拼接技術最初由SUTHERLAND[9]提出。1975年KUGLIN等[10]提出通過傅里葉變換把原始圖像變換到頻域區，通過歸一化互動功率譜計算相鄰圖像間的平行和旋轉量，最后得到拼接圖像。

圖像配準是序列圖像拼接的關鍵。HARRIS等[11]提出了Harris特征點檢測器，對像素直接進行處理，通過角點計算特征點，像素精度高，魯棒性好，但其不具有尺度不變性，對圖片的明暗程度比較敏感，在紋理角點豐富的場景下檢測效果較差。LOWE等[12]提出了尺度不變特征變換（scale-invariant feature transform, SIFT）算法，該算法匹配精度高，有良好的尺度不變性以及較強光照及視角變化的魯棒性，但特征點計算量大，特征描述子計算過程復雜度高，無法滿足圖像快速拼接要求。BAY[13]對SIFT算法的興趣點提取及其特征向量描述進行改進，提出了高魯棒性局部特征點檢測（speeded up robust feature，SURF）算法。與SIFT算法相比，SURF算法充分利用積分圖像，大大減少了計算復雜度和計算量，計算速度更快，但算法穩定性差且對尺度和旋轉的變化容忍度低。MOREL等[14]提出了一種仿射尺度不變特征轉換（affine scale invariant feature transform，ASIFT）算法，該算法建立一種仿射模型對SIFT算法中仿射變換匹配計算進行改進。RUBLE等[15]提出了ORB（oriented FAST and rotated BRIE）算法，該算法在圖像匹配計算中速度更快。但也不具備尺度不變性，在很多應用上都有著很大的不足。

國外關于圖像拼接的研究主要集中在拼接相鄰兩幅圖像[16]或同行多幅圖像生成全景圖像[17-18]的簡單情況。目前，國內研究人員對無人機航拍圖像拼接的研究也取得快速發展。賈銀江等[19]提出了一種基于圖像銳化的自適應修改采樣步長的非極小值抑制拼接算法。沈躍等[20]提出了基于Kinect彩色和深度雙信息特征源的圖像拼接方法，能夠有效克服光照、風吹等環境因素的影響，避免了圖像缺失、亮暗差異、重影等拼接錯誤。吳如夢等[21]提出根據無人機航拍過程中自身的參數和攝像頭的參數信息，使用SURF算法對預處理后的圖像進行特征檢測的方法。王紅君等[22]提出了基于改進SPHP算法的無人機遙感圖像全景拼接方法。王艷等[23]通過改進SIFT算法提出一種基于GA-SIFT算法的航拍圖像拼接方法。目前已有遙感圖像拼接軟件如Pix4、ENVI、Agisoft等對圖像具有較高要求，圖像重疊率必須為80%以上，在對大面積農田圖像拼接時，所需圖像數據較多，耗時較大，無法滿足快速拼接要求。

針對上述問題，本文結合航拍秸稈農田圖像特點，對多幅高分辨率圖像拼接方法展開研究，提出了一種基于優化SIFT算法的秸稈農田全景圖像快速拼接方法，針對圖像重疊區域提取秸稈目標特征點，并在特征匹配階段對匹配點進行篩選，利用漸進樣本一致（progressive sample consistency，PROSAC）算法去除誤匹配點，實現精準匹配，最后采用基于最佳拼接線的多分辨率融合算法進行圖像融合，得到高分辨率的農田區域全景圖像。

1 航拍農田圖像快速拼接算法

1.1 算法流程

為了準確、快速地計算農田秸稈還田率，通過無人機航拍采集低空高分辨率圖像，結合航拍秸稈農田圖像特點提出了一種基于優化SIFT算法的農田航拍全景圖像快速拼接算法，為大面積秸稈還田率檢測及地理信息檢測提供大面積區域圖像信息是非常有價值的[24-26]。本算法流程如圖1所示。

圖1 航拍農田圖像快速拼接算法

首先，通過對無人機獲取的低重疊率秸稈農田序列圖像進行濾波和增強處理；其次，運用優化SIFT算法檢測圖像重疊區域的特征點，獲取特征描述子MN-SIFT[27]；然后，根據尺度還原后的特征點描述子進行特征點匹配，利用漸進樣本一致算法對匹配結果優化，剔除其中的誤匹配；最后，計算圖像投影轉換模型，采用基于最佳縫合線的多分辨率圖像融合算法進行圖像融合，生成全景拼接圖像。

1.2 重疊區域檢測

無人機采集的相鄰圖像之間存在旁向重疊和航向重疊（本文均為20%），用于拼接的有效區域僅為重疊區域。傳統的SIFT和SURF算法為全局特征提取，即對圖像的全部區域進行特征提取，會在重疊區域外檢測出大量無效特征點，增加了算法計算量，從而導致特征檢測效率低、耗時長。因此，為提高檢測和匹配效率，實現快速拼接，在進行特征點檢測前，需要判定相鄰圖像之間的重疊區域，確定特征檢測的有效區域。由于圖像采集過程中無人機按照設置航線飛行，如圖2所示，相鄰圖像之間相對位置，無較大偏轉，根據航線方向和重疊率，可計算出航向（軸）和旁向（軸）重疊區域在圖像中的坐標。根據所求坐標，僅對圖像重疊區域進行特征檢測，圖3為相鄰航拍圖像重疊區域示意圖。

圖2 無人機圖像采集

圖3 相鄰航拍圖像重疊區域示意圖

1.3 特征點提取

本文根據不同視角和時間采集農田航拍圖像，具有紋理、投影、光度和非線性強度變化，且圖像中秸稈特征相似，顏色接近，特征匹配難度較大。直接采用傳統SIFT算法檢測和匹配特征點，存在特征點冗余、耗時長、配準效率低等問題。因此，本文對SIFT算法進行改進，只針對重疊區域（有效區域）進行特征提取，去除了無效區域大約80%的特征點，在此基礎上對圖像進行降采樣處理，以降低圖像的分辨率，減少SIFT特征檢測的計算量；針對秸稈圖像的紋理特征采用一種新的特征描述子，可以更好地匹配秸稈特征，提高配準精度。具體步驟為：

1）圖像降采樣處理。根據降采樣系數，對輸入圖像中每行每列間隔點取樣。由于不同場景中的航拍圖像信息豐富度不同，降采樣系數的取值也不同。

2）尺度空間極值點檢測。搜索所有尺度的圖像位置，通過高斯微分函數識別潛在的尺度和旋轉不變的興趣點。二維圖像的尺度空間(,,)定義為尺度可變高斯函數(,,)與原圖像(,)的卷積，如式（1）～（2）。

式中，為橫縱坐標，為尺度大小。

3）精確定位特征點。通過擬合三維二次函數獲得極值點，確定特征點的位置和尺度，同時過濾低對比度特征點和不穩定的邊緣響應點，以增強匹配穩定性，提高抗噪聲能力。

式中min和max是圖像區域內獲得的梯度幅值最小值和最大值，（,）表示像素位置。

以特征點為原點，構建41×41（像素）的圖像區域(,)，并將其分成4×4個子區域，如圖4所示。

圖4 構建圖像子區域

將該區域(,)與[?1,0,1]和[?1,0,1]T進行卷積，分別獲得水平和垂直方向梯度F和F。由式（4）～（5）得到梯度幅值(,)和特征方向(,)。

通過取余運算，將方向(,) 分為8個等級，(,)由式（7）計算，根據(,)計算特征直方圖h，如式（8）所示。

式中ì[0,7]，函數在除0以外的點都等于0。當()=1時，為主方向，否則為其他方向：

最后，將每個子區域特征直方圖h串聯，形成一個不受尺度、旋轉和光照等影響的MN-SIFT特征描述子。

改進算法去除了特征檢測中大量無效特征點，用少量精準特征點實現高質量配準，解決傳統SIFT算法耗時長、匹配效率低的問題，并對秸稈農田航拍圖像的旋轉變換、尺度縮放、亮度變化具有較好的魯棒性。

1.4 特征點匹配

在特征匹配前，根據降采樣系數對提取到的特征點坐標和尺度進行等比例還原，將檢測出的特征點還原到原始圖像中，保證后續高分辨率圖像拼接的精度，利用還原后的特征點描述子MN-SIFT對特征點對進行相似度度量，生成匹配點對。特征點匹配的篩選標準為特征點間的歐氏幾何距離，見式（10），選取歐氏幾何距離最小的兩個特征點，計算最小兩個歐氏幾何距離的比值并與特定閾值進行比較（式（11））。在兩向量夾角較小時，兩向量的歐氏距離可通過向量的點積運算近似得出。

式中和分別代表參考圖像和目標圖像中的特征點，D和D分別代表維特征描述子。

式中1和2分別是特征點最近鄰點和次近鄰點的歐氏距離。若比值小于特定閾值（通常為0.4～0.6之間），則認可這一對匹配點，反之則剔除。

通過相似性度量可以實現圖像特征點的快速匹配，但不可避免會產生誤匹配，嚴重時會導致后續拼接圖像發生重影、錯位等情況。為解決這一問題，本文采用漸近樣本一致算法進一步優化匹配結果，篩選得到精準的匹配特征點對。

1.5 基于最佳縫合線的多分辨率融合

航拍秸稈農田圖像中信息多、細節復雜，本文將多分辨率融合算法與最佳縫合線法[28]相結合，提出基于最佳縫合線的多分辨率融合算法。

最佳縫合線法[28]通過能量函數（式（12））計算，融合顏色差異、梯度差異和紋理復雜性，在待融合圖像間的重疊區域搜索最佳縫合線，將重疊區域圖像劃分為過渡區域和縫合線區域，構建掩膜圖像和模板圖像。

式中表示最終權重，E表示色差，E表示梯度差，E表示紋理差，表示懲罰。

利用金字塔變換對掩膜圖像和模板圖像進行8層金字塔操作，通過高斯濾波器(,)對圖像卷積操作，然后經過下采樣構建高斯金字塔，將高斯金字塔的每一層圖像減去上一層經過上采樣和高斯卷積之后的圖像，各層差值圖像組成拉普拉斯金字塔L，見式（13）～（15）。其中代表層數，和分別代表行和列數，為高斯金字塔最大層數，為拉普拉斯金字塔最大層數。

采用漸入漸出算法對掩膜圖像金字塔中相對應的每層圖像分別進行融合，將兩張融合圖像分別定義為1和2，融合后圖像為，如式（16）。其中1(,)、2(,)為權值函數，1(,)+2(,)=1，(,) 表示距邊界的距離最終構建成新的拉普拉斯金字塔。

拉普拉斯金字塔逆變換可以將融合后的拉普拉斯金字塔逐層恢復成其對應的高斯金字塔，然后使用插值法將其與模板圖像結合，得到融合圖像，如式（17）。

本文融合算法有效去除拼接拼接過程中出現的鬼影和虛影現象，能夠避免圖像信息丟失，保留圖像細節信息，實現圖像的高質量拼接。

1.6 分層拼接策略

全景拼接中多圖拼接的核心是求拼接序列中所有圖像的投影模型，對其組合，但由于誤差累計，嚴重影響拼接效果。本文提出多幅圖像的分層拼接策略，降低多圖拼接累積誤差，提高全景圖像質量。具體思路是：由于無人機航拍作業時同一路線的圖像之間的相對位置關系明確，偏轉角度較小，轉換模型累計誤差也較小，所以采用按航線進行分層，其首要任務是拼接每一層圖像，然后將每一層的結果全景拼接，形成完整全景圖像。

2 圖像拼接試驗結果與分析

2.1 圖像采集與試驗設備

無人機遙感圖像數據來自3個不同的試驗區，包括吉林省長春市吉林農業大學教學科研基地（125°37′57.38″E，44°16′33.64″N）；吉林省長春市農業機械研究院試驗基地（43°52′6.83″E，125°30′19.67″N）；吉林省長春市二道區三道鎮和平農場（125°30′39.87″E，43°52′27.21″N）。采集時間為3月中下旬－4月上旬和10月中下旬－11月中下旬，晴天，采集時間集中在上午9：00－11：00和下午13：00－15：00。采集設備為大疆M200 V2無人機搭載X5S增穩云臺。無人機飛行高度為120 m，圖像橫縱重疊率均為20%，圖像大小為5 280×2 970（像素），共200張。試驗環境為Windows10操作系統，Intel(R) Core(TM) i5-7300 CPU 2.50 GHz，GTX 1050，內存為8 GB。

2.2 降采樣系數選擇

為獲得較為理想的特征點數目和匹配率，需要不斷改進降采樣系數值，經過對多張不同地塊的單張秸稈圖像進行試驗，統計多次試驗后圖像特征點檢測數量、匹配率（匹配點數量/特征點數量）和運行時間的平均值，如表1所示。由表1可知，值越大，特征點數目越少，時間越短。當值為3時，單幅圖像特征點匹配點數量適中，速度較快，且匹配率最高，滿足快速拼接要求，因此本文取= 3。

表1 特征匹配結果統計

2.3 特征點檢測與匹配

為驗證本文方法的配準效果，選取具有復雜背景和特征差異的航拍圖像，分別采用傳統SIFT、SURF和本文算法進行特征點檢測與匹配，試驗結果如圖5所示。統計3種算法的特征點數量、匹配點數量、匹配率（匹配點數量/特征點數量）和運行時間，如表2所示。

由圖5可以看出，傳統SIFT算法檢測出了大量特征點，但大部為無效特征點（圖5a）。采用SURF算法的特征點數量較傳統SIFT算法減少，但也有大量無效特征點，且特征點分布不均勻（圖5b）。本文優化算法的特征檢測結果與傳統SIFT算法，僅對重疊區域檢測，去除了大量無效特征點，大大提高了檢測和匹配效率（圖5c）。

圖5 特征檢測結果對比

表2 特征配準結果

從表2的特征點數量和匹配率結果可知，本文算法檢測出的特征點數量相較于傳統SIFT和SURF算法分別減少了97%和90%，且匹配率（匹配點數量平均值/特征點數量平均值之比）為65.17%，遠高于其他兩種算法。此外，本文算法大大降低了運行時間，比傳統SIFT和SURF算法節約了94%和69%的時間，極大地提高了特征檢測與匹配的效率，單幅平均檢測時間約為3.72 s，達到快速檢測的目的。

2.4 圖像拼接

2.4.1 單幅圖像拼接

本文采集的秸稈農田圖像背景比較復雜，除秸稈外還包含道路、房屋、車等。為驗證本文快速拼接方法的有效性，將兩幅圖像的拼接結果與當前優秀的圖像拼接方法進行了比較，包括APAP[16]，SPHP[17]，AANAP[18]算法。試驗圖像尺寸為5280×2970（像素），圖像之間的重疊率為20%。

利用不同算法對3個地塊的圖像進行拼接試驗，拼接結果如圖6所示，圖中紅框標注同一圖像位置的拼接細節。可以看出，本文算法實現了良好的融合效果和高質量拼接。

圖6a和圖6b在拼接區域有明顯錯拼，且出現模糊、錯位現象，圖像質量相對較低。圖6c在拼接區域雖然無明顯錯拼和現象，但圖像細節模糊，有重影現象，圖像質量一般。圖6d在拼接區域過渡自然、清晰，圖像質量相對較高。

采用信息熵（I）[29]、平均梯度（C）[30]和圖像對比度（I）對拼接圖像質量進一步評估。

信息熵表示圖像所包含的平均信息量的多少，熵值越大則所含信息量越多，效果越好，計算式為

式中代表圖像，P表示在圖像中灰度值為的像素在圖像總像素數量中所占的比例，是灰度等級，一般取256。

平均梯度也稱為清晰度，反映圖像中的微小細節反差與紋理變化特征，值越大越清晰，計算式為

式中()表示圖像對應像素(,)的灰度值。

圖像對比度表示圖像黑與白的比值，表示從黑到白的漸變層次。比值越大，圖像色彩越豐富，圖像質量越好，計算式為

式中d(i,j)=|i-j|，為相鄰像素間灰度差，Pd為相鄰像素間的灰度差d的像素分布概率。

圖6拼接圖像的評價指標計算結果如表3所示。由表3可知，與其他方法相比本文方法拼接后的圖像的信息熵、平均梯度小幅提高，對比度明顯提高，圖像質量更高，在多組試驗中的表現都明顯優于其他方法。此外，與其他方法相比，本文方法的拼接時間有較大改善，拼接效率明顯提高，滿足快速拼接的要求。

表3 拼接性能比較

2.4.2 多幅圖像拼接

為驗證多幅高分辨率圖像分層拼接策略及本文方法的有效性，針對具有復雜背景的高分辨率秸稈農田航拍圖像，分別采用傳統方法和本文方法進行5組試驗，并對全景拼接結果進行比較和分析，部分結果示例如圖7所示。

由圖7可以看出，本文方法對背景復雜、特征差異大的3組隨機圖像都取得了很好的拼接效果。矩形框標注圖像中的拼接細節，放大圖像細節可以看出，本文方法生成的圖像整體質量較高，細節清晰，拼接效果自然，沒有出現錯位和重影現象。而用傳統方法拼接后的圖像整體質量較低，有明顯的重影、錯位和模糊現象。2種方法的評價指標結果見表4。

由表4可知，本文方法生成的全景圖像的信息熵、平均梯度提高約10%，對比度提高約20%，整體耗時降低90%以上。根據主觀和客觀指標評價，可以看出，本文方法的拼接質量較高，提高了拼接后圖像的清晰度和融合效果，也解決了傳統方法中出現的錯位和重影問題。

圖7 全景拼接對比圖

表4 多圖拼接性能比較

3 結 論

本文基于無人機采集的秸稈農田航拍數據，提出了一種基于優化SIFT算法的農田航拍圖像快速拼接方法，通過特征點數量、運行時間以及圖像質量等指標驗證本方法的高效性，結果如下：

1）在特征檢測階段，本文算法只針對重疊區域（有效區域）進行特征提取，去除了無效區域大約80%的特征點，在此基礎上對圖像進行降采樣，降低圖像的分辨率，在保證拼接質量的條件下進一步減少了特征點的數量；與傳統SIFT算法和SURF算法相比，特征點數量減少了97%和90%；運行時間減少了94%和69%，滿足快速拼接檢測的要求。

2）在特征匹配階段，本文算法對提取到的特征點坐標和尺度進行等比例還原，保證了圖像信息完整和拼接的精度；使用新的特征描述子進行匹配，有效提高了特征點檢測精度，匹配率（匹配點數量/特征點數量）為65.17%；與傳統SIFT算法和SURF算法相比有較大提升；并且通過PROSAC算法進一步去除誤匹配，提高了轉換模型的精度，拼接圖像的質量。

3）通過基于最佳縫合線的多分辨率圖像融合算法有效去除鬼影、虛影，能夠避免圖像信息丟失，保存圖像細節信息完整。本文方法在單幅圖像的拼接中實現了良好的融合效果和高質量的拼接，與其他拼接方法相比，該方法的性能優于其他廣泛使用的優秀方法。

4）針對高分辨率秸稈圖像的多圖拼接，提出了一種多幅高分率航拍圖像的分層拼接策略。與傳統方法相比，本文的快速拼接方法生成的全景圖像，其信息熵、平均梯度提高約10%，對比度提高約20%，圖像整體的拼接精度和質量有明顯提高。最后將本文整體的航拍全景圖像的快速拼接方法與傳統方法相比，在提高拼接圖像質量的同時，整體耗時降低90%以上，滿足快速拼接檢測的要求。

本文方法能夠在復雜背景條件下針對無人機航拍圖像中的重疊區域快速準確地提取秸稈目標特征點，能在特征匹配階段區分秸稈和雜波等其他干擾源，實現匹配點的精確匹配，最后采用基于最佳縫合線的多分辨率圖像融合算法進行圖像融合，提高了圖像質量，實現圖像的全景拼接，但在時間上仍有進一步提高的空間。該方法也可以應用于遙感和農業監測領域，生成用于作物評估和預測的實時全景圖像。

[1] 田慎重，張玉鳳，邊文范，等. 深松和秸稈還田對旋耕農田土壤有機碳活性組分的影響[J]. 農業工程學報，2020，36(2)：185-192.

TIAN Senzhong, ZHANG Yufeng, BIAN Wenfan, et al. Effect of deep loosening and straw return on the organic carbon activity fraction of rototilled farmland soils[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(2): 185-192. (in Chinese with English abstract)

[2] 汪可欣，付強，張中昊，等. 秸稈覆蓋與表土耕作對東北黑土根區土壤環境的影響[J]. 農業機械學報，2016，47(3)：131-137.

WANG Kexin, FU Qiang, ZHANG Zhonghao, et al. Effects of straw mulching and topsoil tillage on soil environment in the root zone of northeastern black soil[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(3): 131-137. (in Chinese with English abstract)

[3] 王忠江，王澤宇，司愛龍，等. 秸稈與沼肥同步翻埋還田對秸稈腐解特性的影響[J]. 農業機械學報, 2017，48(6)：271-277.

WANG Zhongjiang, WANG Zeyu, SI Ailong, et al. Effect of simultaneous reburial of straw and methane fertilizer on the decomposition characteristics of straw[J]. Transactions of the Chinese Society of Agricultural Machinery, 2017, 48(6): 271-277. (in Chinese with English abstract)

[4] 劉媛媛，孫嘉慧，張書杰，等. 用多閾值多目標無人機圖像分割優化算法檢測秸稈覆蓋率[J]. 農業工程學報，2020，36(20)：134-143.

LIU Yuanyuan, SUN Jiahui, ZHANG Shujie, et al. Detection of straw cover with multi-threshold multi-objective UAV image segmentation optimization algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 134-143. (in Chinese with English abstract)

[5] 劉媛媛，周小康，王躍勇，等. 改進U-Net模型的保護性耕作田間秸稈覆蓋檢測[J]. 光學精密工程，2022，30(9)：1101-1112.

LIU Yuanyuan, ZHOU Xiaokang, WANG Yueyong, et al. Improved U-Net model for straw cover detection in conservation tillage fields[J]. Optics and Precision Engineering, 2022, 30(9): 1101-1112. (in Chinese with English abstract)

[6] 劉媛媛，張碩，于海業，等. 基于語義分割的復雜場景下的秸稈檢測[J]. 光學精密工程，2020，28(1)：200-211.

LIU Yuanyuan, ZHANG Shuo, YU Haiye, et al. Straw detection algorithm based on semantic segmentation in complex farm scenarios[J]. Optics and Precision Engineering, 2020, 28(1): 200-211. (in Chinese with English abstract)

[7] 李欣璐，凌燦權. 無人機遙感技術在農情監測中的應用[J].現代農業裝備，2022，43(5)：45-51.

LI Xinlu, LING Canquan. Application of UAV remote sensing technology in agricultural situation monitoring[J]. Modern Agricultural Equipment, 2022, 43(5): 45-51. (in Chinese with English abstract)

[8] 劉忠，萬煒，黃晉宇，等. 基于無人機遙感的農作物長勢關鍵參數反演研究進展[J]. 農業工程學報，2018，34(24)：60-71.

LIU Zhong, WAN Wei, HUANG Jinyu, et al. Research progress on the inversion of key parameters of crop growth based on UAV remote sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(24): 60-71. (in Chinese with English abstract)

[9] SUTHERLAND I E. Sketchpad a man-machine graphical communication system[J]. Simulation, 1964, 2(5): R-3-R-20.

[10] KUGLIN C. The phase correlation image alignment methed[J]. Proc. Int. Conference Cybernetics Society, 1975: 163-165.

[11] HARRIS C G, STEPHENS M. Harris C, Stephens M. A combined corner and edge detector[C]//Alvey Vision Conference. 1988.

[12] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision. 2004, 60(2): 91-110.

[13] BAY H T. Surf: Speeded up robust features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[14] MOREL J M, Yu G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[15] RUBLEE E, KABAUI V, KONOLIGE K, et al. ORB: An efficient alternative to SIFT or SURF[C]//International Conference on Computer Vision. Barcelona: IEEE Pree, 2011: 2564-2571.

[16] ZARAGOZA J, CHIN T J, BROWN M S, et al. As-projective-as-possible image stitching with moving DLT[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 36(7): 2339-2346.

[17] CHANG C H, SATO Y, CHUANG Y Y. Shape-preserving half-projective warps for image stitching[C]//IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA. 2014: 3254-3261.

[18] LIN C C, PANKANTI S U, RAMAMURTHY K N, et al. Adaptive as-natural-as-possible image stitching[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, 2015: 1155-1163.

[19] 賈銀江，徐哲男，蘇中濱，等. 基于優化SIFT算法的無人機遙感作物影像拼接[J]. 農業工程學報，2017，33(10)：123-129.

JIA Yinjiang, XU Zhe’nan, SU Zhongbin, et al. UAV remote sensing crop image stitching based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(10): 123-129. (in Chinese with English abstract)

[20] 沈躍，朱嘉慧，劉慧，等. 基于深度和彩色雙信息特征源的Kinect植物圖像拼接[J]. 農業工程學報，2018，34(5)：176-182.

SHEN Yue, ZHU Jiahui, LIU Hui, et al. Kinect plant image stitching based on depth and color dual information feature sources[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 176-182. (in Chinese with English abstract)

[21] 吳如夢，方挺，李文欽. 基于SURF特征的無人機航拍圖像拼接方法[J]. 現代制造技術與裝備，2019(8)：34-36.

WU Rumeng, FANG Ting, LI Wenqin. SURF feature-based stitching method for UAV aerial images[J]. Modern Manufacturing Technology and Equipment, 2019(8): 34-36. (in Chinese with English abstract)

[22] 王紅君，劉一鳴，岳有軍，等. 基于改進SPHP算法的無人機遙感圖像拼接技術[J]. 計算機工程與設計，2020，41(3)：783-788.

WANG Hongjun, LIU Yiming, YUE Youjun, et al. UAV remote sensing image stitching technique based on improved SPHP algorithm[J]. Computer Engineering and Design, 2020, 41(3): 783-788. (in Chinese with English abstract)

[23] 王艷，祁萌. 基于 GA-SIFT 算法的無人機航拍圖像實時拼接[J]. 測繪通報，2021(8)：28-32，47.

WANG Yan, QI Meng. Real-time stitching of UAV aerial images based on GA-SIFT algorithm[J]. Mapping Bulletin, 2021(8): 28-32, 47. (in Chinese with English abstract)

[24] 劉杰，游品鴻，占建斌，等. 改進SIFT快速圖像拼接和重影優化[J]. 光學精密工程，2020，28(9)：2076-2084.

LIU Jie, YOU Pinhong, ZHAN Jianbin, et al. Improved SIFT fast image stitching and ghosting optimization algorithm[J]. Optics and Precision Engineering, 2020, 28(9): 2076-2084. (in Chinese with English abstract)

[25] ZHANG W, WANG Y, LIU Y. Generating High-Quality Panorama by View Synthesis Based on Optical Flow Estimation[J]. Sensors, 2022, 22(2): 470.

[26] DENG L, YUAN X, DENG C, et al. Image stitching based on nonrigid warping for urban scene[J]. Sensors. 2020, 20(24): 7050.

[27] SALEEM S, BAIS A, SABLATNIG R. Towards feature points based image matching between satellite imagery and aerial photographs of agriculture land[J]. Computers and Electronics in Agriculture, 2016, 126: 12-20.

[28] LU J, XU Y, GAO Z. An improved method of an image mosaic of a tea garden and tea tree target extraction[J]. 2022, 4(1): 231-254.

[29] 王茜，寧紀鋒，曹宇翔，等. 基于SIFT算法的無人機遙感圖像拼接技術[J]. 吉林大學學報（信息科學版），2017，35(2)：188-197.

WANG XI, NING Jifeng, CAO Yuxiang, et al. UAV remote sensing image stitching technology based on SIFT algorithm[J]. Journal of Jilin University (Information Science Edition), 2017, 35(2): 188-197. (in Chinese with English abstract)

[30] 沈躍，朱嘉慧，劉慧，等. 基于彩色和深度信息結合K-means聚類算法快速拼接植株圖像[J]. 農業工程學報，2018，34(23)：134-141.

SHEN Yue, ZHU Jiahui, LIU Hui, et al. Fast stitching of plant images based on color and depth information combined with K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE). 2018, 34(23): 134-141. (in Chinese with English abstract)

Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm

LIU Yuanyuan1,3,HE Ming1,3,WANG Yueyong2,3※,SUN Yu1,3,GAO Xuebing1,3

(1.,,130118,;2,,130118,;3.,,130118,)

Straw mulching has been a common measure for black land conservation in the northeastern plains of China. It is a great significance of an effective solution to reduce soil erosion for environmental protection and sustainable development in modern agriculture. However, it is difficult to calculate the coverage rate at one time, due to the wide area of crop cultivation. Therefore, it is a high demand for the rapid acquisition of image information on a large area of farmland, in order to improve the efficiency and accuracy of straw mulching. Fortunately, aerial drone images and videos can be widely used in various fields, such as agricultural monitoring, weather forecasting, and geographic mapping. Among them, the application of remote sensing technology focuses mainly on the crops and soil in agriculture. The spectral patterns of the ground can be utilized to monitor the crops and soil in the field. Specifically, the spectral characteristics of the ground are used to monitor the growth of crops, crop quality, crop pests, and diseases. The high-resolution images can be collected by unmanned aerial vehicle (UAV) aerial photography. The panoramic stitching can be selected for rapid and accurate access to the large-area farmland image information. Therefore, it is of great practical significance to agricultural intelligence, particularly for the high efficiency and accuracy of straw cover monitoring of conservation tillage. In this study, a fast-stitching method was proposed for the aerial panoramic images of the fields using the optimized scale-invariant feature transform (SIFT) algorithm. Firstly, the high-resolution image was down-sampled to effectively detect the overlapping regions of the image. The gradient normalization-based feature descriptors were then used to match the feature points. The false matches were removed by the progressive sample consistency algorithm, in order to accurately calculate the stitching conversion model. Finally, the multi-resolution fusion algorithm was used for the high-quality stitched imageusing the best stitching line. The experimental results show that the improved algorithm reduced the number of feature points by 97% and 90%, the running time by 94% and 69%, and the average matching efficiency by 65.17% in the image alignment stage, respectively, compared with the traditional SIFT and Speeded Up Robust Feature (SURF) algorithm, which was about 4 times that of SIFT algorithm, and 9 times that of SURF algorithm, respectively. Compared with the as-projective-as-possible (APAP), the shape-preserving half-projective (SPHP), and the adaptive as-natural-as-possible (AANAP) algorithms, the new algorithm significantly improved the information entropy, the average gradient, and image contrast of the stitched image. More importantly, the stitched image was of higher quality with more than a 90% reduction in the running time, particularly with better overall performance. The systematic evaluation demonstrated that the layered stitching method significantly improved the clarity and fusion effect of the panoramic stitched images, compared with the traditional. Moreover, there was no misalignment and ghosting that appeared in the traditional. Specifically, the information entropy and average gradient of the panoramic images were slightly improved to increase the contrast by about 20%, indicating a higher stitching efficiency than before. The overall stitching time was also shortened by about 90% or more. The research structure can also provide a scientific reference to monitor the conservation of tillage with straw returning.

UAV; image processing; panoramic stitching; SIFT operator; feature point matching; image fusion

10.11975/j.issn.1002-6819.202210135

TP751.1

A

1002-6819(2023)-01-0117-09

劉媛媛，何銘，王躍勇，等. 基于優化SIFT算法的農田航拍全景圖像快速拼接[J]. 農業工程學報，2023，39(1)：117-125.doi：10.11975/j.issn.1002-6819.202210135 http://www.tcsae.org

LIU Yuanyuan, HE Ming, WANG Yueyong, et al. Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(1): 117-125. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202210135 http://www.tcsae.org

2022-10-18

2022-12-12

國家自然科學基金資助項目（42001256）；吉林省科技廳技術創新引導項目（20220402023GH）；吉林省科技廳重點科技項目（20230202039NC，20220203004SF）；吉林省發展和改革委員會創新項目（2019C054）；吉林省教育廳科學技術研究項目（JJKH20220339KJ）

劉媛媛，博士，副教授，研究方向為農業信息化圖像和視頻信號處理。Email：liuyuanyuan1980@126.com

王躍勇，博士，副教授，研究方向為田間保護性耕作機械及智能系統。Email：yueyongw@.jlau.edu.cn