大豆冠層多源圖像特征點配準方法研究

關海鷗 朱可心 馮佳睿 馬曉丹* 于 崧

(1.黑龍江八一農墾大學 電氣與信息學院，黑龍江 大慶 163319；2.黑龍江八一農墾大學 農學院，黑龍江 大慶 163319)

大豆冠層三維重建技術一直是農業信息化領域研究的熱點和重點，對于大豆植株株型特征計算及品種選育具有重要意義[1]。近年來，基于可見光的雙目或多目立體視覺技術已經較多地應用到植物冠層的三維重建研究中[2-3]。研究表明，非結構的自然環境中光照強度的變化是影響立體視覺系統進一步廣泛應用的主要原因。三維數字化儀在植株冠層結構重建中也得到了一定的應用[4-5]，但測量相關冠層參數時對外界環境條件要求高(例如無風)，且需手動操作設備測量多項數據，盡管利用該設備能采集冠層空間位置信息，但無法同時記錄冠層的顏色信息。激光掃描儀是主動成像設備，能夠主動發射激光束，工作過程中受自然光照影響較小，因此可精確地捕獲植株冠層空間信息，缺點是無法同時獲取冠層的顏色及紋理信息。

PMD(Photonic mixer detector)相機是測量被測物深度信息的新型設備，以“高幀速”拍攝目標圖像并記錄其距離信息，但分辨率較低(200像素×200像素)。彩色攝像機雖然能夠得到目標圖像豐富的顏色及紋理等信息，但受外界光照影響較大。若將二者結合起來，可互為補充，為大豆冠層三維重建提供了一種可靠的圖像獲取平臺[6]。

圖像配準是大豆冠層三維形態重建的基礎，是底層像素級的匹配，隸屬于圖像匹配、理解的范疇。圖像匹配是指把多個輸入和已有知識模型建立關聯的過程，即用存儲在計算機中的模型去識別未知視覺模型，最終實現對輸入的解釋。因此，圖像匹配可以表達為綜合處理已經存在的表達，并建立聯系的過程。圖像配準為圖像像素或像素集合的圖像匹配。如何在空間上對圖像進行配準，從而校正相對位置平移、旋轉角度位移、縮放尺度、幾何變化等，就是圖像配準研究的內容。研究圖像配準的目的就是使表示同一目標的像素點在多源圖像中進行精確坐標對準和定位，提高配準精度，使得后續融合結果包含的信息更加準確。圖像配準技術已經在很多領域得到了應用，通過圖像配準，可以更好地集成不同傳感器信息，檢測不同時間對同一場景拍攝圖像的變化，以便重建高分辨圖像和對從不同視角拍攝的圖像進行重構等[7]。

PMD和彩色攝像機的雙攝像機多源圖像配準問題是保證三維重建精確度的關鍵，傳統圖像配準的重點主要集中于配準基于同一攝像機獲取的圖像，而基于PMD與彩色攝像機開展大豆冠層多源圖像配準研究較少。因此，本研究圍繞以上思路，將大豆冠層作為研究對象，在室外及室內2種環境下利用PMD相機與彩色攝像機組合獲取大豆冠層多源圖像，開展圖像配準方法研究，旨在提高后期大豆冠層三維重建的精確性。

1 材料與方法

本研究在黑龍江八一農墾大學大豆種植實驗基地(室外環境)以及電氣與信息學院內(室內環境)進行數據采集工作。室外環境自然光強為965 lx，溫度為28 ℃。選取墾農23、墾農29、墾農30及墾農33等4個大豆品種，將種子經過精選后進行消毒、催芽，播種于PVC材料的花盆中，花盆直徑25 cm，高40 cm，內部裝有20 kg土壤和沙子(m(土)∶m(沙)=2∶1)的混合基質，并施入底肥量，施肥量為：尿素50 mg/kg，磷酸二胺30 mg/kg，硫酸鉀30 mg/kg。 大豆栽培時每盆種植10株，待幼苗生長到5葉期時每盆定苗3株，進入生殖期后進行追肥，肥量為底肥的1/2，每個品種3次重復且隨機排列。在自然環境下，選取生殖生長初期的多分枝和少分枝不同株型的大豆植株作為試驗樣本。

2 視覺系統構建與圖像特征描述

本研究中大豆冠層數據的采集機器視覺系統主要包括：PMD攝像機、彩色攝像機、可調三角架、數據線與筆記本電腦(圖1)。其中PMD攝像機用于完成目標距離信息獲?。徊噬珨z像機獲取的彩色圖像用于與PMD圖像完成配準，為后續重建具有彩色信息的大豆冠層圖像提供前期技術支持。雙攝像機以上下組合方式固定于三角架，調整鏡頭使之指向同一被測物。

PMD相機采用了基于ToF(Time-of-flight)技術的連續光幅度調制原理，能夠快速獲取整個被測物場景多源圖像。PMD相機是主動成像設備，其工作原理為：光發射器發出紅外光信號，光束到達目標物體后發生反射，光探測器接收到反射光后，依據紅外光在個發射和反射過程中的傳播時間和速度計算PMD到目標之間的距離[8]。

圖1 大豆冠層數據采集機器視覺系統Fig.1 Machine vision system of data acquisition for soybean canopies

PMD相機發射的紅外波長為870 nm，幀速40幀/s，有效測量距離0.3～7 m，可快速獲取目標物體的深度信息，依據與目標物體的遠近，圖像的成像顏色由藍到紅，依據距離信息能夠有效地去除復雜背景的影響。圖2為獲取的大豆冠層多源圖像，其中彩色圖像由RGB相機獲取，其他圖像由PMD相機獲取得到；深度圖像能夠表達目標物體的距離信息；幅度圖像能夠有效過濾背景圖像干擾；標記圖像能夠反映圖像品質；強度圖像是可見光和近紅外光的入射光強度均值，成像效果類似于灰度圖。

圖2 大豆冠層多源圖像Fig.2 Soybean canopy of multi-source images

3 基于Harris特征的大豆冠層多源圖像配準

圖像配準包含特征空間選擇、相似性度量、搜索空間和搜索算法4個環節。特征空間中含有圖像顯著特征，相似性度量描述配準圖像間的相似性特征，搜索空間是圖像配準過程幾何變換模型參數的取值區間，其搜索算法為最優化過程。因此，配準本質就是自尋優過程，主要是基于灰度信息的圖像配準[9-10]和基于特征的圖像配準[11-12]。前者利用圖像灰度信息建立配準圖像之間的相似性度量，存在運算量大且速度慢的弊端；后者首先提取圖像中角點、邊緣信息等固定不變的特征，通過這些特征建立圖像之間的映射，從而計算變換模型參數，該方法由于壓縮了圖像信息量，因此計算過程中運算量小且速度快。基于Harris特征的圖像配準方法，與尺度不變特征變換(Scale-invariant feature transform, SIFT)算法[13]和加速穩健特征(Speed-up robust features, SURF)算法[14]相比，盡管Harris算法[15]在光照魯棒性方面不如上述二者，但同樣是應用較為廣泛的一種特征點檢測算法，其優勢在于實現思想簡單實用，計算過程耗時較短，能夠較精確地檢測特征明顯的角點，滿足了本研究中快速檢測特征點的實際需求。

為了保證后續冠層三維重建的精度及彩色信息的有效性，選擇強度圖像為待配準圖像，彩色圖像為目標圖像。首先分別在多源圖像中提取尺度不變的Harris特征點；然后采用歸一化互相關系數法以此確定匹配的同名點，采用改進RANSAC算法提純同名點對；最后依據同名點坐標建立多源圖像空間關系映射模型，實現大豆冠層的多源圖像配準。

3.1 坐標變換與插值

3.1.1仿射變換

本研究采用PMD相機和彩色攝像機相結合構成多源圖像采集系統，由于二者水平視角及分辨率不同，獲取的彩色圖像與PMD圖像之間往往會存在變形，所以必須選擇適合的坐標變換類型消除多源圖像之間的形變。目前，應用較多的變換類型主要有剛體變換(Rigid body transformation)[16]、投影變換(Projective transformation)[17]、仿射變換(Affine transformation)[18]、以及非線性變換(Nonlinear transformation)[19]。由于彩色圖像上任意直線構成的像素點映射到PMD圖像上后仍然為直線，且二者為平行直線，采集獲取的多源圖像之間的映射關系符合仿射變換，因此采用仿射變換求解彩色圖像與強度圖像的坐標變換與插值。

仿射變換是平移、旋轉、鏡像和縮放的組合，可以分解為線性變換和平移變換。在二維空間里，點(x,y)經仿射變換到點(x′,y′)的變換公式為：

(3)

3.1.2灰度插值

以強度圖像為標準，對彩色圖像進行仿射變換。彩色圖像仿射變換后，在新坐標系中，像素點坐標不能保證一定是整數，對于得到的非整數坐標值，需要對其進行重新采樣和插值。目前插值的方法主要為最近鄰插值法、雙線性插值法和三次插值法，這3種方法的插值精確度由低到高，速度由快到慢，考慮到變換過程兼顧速度和精度的最佳性，選擇雙線性插值算法對仿射變換后的圖像進行重采樣。

3.2 特征點提取

Harris是基于圖像灰度信息的特征點檢測算子。該算子利用灰度圖像微分運算和自相關矩陣檢測特征點位置及灰度值。特征點判定準則是遍歷圖像所有像素點，若該點存在至少2個方向梯度的灰度絕對值都比自身灰度值大，則該點判定為特征點。設圖像中像素點(Δx,Δy)的灰度值為(x,y)，利用以下步驟檢測圖像的角點。

首先，對圖像進行濾波，(Δx,Δy)為像素點(x,y)位置偏移量，位置偏移后的強度值變化為：

(1)

其中，M為自相關矩陣：

(2)

然后，建立角點響應函數，CRF=detM-k(traceM)2，式中：detM=λ1λ2，traceM=λ1+λ2，λ1和λ2為M的特征值，表征自相關函數的一階曲率；k為經驗值，通常取0.05。遍歷圖像中每個像素點，求解CRF最大值。

最后，遍歷圖像中每個像素點，與相鄰8連通區域像素點CRF值比較，若CRF值為其8連通區域最大值，同時其大于設定閾值，則該像素點判為特征點。

3.3 特征點粗匹配

采用基于歸一化互相關系數法檢測彩色圖像與強度圖像中的特征點對。設Ai和Bj分別為彩色圖像和強度圖像中的任意特征點，ω1和ω2是分別以彩色圖像中的特征點Ai和強度圖像中的特征點Bj為中心的尺寸等同的窗口，ui和uj分別為ω1和ω2是窗口內的灰度均值，uj為窗口的大小。因此，像素點Ai和Bj的相似度測度NCC表示為：

(3)

針對彩色圖像中的特征點Ai，在強度圖像中尋找與其相關性最大的特征點。同時針對強度圖像中的特征點Bj，尋找彩色圖像中與其互相關系數最大的點集，相關值大于指定閾值的點被確定為特征點對。

3.4 特征點精匹配

基于NCC的特征點匹配算法只能完成初始匹配，無法處理匹配過程中的重復匹配和誤匹配的特征點對，所以需要對檢測到的特征點對進一步提純。RANSAC算法[20]作為經典的精匹配算法，雖然能夠較為有效地剔除誤匹配點對，但在對原始數據集中的數據排序，需要回到特征點匹配階段進行。這不僅費時，也導致了模型估算不準確或抽樣次數增加。為克服上述問題，在特征點匹配階段，按照可信度將特征點對排序，從可信度高的點對開始抽取，進而減少抽樣次數。

(4)

(5)

式中，第i對特征點對行標距離與列標距離分別與第j對特征點對行標距離與列標距離相等。

從抽樣次數和數據檢驗時間2個方面考慮，本研究采用文獻[21]中改進RANSAC算法，對圖像特征點進行精匹配，避免傳統RANSAC算法的計算效率低的不足。按照置信度值對粗匹配的特征點對進行排序，從置信度高的特征點對子集中抽取特征點對樣本，進而減少取樣次數及時間。該算法步驟如下：

1)記錄特征點對集合中每一組特征點對的行列坐標，建立距離數組D(xi,yj)，并將行標距離及列標距離存于該數組中，同時對每類距離值數量進行統計。

2)分別求解行列坐標距離值，若距離值屬于距離數組D，則該類距離值增1，否則，標記為新的距離。

3)將距離類別按照數量排序，同時將每類距離中的特征點對劃分為n個集合，即E1,E2,…,En，并將其繼續劃分為k個子集和，即{E1},{E1,E2},…,{E1,E2,…,En}，設置k個錯誤比率，并計算出k個錯誤比率下的不同子集和的抽樣次數Kki。

4)從子集和{E1}中隨機選取四對特征點對，計算模型參數，抽樣次數記作Ki，當Ki>Kki時，從子集{E1,E2}抽樣，否則，執行步驟5)。

5)在第i子集和中，計算其模型參數的內點比例m及其歐式距離d，設定內點比例閾值為t1，歐式距離和閾值為t2，若mt2，則跳轉至步驟4)，否則執行步驟6)。

6)對模型參數進行全局檢驗，設定V1為全局內點比例閾值，V2為全局歐式距離和閾值，若kV2，則返回步驟4)，否則結束算法。

應用上述步驟得到的優選模型參數，即可求解出模型中所有內點。

4 試驗驗證

為驗證本研究提出的圖像配準算法的有效性，在黑龍江八一農墾大學大豆種植試驗基地(室外環境)以及電氣與信息學院(室內環境)開展試驗驗證工作。隨機選擇盆栽大豆植株各20盆，共計40組圖像，分別用于室外和室內環境下大豆冠層多源圖像配準試驗。采用本研究使用的Harris特征點檢測算法和改進RANSAC算法實現的大豆冠層室內環境下的配準效果及室外環境下的配準效果分別見圖3和圖4。

將彩色圖像經過仿射變換與插值后得到與強度圖像等大的圖像，同時為加快配準速度，將彩色圖像變換為灰度圖像。圖3(a)、(b)與圖4(a)、(b)為分別為室內與室外環境下利用Harris算法在彩色圖像和強度圖像中檢測到的特征點，圖3(c)與圖4(c)是利用歸一化互相關系數法得到的特征點粗匹配效果?？梢钥闯?，粗匹配結果存在明顯錯誤匹配和一對多的誤匹配，因此必須對粗匹配特征點對進行有效提純，才能精確地配準大豆冠層的多源圖像。圖3(d)與圖4(d)為利用本研究提出的改進RANSAC算法提取得到的精確特征點對，通過匹配效果可以看出，錯誤匹配和誤匹配的情況已經被有效地去除。

圖3 室內環境下大豆冠層圖像配準效果Fig.3 Registration effect under indoor environment for soybean canopies

圖4 室外環境下大豆冠層圖像配準效果Fig.4 Registration effect under outdoor environments for soybean canopies

為評估本研究提出的大豆冠層圖像配準算法，分別在室外和室內2種環境下，利用本研究構建的多源圖像采集設備，各采集20盆大豆冠層多源圖像。將Harris算法與SIFT算法和SURF算法在特征點檢測數量和運行時間上進行對比，對比結果見表1。從平均特征點檢測的數量上來看，SIFT算法和SURF算法分別檢測到95個和78個特征點，而Harris檢測到101個特征點，其中包含了較多的冗余點，因此從特征點檢測數量方面，并非越多越好。盡管Harris算法檢測到冗余特征點，但正確的特征點個數足以用來匹配特征點對，并用于求解大豆冠層多源圖像間的空間映射關系；在平均運行時間方面，Harris算法用時2.59 s，呈現出了較快速的優勢，滿足本研究快速檢測特征點的需求。因此本研究選用Harris算法作為大豆冠層多源圖像特征點檢測算法。將本研究配準算法與經典的RANSAC算法與距離約束角點配準算法[22]在算法配準精確度方面進行比較，對比結果見表2?？梢钥闯?，本研究提出的改進RANSAC算法在配準正確率方面，相對于傳統RANSAC算法和距離約束角點配準算法，在圖像配準的準確率方面有很大的提高。此外，室外環境下圖像配準的準確率低于室內環境，影響其準確率的因素主要在于外界光線對多源圖像成像有一定的影響，導致特征點提取時出現誤差，進而影響了彩色圖像和強度圖像配準效果。

表1 HARRIS算法與其他算法檢測大豆圖像特征點效果對比Table 1 Comparison of feature points detection algorithms between HARRIS and other algorithm for detection of feature points of soybean canopy images

表2 改進RANSAC算法與其他算法對于大豆冠層圖像配準效果對比Table 2 Comparison of different registration algorithms between improved RANSAC and other algorithms for registration of soybean canopy images

5 結 論

本研究利用PMD攝像機與彩色攝像機構成多源圖像采集系統，獲取了室內及室外環境下大豆冠層多源圖像，將彩色圖像與強度圖像作為研究對象，利用Harris算法檢測圖像中的特征點，并采用歸一化互相關系數法完成特征點的粗匹配，同時提出了改進RANSAC算法對粗匹配特征點對進行提純，獲取了有效的圖像特征點對。將本研究提出的圖像配準算法與經典配準算法進行比較，在室外環境下樣本組的平準正確配準率為83%，室內環境下的平均正確配準率為87%，驗證了該算法的有效性。研究成果為下一步進行大豆冠層精確三維重建提供了技術支持。