遠程葉面積指數半球圖像采集系統

萬雪芬, 楊 義, 韓 芳

(1.華北科技學院 計算機學院, 河北 廊坊 065201； 2. 東華大學 信息科學與技術學院, 上海 201620)

遠程葉面積指數半球圖像采集系統

萬雪芬1, 2, 楊 義2, 韓 芳2

(1.華北科技學院 計算機學院, 河北 廊坊 065201； 2. 東華大學 信息科學與技術學院, 上海 201620)

為低成本遠程獲取植被冠層半球圖像信息, 從而得到葉面積指數這一重要的生態學參數, 提出了一種遠程葉面積指數半球圖像采集系統.該系統采用嵌入式平臺、低成本圖像傳感器與魚眼鏡頭組成的現場節點獲取植被冠層半球圖像.冠層半球圖像采集時節點還對環境日光輻照及溫濕度進行實時監測, 以便剔除無效數據及進行節點維護.上位機與現場節點間利用3G網絡進行交互.上位機對獲取的冠層圖像使用像素校準與超分辨率技術提高圖像質量, 從而抑制由于魚眼成像畸變與圖像辨析度不足而在葉面積指數計算中引入的誤差.測試結果表明, 該系統可有效地對植被冠層圖像進行低成本遠距離采集, 并得到誤差較小的葉面積指數計算結果.

植被冠層；葉面積指數；半球圖像；超分辨率

植被冠層是植被進行光合作用最主要的部分, 通過對植被冠層結構參數的測量, 可以對日光輻照截取率、光合作用效果、冠下光線時空分布等進行評估[1-2].在諸多冠層結構參數中, 用于表示植被冠層單位面積上葉面積總量的葉面積指數(leaf area index, LAI)最為重要[3-4].

葉面積指數的測量方法可分為直接法與間接法.直接法冠層測量需要對植被進行大范圍的破壞性采樣, 且人力、物力消耗較大, 而間接法則可避免上述問題[5].基于魚眼鏡頭的半球圖像葉面積指數測量技術，由于其精確性和有效性, 在國內外得到了廣泛的研究[6-9].測量中, 通過采集180°范圍內的植被冠層圖像信息并輔以后處理算法, 即可獲得冠層結構對應的葉面積指數.但是現有半球圖像冠層測量技術多借助單反相機并與魚眼鏡頭組合進行圖像采集.測量者需要進入冠層下方手工采集圖像, 單反相機與鏡頭也無法在外場長期安放以跟蹤植被較長生長周期內的冠層變化.尤其是在一些邊遠地區, 較難進行植被冠層長期的人工監測.此外該方法的設備成本較高, 也無法同時自動進行分布式的圖像采集.

近年來, 隨著嵌入式與圖像技術的發展, 遠程低成本冠層半球圖像采集技術成為可能.但是在對冠層圖像進行采集時, 為了避免葉片對太陽輻射的散射效果使部分葉片混入天空像元, 通常在云層均勻分布的日出后1 h或日落前1 h內進行[10].冠層對光照強度也有較大影響.而低成本圖像采集設備由于CCD與鏡頭內鏡片組等的限制, 在這一條件下的成像清晰度有所下降, 并具有一定的魚眼非對中誤差.如果要得到較為精確的葉面積指數計算結果, 必須要對圖像進行后處理抑制誤差、提高圖像品質.本文提出了一種遠程葉面積指數半球圖像采集系統, 該系統采用嵌入式平臺結合低成本魚眼鏡頭對植物冠層圖像進行采集, 并監測日光輻照及溫濕度數據.冠層圖像與監測數據通過3G數據通道由節點傳輸至上位機, 最終利用魚眼圖像校正與超分辨率算法提升冠層圖像品質.

1 基于半球圖像的葉面積指數計算

將均勻介質中光線傳播的Beer-Lambert定律引入到植物冠層光線傳播模型中, 并僅考慮直射光的作用效果, 有

(1)

其中:L為葉面積指數；α為葉傾角；θ為天頂角；G(θ,α)為表示葉傾角α的單位葉片面積在特定天頂角θ方向上的投影面積, 其與葉傾角分布有關；T(θ) 為植物冠層孔隙度, 其可通過式(2)計算得到.

(2)

其中:ΓL(θ)與ΓS(θ)分別為天頂角θ時半球圖像上的葉片像素數量與該天頂角對應的圓環像素數量.在利用式(1)與(2)對葉面積指數的計算中,G(θ,α)在天頂角θ∈[25°, 65°]時近似為θ的線性函數, 尤其是在天頂角θ=57°時,G(θ,α)=0.5[8].所以在利用半球圖像對葉面積指數的計算中, 常依據天頂角將θ∈[25°, 65°]內的冠層半球圖像以天頂角θ=57°為基準線分割成一組環形圖像, 之后再利用灰度閾值方法進行二值化處理, 計算得到θ=57°時的葉面積指數.然后分別計算各環形圖像中的冠層孔隙度, 最終利用在θ=57°時獲得的葉面積指數獲取線性區葉傾角.但是在實際圖像采集中, 較低分辨率的半球圖像造成葉邊緣模糊, 難以有效地將葉片像元與天空像元分離, 由此在冠層孔隙度中引入誤差.另外魚眼鏡頭在投影成像中會由于鏡頭加工誤差、鏡頭卡口安裝等原因，造成同一天頂角的圖像成像在距離成像中心間距不同的環上, 由此也會造成葉面積指數計算值偏離真實值.上述問題在低成本圖像采集系統中更為嚴重, 所以需要對采集到的半球圖像進行相應處理, 從而實現對葉面積指數與葉傾角計算中的誤差抑制.

2 硬件設計與功能

在系統設計中, 現場節點布設于冠層下方獲取冠層的圖像及輔助參數.系統現場節點的硬件部分包括核心處理部分、3G通信模塊、圖像采集部分、輔助參數采集部分與供電部分組成, 如圖1所示.

圖1 現場節點結構框圖Fig.1 Configuration of in-field node

現場節點核心處理部分采用STM32F407, 其豐富的內部資源, 有助于實現高集成度的系統結構[11-12].3G通信模塊選用ZWD-35B型串口3G透傳模塊, 其上行與下行傳輸速率分別為1.8和3.1MiB/s.ZWD-35B與STM32F407通過RSM3485CHT單路高速隔離RS-485收發器進行通信.圖像采集部分選用OV2640型與VMAX-K1A型魚眼鏡頭適配器的組合.OV2640可實現200萬像素的圖像采集, 結合視角為180°的VMAX-K1A, 可以有效采集上半球的冠層圖像.設計中還使用PMMA可調扣具用于適配VMAX-K1A與OV2640的焦距和視場, 使圖像在采集時達到最優化的效果.輔助參數采集分為日光輻照參數采集及溫濕度參數采集.前者用于提供冠層圖像采集時的日光光線環境參考參數；后者為使用者提供設備周圍溫濕度信息, 以便對其進行維護.日光輻照傳感器采用Davis-6450型日光輻照傳感器, 該傳感器依照1.67 mV-1 W/m2的比例關系將日光輻照數據轉化為電壓輸出，以供STM32F407進行A/D采集.使用時Davis-6450置于冠層上方.環境溫濕度則由STM32F407通過1-wire通信協議由AM2306戶外耐候型傳感器獲得.系統供電部分采用DC/DC結合LDO的方式, 從而獲得高效率的多電壓輸出.系統輸入DC電壓為12 V, 采用賽特12V12AH的BT-12M12AC鉛酸蓄電池提供, 或在此基礎上增加斯普威爾 SML05太陽能控制器與40 W多晶硅太陽能電池板的組合.前者適用于采集周期為數天的短時測量；后者適合在特定位置長時期的監測.鉛酸蓄電池或太陽能供電系統提供的12 V電壓一路通過電源適配器為ZWB-35B模塊供電；另外一路通過隔離型LM2596 DC-DC電源模塊轉換為5 V, 之后分別通過TPS73033與TPS73030提供3.3與3.0 V電壓輸出.

由于圖像數據量較大且僅在全天的部分時間段內對冠層圖像采集才具有意義,所以現場節點在工作中分別為普通監測模式與圖像采集模式.當現場節點在普通監測模式中, 將以5 min為周期不斷地監測日光輻照數據和溫濕度的變化, 獲得大刻度(每5 min采樣一次)的日光輻照與溫濕度數據, 并將采集結果發回上位機.當接收到上位機的圖像采集命令后, 節點進入圖像采集模式.節點通過圖像傳感器OV2640以預設間隔先后獲得4幅圖像及該周期內的細刻度(每秒采樣一次)日光輻照數據, 并通過STM32F407內部的實時時鐘為數據打上時間戳.完成采集后驗證圖像數據有效性, 如果為有效圖像則發往上位機.發送完成后返回普通監測模式.

云層快速變化與冠層中葉片受風抖動都會造成冠層下日光輻照強度改變, 這將對系統圖像采集造成不利影響.前者破壞了日光輻射的均勻散射效果, 并有可能造成部分葉片混入天空像元中.而后者則會造成圖像中的運動抖動模糊.現場節點在圖像采集的過程中獲得的大刻度與細刻度日光輻照數據，有助于實現對日照氣象條件的分析.在晴朗無云與云層均勻分布的條件下, 日光輻照數據隨時間的變化都為一緩變曲線.大刻度與細刻度采樣數據偏差較小, 且晴朗無云與云層均勻分布可由輻照強度數據區別.而在云層快速運動時, 大刻度與細刻度采樣數據有較大偏差, 且在圖像采集時段內也會出現輻照強度一定程度上的波動, 如果細刻度測量結果的絕對值的平均值超過預先設定的波動容忍閾值(大刻度輻照參考值的25%), 則可判定圖像數據無效.而葉片受風抖動也會造成日光輻照的快速變化.同樣利用大刻度/細刻度數據比較及閾值判決的方式可判定圖像數據的有效性.在上位機發來的采樣控制信息中包含由大刻度數據時均插值計算得到的輻照參考值, 現場節點依照該參考值與細刻度數據及其方差實現圖像數據有效性判定.如果采樣時輻照氣象數據不符合判定閾值, 則僅向上位機發出該時段內的細刻度日光輻照數據及報錯信息.

3 上位機與圖像處理

上位機軟件采用C++設計, 上位機硬件采用華北工控基于Intel公司Pineview-M/D技術的3.5寸嵌入式主板EMB-3870.對于冠層圖像采樣, 上位機可選用自動工作模式與手動工作模式.上位機及其軟件功能結構如圖2所示.

圖2 上位機及其軟件功能結構Fig.2 Host computer and its software structure

上位機可根據現場節點的經緯度與本地時間計算出實時太陽高度角信息.在太陽高度角較小時可望獲得較理想的冠層圖像采樣數據.所以在自動模式下軟件使用者通過設定采樣時對應的太陽高度角數值, 當太陽高度角滿足該條件時上位機自動發出采樣指令.在手動模式下則需軟件使用者手工向節點發送采樣指令.當上位機完成冠層圖像接收后, 將其存入以當次采樣發起時間命名的文件夾下, 并對其進行魚眼圖像校正與超分辨率處理.節點在普通監測模式下間隔5 min自動向上位機發送日光輻照數據與溫濕度數據.當上位機接收數據后, 將其存入SQLite數據庫.采用SQLite的原因是其具有簡潔高效的特點, 且占用資源較低，這非常適于在低功耗工控機上運行.完成日光輻照與溫濕度監測數據接收與存儲后, 并將日光輻照數據與溫濕度數據利用ZedGraph圖標類庫顯示于屏幕上.此外當節點溫濕度超越告警閾值后, 上位機還將向指定的郵箱中發送告警郵件以便管理者進行節點維護.

通常魚眼鏡頭由于鏡頭工藝及相機機身接口的細微誤差，會造成鏡頭光學中心與照片中心不重合.而低成本魚眼鏡頭內部的鏡片數量與加工誤差限制, 圖像各部分的不均衡失真變形較單反魚眼鏡頭更甚[13].不過這一類型的魚眼鏡頭多為定焦鏡頭, 具有唯一的投影方程.所以可以采用預標定的方法確定變形參數, 并加以矯正.魚眼鏡頭的失真可以認為是像元在成像過程中其投影位置與真實位置的偏離.通過標定該偏離值并在拍攝圖像中引入修正即可有效降低冠層圖像魚眼誤差[14].在具體實施中, 可在冠層圖像采集前令系統對帶有十字標的馬賽克墻進行拍照, 之后利用Arcgis量尺工具獲得圖像中各十字標離中心的像素偏離距離.在此基礎上利用三次插值得到每一個像素點的偏離參考值.在獲得現場節點發來的冠層圖像后, 將圖像像素位置依照該參考值進行修正, 由此獲得校準后的圖像.該方法的圖片對象為在圖片RGB中提取藍色分量對應的灰度圖片.圖片超分辨率處理可望有效提高圖片辨識效果[15].在進行圖像超分辨率處理時, 需要將圖片進行預處理.該過程可以和前述去魚眼誤差的操作放在同一雙三次插值步驟中, 由此得到低魚眼誤差的高像素圖片.隨后利用下采樣濾波器與上采樣濾波器對該高像素圖片進行操作, 并與原圖對應分量相減, 得到原始圖片的低通和高通部分.在高通部分中查找像素區域異常, 如果有則對該區域進行矯正, 通過該步驟可以較為部分抑制枝干對最終葉面積指數計算結果的影響.之后對雙三次插值得到的高像素圖片進行自相似處理, 尋找與之前得到的高通部分相似的位置.之后將高通部分納入到該高像素圖片中，再利用Sobel算子檢測邊緣及進行邊緣平滑化處理.冠層圖像處理流程如圖3所示.

圖3 冠層圖像處理流程Fig.3 Image processing for canopy

4 測試結果及討論

本文系統完成后于2016年4～6月間在京東地區的混栽園藝闊葉林中進行了測試, 林中樹種主要為桃樹、杏樹、玉蘭、柳樹、白樺及楊樹.測試中選擇日照與云層分布符合標準的時段在林中多個位置進行采集, 每個時段采集4～8組數據.將本系統與利用佳能EOS 700D和適馬8mm F3.5 EX DG魚眼鏡頭在同一位置采集數據的分析結果進行比較, 以獲得葉面積指數及葉傾角誤差.圖像采集中設置激光標尺與水平架以令二者的成像平面與成像中心對準.選擇葉傾角作為誤差評估的原因是該參數與葉面積指數緊密相關, 且其計算需依靠半球圖像的各環形分割圖像.其誤差不僅體現了葉面積指數在G(θ,α)=0.5環形上的誤差, 也體現了系統在線性區的成像效果.

在不同位置的測試中, 現場節點與移動基站之間的直線距離為200～1 300 m, 測試中系統工作穩定可靠, 數據采集及回傳無異常現象發生, 數據傳輸成功率可達100%.系統實測功耗小于670 mW.在單獨使用鉛酸電池供電并設置3G模塊休眠調度的情況下, 系統可連續工作一周以上；若采用鉛酸電池與太陽能供電結合的方法, 其提供的能量可保證系統連續工作, 無需在使用中更換電池.

圖像采集處理結果如圖4所示.由圖4中可以看出, 處理后的結果有較高的辨析度, 天空像元與葉片像元之間較易區分.

圖4 系統在林中不同位置的圖像采集處理結果Fig.4 Collecting and processing canopy images in different locations in the forest

圖5中(a)、(c)、(e)與(b)、(d)、(f)分別為由未經圖像處理與完成圖像處理冠層半球圖片所得到的結果.由圖5中可以看出，處理后的圖片含有更豐富的細節, 尤其是部分在處理之前細節模糊的葉片邊緣與尺寸較小的冠層孔隙得以獲得較為清晰地呈現.由此在一定程度上由嵌入式平臺、低成本圖像傳感器與魚眼鏡頭所組成現場節點，所采集的冠層半球圖像接近由高分辨率單反相機所采集處理的效果.

圖5 現場節點采集到的一組半球圖像及其處理結果Fig.5 Collected canopy hemispherical images results by in-field node and corresponding processing

測試共在107個晨暮時段采集到有效數據.由于葉面積指數可由θ=57°處的環形圖像數據求得, 所以在測試中取處于θ=[56°, 58°]區間的環形圖像作為葉面積指數計算的依據.將由本系統獲得并處理的圖像中計算得到的葉面積指數值與由單反相機取得的采集處理結果進行比較, 比較中采用每個測試時段葉面積指數計算結果的平均值.二者之間的歸一化誤差如圖6所示.

圖6 系統葉面積指數與葉傾角歸一化誤差結果Fig.6 Normalized error results in LAI and leaf angle

此外依據θ=57°處環形圖像計算得到的葉面積指數, 利用Open CV對線性區圖像以θ=5°為尺度進行分割, 之后結合分割后各環形圖像中的冠層孔隙度得到線性區葉傾角數值.由此對利用單反相機與本系統得到的葉傾角誤差數據進行比較, 其時段歸一化誤差結果也示于圖6中.

4～6月為植物生長期, 采集到的半球圖像中葉片像元在半球圖像中所占比例總體呈上升趨勢, 由此在測量結果中誤差也呈上升趨勢.但是由圖6中可以看出, 通過校準-插值方法抑制了魚眼成像畸變誤差, 及使用超分辨率提高了葉片邊緣和冠層孔隙的辨識度, 算法處理后的葉面積指數及葉傾角誤差都得到了一定程度的抑制.由圖6中還可看出, 當葉片像元的占比較高時, 通過處理對誤差的抑制程度相對于葉片像元占比較低時略高.6月底京東地區混栽園藝闊葉林已經進入生長成熟期, 其冠層結構已基本穩定, 所以其葉片像元占比不會再有明顯增加, 系統的測量計算誤差同樣也不會出現明顯增加.此外對葉傾角的計算誤差結果中可以看到, 各線性區環形分割圖像有較好的成像質量, 未在葉傾角計算結果中引入較大誤差.測量中還發現，在同一時段的采集過程中, 如無風力與輻照的明顯變化, 現場節點采集的各組冠層半球圖像具有較好的一致性.依據采集處理的半球圖像計算所獲得的冠層葉面積指數與葉傾角基本保持一致. 測試結果表明，系統的半球圖像采集處理結果已滿足大多數葉面積指數測量的誤差要求[16].

日光輻照與溫濕度等環境參數的測量對遠程半球圖像的采集也有較大的意義.以2016年5月27日獲得的數據為例, 示出的一日內環境溫濕度與日光輻照變化的監測結果如圖7所示.從圖7中可以看出，監測數據可反映林間環境參數的連續變化規律.此外在現場節點的測試中(2016年4～6月間), 還多次采用勝利VC231型工業級手持式溫濕度計及6450+NI USB-6210型數據采集卡的方式，在布設現場節點的相同位置獲取溫濕度與日光輻照參考數據.測量中通過現場節點獲得的監測數據與參考數據間的溫度差值不大于0.6 ℃, 相對濕度差值不大于4.7%, 日光輻照差值不大于31 W/m2, 可以較好地滿足對節點維護與云層波動監測的需求.

圖7 一日內環境溫濕度與日光輻照變化的監測結果Fig.7 Environment temperature, humidity and solar radiation monitoring results in one day

5 結 語

本文提出了一種結合低成本嵌入式技術與魚眼鏡頭成像系統的遠程葉面積指數半球圖像采集系統, 并討論了通過圖像校正與超分辨率處理進一步優化采集圖像效果的方法.該系統可以在較低的成本下進行有較高圖像質量的遠程植被冠層半球圖像采集.針對京東地區混栽園藝闊葉林的測試結果表明, 該系統可以長期有效地采集植物冠層半球圖像, 還可對監測點周邊的溫濕度與日光輻照進行相應監測.

隨著未來適用于移動設備的魚眼鏡頭技術及嵌入式成像技術的發展, 該方法的測量精度有望得到進一步提高.在不便于進行日常人工冠層圖像數據采集、需要長時期連續自動監測或對采集成本較為敏感的場合，本文提出的遠程葉面積指數半球圖像采集系統有望得到推廣應用.

[1] WOODGATE W, JONES S D, SUAREZ L, et al. Understanding the variability in ground-based methods for retrieving canopy openness, gap fraction, and leaf area index in diverse forest systems[J]. Agricultural and Forest Meteorology, 2015, 205(3): 83-95.

[2] CONFALONIERI R, FOI M, CASA R, et al. Development of an app for estimating leaf area index using a smartphone: Trueness and precision determination and comparison with other indirect methods[J]. Computers & Electronics in Agriculture, 2013, 96(12): 67-74.

[3] LI X H, LIU Q, YANG R J, et al. The design and implementation of the leaf area index sensor[J]. Sensors, 2015, 15(3): 6250-6269.

[4] 王修信, 付潔, 王培娟, 等. 漓江上游山區水源林葉面積指數變化的遙感監測[J]. 農業工程學報, 2014, 30(2): 139-145.

[5] 劉志理, 金光澤, 周 明. 利用直接法和間接法測定針闊混交林葉面積指數的季節動態[J]. 植物生態學報, 2014, 38(8): 843-856.

[6] 胡凝, 呂川根, 姚克敏, 等. 利用魚眼影像技術反演不同株型水稻的冠層結構參數[J]. 作物學報, 2014, 40(8): 1443-1451.

[7] LEBLANC S G, FOURNIER R A. Hemispherical photography simulations with an architectural model to assess retrieval of leaf area index[J]. Agricultural and Forest Meteorology, 2014, 194(6): 64-76.

[8] 王傳宇, 郭新宇, 溫維亮, 等. 田間光照條件下應用半球圖像解析玉米冠層結構參數[J].農業工程學報, 2016, 32(4): 157-162.

[9] LIU Z L, WANG C K, CHEN J, et al. Empirical models for tracing seasonal changes in leaf area index in deciduous broadleaf forests by digital hemispherical photography[J]. Forest Ecology and Management, 2015, 351(1): 67-77.

[10] CAO B, DU Y M, LI J, et al. comparison of five slope correction methods for leaf area Index estimation from hemispherical photography[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(9): 1958-1962.

[11] 蔣煥煜, 張利君, 周鳴川, 等. 基于響應面法的電磁閥響應時間優化[J]. 農業工程學報, 2016, 32(9): 67-73.

[12] 武星, 沈偉良, 樓佩煌, 等. 視覺導引AGV魯棒特征識別與精確路徑跟蹤研究[J]. 農業機械學報, 2016, 47(7): 48-56.

[13] 向鵬, 王立鋼. 手機附加魚眼鏡頭的光學設計[J]. 光學儀器, 2013, 35(6): 5-8.

[14] 彭煥華, 趙傳燕, 馮兆東, 等. 利用半球圖像法提取植被冠層結構特征參數[J]. 生態學報, 2011, 31(12): 3376-3383.

[15] 萬雪芬, 韓芳, 蔣學芹, 等.視頻監控圖像的超分辨率復原研究[J]. 激光雜志, 2014, 35(3): 48-52.

[16] 溫一博, 范文義, 常穎, 等. 野外葉面積指數自動測量儀器設計及應用試驗[J]. 農業工程學報, 2015, 31(9): 154-160

(責任編輯: 楊 靜)

Remote Hemispherical Image Acquisition System for Leaf Area Index

WANXuefen1,YANGYi2,HANFang2

(1. College of Computer, North China Institute of Science and Technology, Langfang 065201, China；2. College of Information Science and Technology, Donghua University, Shanghai 201620, China)

To get the hemispherical photography of plant canopy for leaf area index, a remote hemispherical image acquisition system is presented. Based on embedded platform, low cost image sensor and fish eye lens In-fied node is presented to achieve hemispherical image of plant canopy at distance with low cost. Solar radiation and temperature/humidity data are obtained for invalid hemispherical image elimination and node maintenance too. Host computer interacts with in-field node by 3G network. The hemispherical image calibration and super resolution are used to improve canopy image quality in host computer. Test results show that the remote canopy image collection system can collect remote canopy image with lower cost and get leaf area index evaluation results with lower error.

canopy；leaf area index；hemispherical photography；super resolution

1671-0444 (2017)03-0400-07

2016-10-10

國家自然科學基金資助項目(11572084，71371046)；中央高校基本科研業務費專項資金資助項目(3142012051)；東華大學“勵志計劃”資助項目(16D21040)；廊坊市科學技術研究與發展計劃資助項目(2016011034)

萬雪芬(1979—)，女，江蘇連云港人，講師，碩士，研究方向為圖像處理及物聯網技術.E-mail：calmerd@ncist.edu.cn 楊 義(聯系人)，男，副教授，E-mail：yiyang@dhu.edu.cn

TP 39

A