基于高動態范圍成像的溫室番茄植株圖像色彩矯正方法

馮青春 王 秀 李軍輝 李小明 成 偉 陳 建

(1.中國農業大學工學院， 北京 100083； 2.北京農業智能裝備技術研究中心， 北京 100097；3.農業智能裝備技術北京市重點實驗室， 北京 100097； 4.北京農業職業學院， 北京 102208)

0 引言

我國番茄的生產和消費規模均居世界前列[1-2]。隨著農業勞動力的流失和人力成本的上漲，番茄種植管理的雇工費用逐年上漲，目前已達到總生產成本的30%以上[3]。種植管理過程中整枝、授粉、采摘、轉運以及噴藥等環節消耗整個生產周期人力投入的70%以上[4]，因此，亟需研發能夠替代或輔助人工作業的智能化作業機械[5-6]。作業對象的視覺信息獲取是支撐智能化生產作業的核心技術之一[7-10]。視覺信息是作業區域光照條件與作業對象反射特性綜合作用的感觀體現。然而，在農業環境下，自然光照波動和復雜背景干擾是影響視覺信息穩定成像的關鍵因素，表現為光照時空動態變化、視場多元目標輻射特性各異。

目前，針對開放自然環境下圖像色彩信息的補償矯正方法主要涉及圖像采集硬件控制和圖像數據處理兩方面。YUAN等[11]提出了基于色彩恒常特性的太陽光照波動補償方法,通過動態調整攝像機曝光增益和白平衡參數,保證黃瓜花瓣圖像色彩的穩定呈現。FU等[12]通過設置前景LED補光光源(30～50lx)的方式，凸顯重疊目標輪廓界限，減少背景干擾，從而解決了夜間獼猴桃視覺識別問題。MANISH等[13]通過實時解析目標圖像色彩品質、動態調節補光光源控制參數，實現了低能耗高效曝光補償。FENG等[14]通過RGB-HIS色彩空間變換，基于色調(H)和飽和度(S)分量閾值對成熟草莓進行分割，克服了光照強度變化引起的圖像亮度波動干擾。熊俊濤等[15]提出基于Retinex圖像增強算法的荔枝果實圖像預處理方法，克服了自然光照條件下攝像機視場亮度不均勻的問題。KURTULMUS等[16]根據自然光照下綠桃果實逆光和順光圖像色彩，建立了綠桃果實識別神經網絡模型，克服了不同光照條件下目標色彩變異失真的問題。蔡道清等[17]采用小波變換算法提取農田圖像光照不變特征，分離圖像中的光照與反射成分，實現不同光照強度下的農田導航線提取。以上研究主要針對特定目標的圖像色彩進行補償矯正，無法精確解析攝像機視場內不同目標的輻射強度特征，對于大視場、多目標和背景復雜的溫室番茄植株圖像采集缺乏適用性。

針對溫室內光照條件時空波動、復雜背景輻射亮度突變引起圖像色彩失真的問題，本文采用高動態范圍成像技術，通過融合不同曝光度的圖像信息恢復視場內不同目標的相對輻射強度，從而對圖像色彩失真進行補償矯正，進而實現復雜背景目標色彩的恒常呈現，以期為農業開放環境下作業對象視覺信息獲取的相關研究提供參考。

1 溫室光照環境特征分析

1.1 光照參數時空波動

受日間太陽光照方向和強度變化影響，半開放溫室空間內光照參數呈現時空動態變化。如圖1所示，為北京地區秋季(9月)連棟日光溫室內07:00—18:00時段光照信息統計，其中光照強度變化范圍為800～60 000 lx，且在13:00—14:00時段達到峰值。由于日光溫室透光材料具有適度濾光效果，CIEx、y色度值[18]主要分布在0.30～0.35范圍內的白色區間，即溫室內光照色度變化幅度有限?？梢姕厥覂裙庹諒姸茸兓菍е履繕藞D像色彩變異的主要因素，準確解析攝像機視場內不同區域的動態輻射強度信息，是對環境光照波動進行補償矯正的前提。

圖1 溫室光照參數波動統計結果Fig.1 Illumination parameters variation statistics in greenhouse

1.2 復雜背景輻射強度的突變

溫室復雜背景下不同目標的輻射特性各不相同，其中近端番茄植株與遠端溫室頂棚和墻壁輻射亮度差異巨大。此外，由溫室頂部鋼結構投射的陰影區域與太陽直射區域之間也存在亮度突變。然而攝像機成像芯片呈現視場內輻射波動的范圍是有限的，在特定曝光強度下會形成圖像區域過度曝光和曝光不足，從而導致目標色彩信息失真。圖2為不同曝光強度下采集的兩幅圖像。圖2a中，頂棚天空和墻壁色彩正常，番茄植株區域呈現曝光不足；圖2b中，番茄植株色彩正常，頂棚和墻壁區域呈現過度曝光。因此，單一全局曝光控制容易導致前景與背景物體圖像色彩失真，是攝像機獲取溫室番茄植株圖像面臨的客觀限制。鑒于此，融合多曝光度圖像信息以恢復視場不同區域輻射強度，是矯正圖像區域曝光失真的有效途徑。

2 基于多曝光圖像的輻射響應模型標定

2.1 彩色圖像亮度信息提取

鑒于溫室光照波動主要體現為光照強度變化，因此本文重點針對圖像色彩亮度進行矯正，以達到對目標真實色彩進行重構的目的。CIE XYZ色彩模型是根據人眼感知可見光源色彩原理設計的三原色系統，所有可見顏色都能用三色值(X,Y,Z)表示。數字圖像采集和顯示色彩描述基于ITU709標準[18]，圖像RGB顏色信息與CIE XYZ色彩模型轉換公式為

(1)

式中X、Z——CIE XYZ圖像色度分量

Y——CIE XYZ圖像亮度分量

R、G、B——數字圖像色彩分量

由于數字圖像RGB分量灰度是經過γ矯正的色彩值[19]，為使得Y更加準確反映圖像亮度，需要對其進行γ逆變換修正。

Y′=Yγ

(2)

式中Y′——圖像實際成像亮度

γ——矯正系數，取通用值2.20

由圖2得到的亮度圖如圖3所示。

圖3 Y分量亮度圖Fig.3 Y brightness image

2.2 攝像機輻射響應模型構建

攝像機輻射響應模型用于表示圖像亮度與相機感光芯片接收目標輻射能量總和的對應關系。攝像機輻射響應模型標定，是基于圖像數據恢復視場輻射強度信息的必要前提。假設對同一場景連續采集P幅不同曝光度的圖像，對每幅圖像提取相同坐標的N個像素點。為計算方便，將攝像機輻射響應函數[20]表示為其逆函數對數形式。

g(Y′ij)=lnEi+lntj

(3)

式中i——像素點序號

g——攝像機輻射響應逆函數

j——圖像序號

Y′ij——圖像j中像素點i的亮度，取值范圍為0～255

Ei——像素點i對應視場目標點的輻射強度

tj——圖像j的曝光時間

根據DEBEVEC標定算法[20]，基于序列曝光時間tj的圖像像素亮度Y′ij擬合輻射響應函數(Y′)的最小二乘代價函數ο表示為

(4)

其中

式中λ——正則化系數

ω——權值函數

g″——平滑正則項函數

Y′——圖像像素灰度，范圍為0～255

將代價函數分別對未知量lnEi和g(Y′)求偏導，且令其一次偏導為零，整理得到

(5)

式(5)可整理為矩陣方程，其中系數矩陣M可分為A、B、C、O4個矩陣塊。

(6)

其中

bT=

式中A——N×P行、256列矩陣，每行僅一個非零元素ω(Y′ij) ，該元素列序號為Y′ij

B——N×P行、N列矩陣，每行僅一個非零元素-ω(Y′ij) ，該元素列序號為i

O——零矩陣

x——256+N維列向量

b——N×P+254維列向量

2.3 輻射模型標定

式(6)共有N×P個非齊次線性方程，256+N個未知變量分別為g(Y′)和Ei。為了保證方程組有解，需滿足N×P≥256+N。因此本文以同一場景下4幅不同曝光度圖像(分辨率640像素×480像素)中的100個像素點為采樣點，構建超定線性方程組，采用奇異值分解方法[21]求解系數矩陣M的廣義逆矩陣為

M?=VΣ?UH

(7)

式中M?——M的廣義逆矩陣

V、U——M的奇異矩陣

UH——U的共軛矩陣

Σ?——M奇異值倒數對角矩陣

則包含未知數Ei和g(Y′)的向量x可表示為

x=M?b

(8)

鑒于溫室番茄栽培環境主要包含莖稈、葉片、果實、溫室頂棚、棚架和墻壁等約10類不同物體，為了使采樣點覆蓋視場內的各類物體，根據低曝光圖像灰度直方圖數據，將其圖像亮度區間分為10個等級。對于每個灰度等級從圖像中選定10個像素點，即每幅圖像取100個點，以作為攝像機輻射響應標定采樣點，從而得到系數矩陣M為654行、356列的稀疏矩陣。本文設定4幅圖像的序列融合時間為0.01、0.05、0.08、0.10 ms，基于圖2場景輻射特征，標定的攝像機輻射響應曲線如圖4所示。

圖4 攝像機輻射響應曲線Fig.4 Camera response function curve

3 高動態范圍圖像色彩映射

3.1 視場輻射強度估計

由式(3)可知，在獲得攝像機輻射響應函數g(Y′)基礎上，可根據圖像像素亮度Y′ij和圖像曝光時間tj，估計視場內任意點在感光芯片對應點i形成的輻射強度Ei。鑒于圖像數據在亮度極值區間存在較大噪聲，且在亮度中間范圍更可靠，因此需要對視場輻射強度進行補償[22]。與式(4)同理，對由不同曝光強度圖像數據獲得的輻射強度引入的加權函數ω(Y′)進行修正，然后求其平均值，得到視場中任意未飽和像素對應的輻射強度估計值為

(9)

3.2 高動態范圍的圖像亮度壓縮

融合多曝光條件下圖像信息的視場輻射強度數據是可以更加準確、寬泛描述場景亮度的高動態圖像數據，但需要通過色調映射將其壓縮到低動態范圍進行顯示和處理。最大化地保留原有圖像明暗信息，是對色調映射算法的基本要求。鑒于人眼對場景亮度感知的近似S形響應特征，本文采用S曲線函數[23-24]將高動態圖像數據映射到0～255范圍的圖像灰度區間。壓縮后圖像亮度為

(10)

(11)

式中Emax——高動態圖像最大亮度

3.3 圖像色彩重構

圖5 矯正后的亮度圖Fig.5 Brightness image corrected

圖6 色彩重構后的效果圖Fig.6 Color image reconstructed

4 試驗與結果分析

4.1 試驗設置

圖7 番茄植株原始圖像Fig.7 Original images of tomato plant

為了驗證圖像色彩矯正算法的性能，2019年4月20日在北京市昌平區特菜大觀園番茄溫室進行了現場試驗，分別在08:00、10:00、12:00、14:00共4個時段，對3個固定場景采集4幅不同曝光強度的圖像。選用PointGray公司FL3-U3-13S2C型相機，配置8 mm鏡頭，與番茄植株相距800 mm，獲得視場區域寬、高分別為500、400 mm。試驗過程中相機光圈、增益配置、白平衡等參數配置不變，采用動態指令設置其曝光時間tj為0.01、0.05、0.08、0.10 ms，在線采集番茄植株圖像48幅，列舉其中不同場景特定時段的序列曝光圖像如圖7所示。由于4幅圖像的采集時間約10 s，因此可忽略采集過程中視場光照條件的變化和視場內物體的移動。

4.2 結果分析

對3個場景4個時段的番茄植株圖像進行色彩重構，最終結果如圖8所示。通過直觀對比圖7、8可得，色彩矯正后各場景和時段的圖像色彩特征均得到明顯改善，克服了原始圖像中前景目標番茄植株曝光不足、背景墻壁和頂棚過度曝光的問題，并且不同時段動態光照強度條件下，植株莖、葉和果的色彩特征保持相對穩定。

為了對圖像矯正效果進行量化評估，本文引用信息熵、標準方差和平均梯度3個無參考圖像質量評估指標[25]，對色彩矯正前后圖像的灰度信息量、離散程度、清晰度等特征進行評價，其值越大，圖像質量越好。不同場景和時段番茄植株原始和矯正后圖像的評價參數統計分別如表1～3所示。

以不同曝光強度的4幅原始圖像中指標參數最大圖像作為對照，對于不同時段和場景的植株圖像矯正前后的指標參數進行對比，以參數變化相對幅度表征圖像質量改善程度。由試驗結果可得，不同時段和場景的圖像質量參數均顯著提高，圖像信息熵、標準方差和平均梯度平均提高16.87%、9.81%和19.49%。特別地，在不同時段圖像質量參數平均增加比例如圖9所示。盡管不同時段的圖像質量均有改善，且在08:00時改善幅度最大，但是在中午時段改善幅度較小，其原因為中午時段環境光照強，采集的原始圖像中亮度飽和失真像素比例增加，使得攝像機輻射響應模型估計誤差增加，同時由于飽和像素缺失色彩信息，無法對其進行色彩重構，導致圖像整體質量改善有限。因此，優化原始圖像曝光時間，結合環境光照信息動態調整采樣圖像曝光時間，是進一步研究的目標。此外，圖像信息熵和平均梯度參數提高幅度可保持在20%左右，標準方差增加幅度較小，因此相對均衡圖像灰度，本算法更適于提升圖像信息量和清晰度。

圖8 不同場景、時段番茄植株圖像矯正結果Fig.8 Reconstructed images of tomato plant

表1 圖像信息熵統計Tab.1 Image entropy statistics

表2 圖像標準方差統計Tab.2 Image standard deviation statistics

表3 圖像平均梯度統計Tab.3 Image average gradient statistics

圖9 圖像質量改善程度Fig.9 Improvement of image quality indexes

5 結束語

針對溫室環境光照強度波動和復雜背景亮度突變的問題，提出了基于高動態范圍成像的圖像色彩矯正方法，有效克服了全局曝光下番茄植株圖像色彩失真問題。通過融合0.01、0.05、0.08、0.10 ms曝光時間的 4幅圖像亮度數據，可解析攝像機輻射響應模型，并精確恢復視場高動態范圍輻射強度信息。以S曲線函數對輻射強度壓縮后，替換圖像Y分量亮度，可以實現低曝光度圖像的色彩重建。試驗表明，該方法對不同場景和光照時段的圖像均具有顯著效果，圖像信息熵、標準方差和平均梯度平均提高了16.87%、9.81%和19.49%，且矯正后植株莖、葉和果的色彩特征保持相對一致。本研究可為農業復雜光照條件下作業對象圖像色彩信息的獲取研究提供技術參考。