球形水果表面斑塊成像失真度控制與實驗

劉 婷 芮成杰 李海濤 張紹英

(中國農業大學工學院， 北京 100083)

0 引言

水果的表面形態一定程度上反映其內部品質和商品價值。通過相機成像采集水果表面信息進行逐個甄別是一種常用的機器視覺在線分選方法。表面缺陷斑塊形狀、尺寸作為傷殘和病變特征常被視為機器視覺分選的重要依據，因此，機器視覺分選過程實質上是利用特定成像條件準確評判缺陷斑塊的過程。依據水果表面缺陷為特征參數進行分選的相關研究[1-5]大多集中在圖像處理算法和數據-指標關系建模算法[6]，即通過對采集到的圖像進行分析、處理來提高基于圖像信息分級的精度，缺乏對于原始圖像精度的研究。

理論上，獲取水果表面的三維信息更能真實、全面地反映水果的表面品質。目前，利用深度相機、雙目立體視覺技術或柱鏡板三維成像技術來重構水果表面三維圖像的方法，已嘗試應用在靜態目標的識別和定位上[7-8]。但三維圖像重構擁有的表面信息量大，采集時間長，重建過程涉及到大量密集的點云數據處理，對于海量單體進行在線、動態、逐個甄別時數據運算量大、效率低、系統配置性價比低。可見，利用二維圖像作為分選依據仍然是水果分選的重要手段。

以水果表面的二維圖像信息為機器視覺分選依據，獲取水果表面圖像時，常采用單相機固定成像[9-12]、多相機固定成像[13]、變換姿態多次單(多)相機固定成像[14-18]以及面鏡反射單(多)相機固定成像[19-21]等方法，利用多幅平面圖像實現對水果表面的全部覆蓋。受水果表面形狀及幾何成像規律的制約和相機球形失真的影響，水果平面成像時，位于不同位置的斑塊在圖像中的失真度各異，且不同的幾何、光學參數的配置也對失真度產生不同的影響，從而直接影響分級的準確性。

用二維圖像反映球面信息，目前常用多幅不同角度的圖像進行拼合的方法。每幅反映部分球面的二維圖像在不同區域的失真度也不相同。當需要通過控制失真度來保證分選精度時，則需對每幅二維圖像中滿足失真度要求的有效區域進行分割、界定。另外，在線分選時定機位圖像采集對每幅圖像的失真度進行關聯物料位置、姿態的多因素分析，運算數據量過大。

為此，提出了一種以面積失真度——在成像區域內的球形物料表面任意位置的缺陷斑塊覆蓋CCD像素點數與球形物料球心和缺陷斑塊中心均位于光軸上時(正成像)缺陷斑塊覆蓋CCD像素點數的比值，來衡量二維圖像不同區域圖像失真的評判方法。其中，缺陷斑塊正成像覆蓋CCD像素點數記作基準斑塊成像面積。與通常圖像的比例、位置失真包含的復雜關系不同，由于幾何、光學參數及缺陷斑塊尺寸閾值確定后，基準斑塊成像面積即可確定，僅需判定缺陷斑塊像素數即可獲得面積失真度，從而劃定滿足分選精度的二維圖像的有效采像區域。

不同成像參數配置下，球形物料圖像中的有效采像區域尺寸和形狀不同，為了簡化計算，將各CCD有效采像區域對應轉換為球面上的有效采像區域后，再在球面有效采像區域內分割出可進行數學表達、形狀規則的球冠區域作為覆蓋單元，即可保證位于覆蓋單元內的缺陷斑塊的面積失真度滿足要求。進一步將多個覆蓋單元對球面進行冗余包覆，并通過物料位置、姿態調整對各覆蓋單元采像，即獲得滿足分選精度要求的球形物料表面信息。由此可見，成像系統各參數配置完成后，覆蓋單元的確定是實現球形物料表面信息真實、全面采集的前提。

本文基于水果在線機器視覺分選的成像方法，利用射影幾何原理，通過建立位于采像區域內球形物料成像側面上任一缺陷斑塊在CCD圖像中的面積函數，確定滿足特定面積失真度的有效采集區域的簡化劃定方法，為信號采集時確定物料位置區間、相機空間布局以及多次、動態采像過程的物料姿態調整提供理論依據，從而減少在線動態成像的數據采集量和運算處理量，提供一種可降低成本的高速運算的成像系統配置方法。

1 成像系統幾何模型建立

水果在線分選時，旁置相機對一定行程內做直線運動的水果進行多幅成像是主要的圖像采集方式。球形水果表面上不規則的(單個或散點狀)缺陷斑塊常以等效外接圓直徑標定(圖1)。據此建立的成像系統幾何模型(圖2)包含物料及缺陷斑塊尺寸、缺陷斑塊在物料表面位置、相機光學參數、物料與相機相對位置等多重幾何關系，利用此模型，通過計算圖像中位于球形物料表面上圓形區域面積，可獲得不同參數組合時缺陷斑塊面積的失真程度。

圖1 缺陷表現形式及等效外接圓Fig.1 Forms of fruit surface defects and equivalent circumscribed circle

圖2 成像幾何模型示意圖Fig.2 Diagram of imaging geometry model

為便于分析，設相機光軸和物料球心運動方向位于同一平面內。圖2中，O為相機光心，Π為CCD成像面，f為光心到成像面的距離(焦距，mm)，L為相機光心到球心運動軌跡的垂直距離(物距，mm)，ω為球心和相機光心的連線與光軸的夾角(偏心角，(°))，H為球心到光軸的距離(偏心距，mm)，D為球形物料直徑(球徑，mm)，d為缺陷斑塊等效外接圓直徑(斑徑，mm)。

1.1 面積失真度及有效采像區域定義

獲取缺陷斑塊真實的圖像是機器視覺分選的重要前提。

缺陷斑塊簡化的等效外接圓，在旁置的固定CCD上所成圖像存在不同程度的變形。根據幾何光學原理可知，當相機光學參數及物料與相機相對位置確定后，僅當等效外接圓垂直于光軸時其所成的圖像(面積最大、像素點占用最多)為圓形，此圓直徑d0與d存在可知的比例關系。視d0為理想值，可定義任意等效外接圓圖像的面積失真度為

(1)

(2)

S=πd2/4

(3)

式中S0——基準斑塊成像面積

S——任意缺陷斑塊成像面積

d0隨著等效外接圓在物料表面位置、相機光學參數、物料與相機相對位置的變化而變化。當δ過大時，以S0為指標進行缺陷判斷的準確率降低。

針對不同的分級要求，確定面積失真度閾值A后，在δ≤A前提下，等效外接圓在球形物料表面上所處區域即為有效采像區域。

1.2 缺陷斑塊成像面積通用算法

依據缺陷斑塊圖像與成像系統幾何、光學參數的關聯關系，建立了如圖3所示的固定坐標系σ、球形物料運動軌跡位置坐標系σ1、球形物料球心位置坐標系σ2、缺陷斑塊等效外接圓形心位置坐標系σ3、缺陷斑塊等效外接圓邊界點位置坐標系σ4。

圖3 斑塊成像的坐標變換圖Fig.3 Coordinate transformation diagram of plaque imaging

所有坐標系為右手笛卡爾坐標系，其中：

(1)σ(O;i,j,k)中，O與相機光心重合，j與光軸重合，k與物料運動軌跡平行。

(2)σ1(O1;i1,j1,k1)中，O1與物料運動軌跡和光軸的交點重合，k1與物料運動軌跡重合，j1與j重合。

(3)σ2(O2;i2,j2,k2)中，O2與球心重合，k2與物料運動軌跡重合，j2平行于j。

(4)σ3(O3;i3,j3,k3)中，O3與O2重合，i3與i2夾角及j3與j2夾角均為α，k3與k1重合。

(5)σ4(O4;i4,j4,k4)中，O4與缺陷斑塊等效外接圓圓心重合，k4為與O4重合的球徑方向(O2O4方向)，i4同時垂直于k1和k4，k4與k1的夾角為β，缺陷斑塊等效外接圓邊界上任意一點與i4的夾角為θ。

Π′是CCD鏡像等效投影面。

球心O2在坐標系σ中的位置向量

lOO2=-Lj+Hk

(4)

缺陷斑塊等效外接圓圓心O4在坐標系σ中的位置向量

lOO4=lOO2+lO2O4

(5)

(6)

式中m(α,β)——旋轉矩陣

式中α和β的取值范圍由球形物料在運動軌跡方向上任意位置時，CCD能感應到的采像區域的邊界決定。

缺陷斑塊等效外接圓邊界上任意一點P在坐標系σ中的位置向量

lOP=lOO4+lO4P

(7)

(8)

e(θ)=cosθi+cosθj(θ∈(0,2π))

(9)

式中R[k,α]、R[j,-β]——旋轉矩陣

lOP的單位向量lop為

(10)

OP與等效成像面Π′相交，投影關系為

-u(lopj)=f

(11)

式中u——OP與成像面相交的條件系數

缺陷斑塊上的任意一點P與成像面上的交點P0的位置向量

lOP0=ulop

(12)

在固定坐標系σ下坐標為

(13)

由式(4)～(13)可得，物料位于采像區間任意位置時，其采像區域邊界內任意缺陷斑塊等效外接圓成像面積S的表達式為

(14)

式中n——正整數

1.3 特定面積失真度下有效采像區域計算及選定

由相機光學參數、物料和缺陷斑塊的幾何尺寸，利用相似三角形可得

(15)

則基準斑塊成像面積

(16)

由式(14)、(16)可得到滿足δ設定值的等效外接圓心在CCD上平面閉合邊界曲線，進而可得到與平面閉合邊界曲線對應的球面閉合邊界曲線，球面閉合邊界曲線外偏移d/2后形成的擴展閉合曲線包圍的面積即為有效采像區域(圖4)。

圖4 有效采像區域的選定Fig.4 Selection of effective image region

為了規范表達和冗余覆蓋，以交于擴展閉合曲線、且與OO2間夾角最小的球徑為母線，以OO2回轉軸分割得到的球冠(球心角λ0)區域即為有效采像區域。

(17)

為了直觀顯現有效采像區域預測規律，以球形水果(D=80 mm)缺陷斑塊(d=10 mm)檢測為例，設定面積失真度閾值A=20%，f=50 mm，L=500～1 000 mm、H=-1 000～1 000 mm，利用Matlab建模，通過控制變量法分別繪制有效采像區域球心角λ0與幾何參數的函數關系曲面圖(圖5)。

圖5 λ0與幾何參數函數關系曲面Fig.5 Function relational surface diagram

由圖5a可知，在選定采像條件下，當L確定后，λ0的變化規律呈對稱于H=0平面的“M”雙脊峰形。隨著偏心距H的增大，λ0逐漸增大并出現最高值，隨后下降。表明以面積失真度作為評判指標時，在其他參數確定后，視場寬度存在最佳值，且球心與光軸重合處λ0最小。而隨L的增大，λ0呈現起伏上升，對有效采像區域的提升有利，但缺陷斑塊占有的像素數和CCD的利用率減少。L應與CCD分辨率一并考慮后選定，以保證缺陷斑塊占有一定的像素數。

當L確定后，在采像區域范圍內，隨著球心角λ0的增大，缺陷斑塊的失真度呈上升趨勢。

利用上述理論預測方法進行成像系統配置及有效成像區域確定時，對特定的球形物料、面積失真度以及可用的物距范圍，可利用多變量非線性函數λ0極值求解，并以缺陷斑塊占有足夠的像素數且使視場寬度接近λ0雙脊峰距為原則，確定L、H具體值后，最終計算得到λ0。

2 有效采像區域預測結果的成像驗證

受特定相機、鏡頭光學特性的影響，實際成像時會存在不同程度的圖像失真。為考證預測方法的有效性，根據機器視覺分級時常見的系統布局，搭建了成像系統，如圖6、7所示。

圖6 成像系統示意圖Fig.6 Image system diagram1.支架 2.載物臺 3.載物臺調平鈕 4.CCD相機 5.調姿塊 6.半球體 7.缺陷斑塊標識片 8.有效采像區域邊界

圖7 成像系統實物圖Fig.7 Image system

成像系統配置為：工業相機(DFK 33GP1300型，分辨率1 280像素×1 024像素，CCD 6.4 mm×4.8 mm)。2/3″靶面手動光圈定焦鏡頭(0814M3M型，8 mm)[22]。幾何參數為D=80 mm，d=10 mm，λ0min=79.32°。成像系統中，光軸垂直交于矩形載物臺中心。

為了檢驗預測效果，在工業相機視場寬度的邊緣、光軸和兩者之間的中位分別放置5個半球體并為各半球體配置相應的調姿塊，可保證OO2垂直于半球體底面。

位于不同成像位置的半球體表面上對應標識有效采像區域邊界。以最小球心角λ0min標記有效采像區域，驗證半球體位于各采像工位時有效采像區域內各缺陷斑塊是否滿足失真度要求。根據選取的L值及對應的相機視場寬度，得到相應的中位和邊緣處對應的放置位置參數，由三角關系可求得偏心角ω，各位置的偏心距、物距、調姿塊傾角及所標記的最小球心角λ0min見表1。

表1 邊緣、光軸和中位半球塊的標識參數Tab.1 Identification parameters of hemispheric blocks at edges, optical axes and median

由圖5可知，缺陷斑塊位于球形物料表面上的覆蓋單元邊界時δ最大，故缺陷斑塊標識片放置在半球體表面有效采像區域周邊，并使缺陷斑塊標識片邊緣與有效采像區域邊界內切。

對采集到的彩色圖像(圖8)，利用NI Vision Assistant圖像處理軟件，依次進行掩膜處理、灰度圖像提取、二值化處理和粒子分析(選擇面積分析)，其運算結果(自動對缺陷斑塊編號)見圖9，分別將各缺陷斑塊面積及失真度計算結果記錄在表2中。

圖8 不同采像距離下獲取的圖像Fig.8 Images obtained at different distances

圖9 粒子分析運算結果Fig.9 Particle analysis operation results

由表2可見，位于有效采像區域內缺陷斑塊的面積失真度均小于預設值20%，表明面積失真度理論預測算法可滿足以工業相機為核心的成像系統對分選精度的控制要求。

盡管物距增加時有效采像區域內缺陷斑塊的面積失真度減小，但缺陷斑塊所占用的CCD像素數減少，CCD的像素利用率降低，同時系統占用空間增加。實際生產中，在線、動態成像易出現圖像拖尾，缺陷斑塊在圖像上邊界模糊，有效區域分割誤差大，缺陷斑塊所占像素數越少，分選誤差率越高，因此，物距的選定應保證缺陷斑塊所占像素數量。

由于球形水果的形狀不規則，為評價水果形狀變化對缺陷斑塊失真度的影響，選取類球形水果——埃及甜橙進行圖像采集實驗。依照GB/T 12947—2008中的鮮柑桔分級標準差值，選取直徑為(80±2.5) mm的埃及甜橙作為實驗對象(表3)，直徑相差5 mm以內視為同一成像條件配置組，樣本數為5。

根據埃及甜橙的結構特點，分別選取果軸與光軸重合、果徑與光軸重合、介于果軸與果徑間的半徑與光軸重合(中間姿態)3種姿態對有效采像區域進行標定(圖10)。

有效采像區域劃定方法、有效采像區域內缺陷斑塊的標記方法、物距參數、采像位置參數均與理論驗證實驗相同。

每個甜橙采集27幅圖像。分別計算各幅圖像中每個缺陷斑塊面積失真度，統計滿足失真度要求的缺陷斑塊所占比例，結果如圖11所示。

實驗結果可得，所采集5個樣本中位于采像有效區域內的1 080個缺陷斑塊成像面積失真度，滿足失真度要求的缺陷斑塊比例分別為：97.38%、97.33%、94.22%、96.44%、97.78%。其中，δ>20%的缺陷斑塊數目分別為L=600 mm時為7個，L=800 mm時為20個，L=1 000 mm時為11個；5個樣本中，缺陷斑塊成像面積與基準斑塊面積比，L=600 mm時為0.79～1.19，L=800 mm時為0.70～1.15，L=1 000 mm時為0.74～1.20。

表2 標記缺陷斑塊的成像面積Tab.2 Image area of labeled defect plaque

表3 樣本幾何尺寸Tab.3 Geometry of sample

圖10 3種姿態對應的有效采像區域Fig.10 Effective image region corresponding to three postures

由圖11可知，5個水果不同標記部位處滿足失真度要求的缺陷斑塊所占比例分布特征一致，表現為當果軸、果徑與光軸重合時有效采像區域內缺陷斑塊的失真度明顯小于中間姿態。

圖11 埃及甜橙有效采像區域內滿足失真度要求的缺陷斑塊比例Fig.11 Proportion of defective plaques in effective image area of Egyptian sweet orange that met requirements of distortion

結合本實驗的樣本特點，斑塊失真度大于設定值20%主要受水果形狀不規則、局部曲率半徑變化的影響。

3 結論

(1)在視場寬度方向有效采像區域隨著偏心距的變化規律呈對稱于光軸的“M”雙脊峰形，視場寬度選取宜接近“M”雙脊峰跨距。

(2)提出了一種以面積失真度控制機器視覺分選精度的有效采像區域的界定方法，有助于減少在線檢測的運算量。研究結果表明，特定采像條件下，當失真度閾值A為20%，求得最小球心角λ0min為79.32°來劃定有效采像區域，采集到的5個半球塊位于不同采像工位及其對應的采像姿態下的圖像，有效采像區域內各缺陷斑塊面積失真度均小于20%，滿足失真度控制要求；同樣地，5個埃及甜橙樣本中，滿足失真度要求的缺陷斑塊比例分別可達：97.38%、97.33%、94.22%、96.44%、97.78%。

(3)研究結果可為特定分選精度下成像系統的幾何、光學參數配置提供理論依據，并為在線動態成像時物料運動和姿態調控以及成像次數預測提供參數支持。