基于機器視覺的玉米單倍體自動分選系統

李衛軍，劉玉梅，2，陳紹江，覃　鴻，劉　金，田　震,2

(1.中國科學院 半導體研究所高速電路與神經網絡實驗室，北京　100083；2.中國石油大學(華東) 信息與控制工程學院，山東 青島　266580；3.中國農業大學 國家玉米改良中心，北京　100193)

?

基于機器視覺的玉米單倍體自動分選系統

李衛軍1，劉玉梅1，2，陳紹江3，覃鴻1，劉金3，田震1,2

(1.中國科學院 半導體研究所高速電路與神經網絡實驗室，北京100083；2.中國石油大學(華東) 信息與控制工程學院，山東 青島266580；3.中國農業大學 國家玉米改良中心，北京100193)

摘要：針對導入基因標記后雜交誘導產生的玉米籽粒，設計了一套基于計算機視覺的玉米單倍體高通量自動分選系統。系統主要由傳動部件、斜面翻滾部件、信號采集與處理部件，以及籽粒分選部件4部分組成。斜面翻滾部件表面有凹凸紋理，可使玉米籽粒在下落翻滾過程中產生多種姿態，試驗使用這一方法獲得含胚面圖片的成功率達90%。信號采集與處理部件通過提取玉米籽粒胚面的SIFT特征來判斷籽粒屬性，并將屬性結果發送給籽粒分選部件，分選部件根據結果控制直線滑臺的運動以實現籽粒篩選。試驗結果表明：系統對單倍體的正確識別率為95%，可很好地實現玉米單倍體的自動分選。

關鍵詞：SIFT特征；單倍體識別；分選系統；計算機視覺；玉米

0引言

單倍體是指只具有配子染色體數目的細胞或個體。單倍體育種可以大大縮短育種周期，是現代植物育種中快速、高效的育種途徑之一[1-3]。一般玉米單倍體自然產生概率不超過0.1%[4]，即使人工誘導也只能達到10%[5]。因此，從大量的玉米籽粒中快速準確地識別出單倍體變得尤為關鍵。

對單倍體檢測方法也有很多種，主要包括：形態學鑒定[6]、分子標記鑒定[7]及細胞學和解剖學鑒定[8]等。 但這些方法在很大程度上需要人工操作，并且過程復雜，難以實現自動化。用于識別單倍體的另一方法是遺傳標記鑒定[9]，在玉米中導入Navajo標記基因R-nj標記后誘導產生的單倍體籽粒與雜合體籽粒呈現不同顏色特征，是較為有效可靠的鑒定方法。

針對導入遺傳基因后誘導產生的玉米籽粒，相關的單倍體自動分選研究也有所報道[10-12]，但還存在需人工參與、速度慢及造價高等問題。而且，真正能呈現固體籽粒運動過程中的多姿態、全自動、高通量的識別分選裝置還未見報道。為此，本文基于機器視覺，提出了一種可以在運動過程中全自動、高通量分選單倍體籽粒的新型系統。

1系統結構

系統裝置主要由傳動部件、斜面翻滾部件、信號采集與處理部件及籽粒分選部件4部分組成。其中，傳送部件與斜面翻滾部件相連接，斜面翻滾部件上有多個傳輸通道，與籽粒分選部件相連接，并且在傳輸通道的上方安置信號采集與處理部件。系統結構如圖1所示。

1.傳動部件　2.斜面翻滾部件　3.信號采集與處理部件

傳動部件包含5個通道，通道間隔為20mm，在運動方向上籽粒前后間距為100mm。工作時，傳送帶由步進電機驅動,每個通道每隔一定時間傳送1顆籽粒，以便后續部件完成各自操作。

斜面翻滾部件，接于傳動部件的尾部，分為多個通道，分別對應傳送帶多個通道，采用聚甲醛做成，并進行噴砂處理。斜面整體與水平面呈一定角度，斜面表面設計有梯形齒槽，使得玉米籽粒在下落過程中翻滾，從而產生多種姿態，獲得更多信息。

信號采集與處理部件為一套圖像采集識別系統，是由圖像采集設備和高速計算機組成。圖像采集設備用于獲取玉米籽粒信息，設備采用的是外觸發方式采集圖像，相機幀率為60幀/s；高速計算機用于處理信息判斷固體籽粒的屬性，并向籽粒分選部件發送該屬性信號。

籽粒分選部件，與斜面翻滾部件相連接，由對應翻滾部件多通道的多個分選控制器組成，接收來自信號處理部件對固體籽粒屬性的分析結果。按照該結果控制電動滑臺的運動，實現相應通道玉米籽粒進行分選，如圖2所示。當玉米籽粒為多倍體時，控制器給電機發送信號，電機帶動玉米擋板滑動以打開篩選窗口，使得多倍體籽粒掉落到收容盒中；當玉米籽粒為單倍體時，電機不產生運動，篩選窗口不打開，保留單倍體。

圖2　電動滑臺示意圖

2圖像采集及處理

2.1圖像采集

經導入遺傳標記基因R-nj誘導產生的玉米籽粒分為3類：①胚乳糊粉層和胚部位均呈現紫色或紫黑色標記，為雜合二倍體，約占90%；②胚乳糊粉層呈現紫色或紫黑色標記，胚部位則無色，為單倍體，約占10%；③胚乳糊粉層和胚部位均無顏色標記，為外來籽粒，含量極少，通常不到1%。由此可以看出：雜合體和單倍體的主要區別在于胚面上是否有顏色標記，單倍體與外來籽粒的區別則在于胚乳糊粉層是否有顏色標記。在本系統中，將外來籽粒與單倍體歸為一類，主要有兩方面原因：一是胚乳糊粉層的圖像特征難以提取；二是外來籽粒含量很少，在對識別結果影響可接受范圍內，盡可能降低算法復雜度，提高識別效率。因此，系統識別的目的是在保證單倍體正確識別的情況下，盡可能地篩選出雜合體籽粒，達到分選自動化。

判斷胚部區域是否有顏色標記的前提是采集得到具有胚面的玉米籽粒圖片，現有的一些分選系統采用的是人工擺放胚面，并不能完全實現分選自動化。文獻[11]中采用隨機自動上料，對于扁平玉米籽粒，胚面朝上的概率為50%，但對于含有不規則形狀的玉米籽粒，胚面朝上的概率將低于50%。針對這一情況，設計了斜面翻滾部件，斜面凹凸不平，因此玉米在向下滑落過程中會產生翻滾運動。高速相機在玉米籽粒向下翻滾運動過程中可采集到玉米籽粒的多姿態圖像。籽粒從斜面上端到斜面下端的滾動時間大概是200～300ms之間，相機采用凱視佳MUC36M/C，幀率為60幀/s。那么，通過相機可以拍攝到1個玉米種子在下落滾動過程中的12～18張多姿態圖片。在一顆籽粒的眾多姿態中，若有一個姿態含有胚面，則可以判斷籽粒的屬性。經大量試驗證明：針對任意形狀的玉米種子，獲得含胚面圖片的成功率為90%，解決了人工擺放胚面的問題。

2.2圖像處理

根據獲得的圖像，對單倍體和多倍體進行識別，識別流程如圖3所示。

圖3　玉米單倍體識別流程圖

2.2.1圖像預處理

為了便于特征提取，首先對采集到的玉米籽粒圖像進行預處理，主要包括圖像分割和大小歸一化。

在對玉米種子進行特征提取和識別時，僅對玉米種子圖像部分感興趣，這部分被稱為目標或前景(其他部分稱為背景)。因此，需要將這些有關區域從整幅圖像中分離、提取處理，這就需要對圖像進行分割。圖像分割后得到只含有玉米籽粒的局部圖像，可以大大提高系統識別效率，這里采用閾值處理和邊緣檢測相結合的分割方法。另外，由于玉米籽粒大小不同，分割后的玉米籽粒圖像大小也不相同，不便于對籽粒圖像的量化處理，因此對分割后的玉米籽粒進行大小歸一化處理，將所有圖像歸一化為60×60。預處理后的一組多倍體籽粒圖像如圖4所示。

圖4　圖像預處理后的玉米多倍體籽粒圖像

2.2.2圖像特征提取

特征的選擇對于識別來說非常重要，直接關系到正確率的高低。對于圖像來說，可以提取的特征有很多，根據具體識別的對象不同，有效的特征參數也會不同。玉米單倍體多倍體籽粒的主要區別在于胚面上是否有顏色標記；另外，采集圖片時，玉米籽粒處于翻滾下落狀態，因此圖像存在旋轉、縮放等變化。

SIFT[13-14](Scale Invariant Feature Transform)特征是一種基于尺度空間的， 對圖像平移、旋轉、縮放甚至仿射變換保持不變形的圖像局部特征。因此，SIFT特征符合對單倍體多倍體籽粒識別時的特征提取要求。SIFT特征的提取過程主要分為4個步驟：

1)檢測尺度空間極值。設I(x,y)為輸入圖像，G(x,y,σ)是尺度可變高斯函數，則一個圖像的尺度空間被定義為函數L(x,y,σ)，計算公式為

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

其中，σ為尺度因子；*為卷積運算。式(1)中高斯函數G(x,y,σ)定義為

(2)

為了在尺度空間有效的檢測穩定關鍵點，Lowe提出了高斯差分卷積DOG(Difference-of-Gaussian),計算公式為

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(3)

其中，k為不變倍增因子。一個點如果在DOG尺度空間本層及上下兩層的26個鄰域內是最大值或者最小值，就認為該點是圖像在該尺度下的一個特征點。

2)精確定位特征點的位置。通過一種三維二次函數擬合可以精確確定關鍵點的位置和尺度，同時剔除對比度低的候選關鍵點，剔除具有不穩定邊緣響應的候選關鍵點。

3)確定特征點的主方向。利用關鍵點鄰域像素的梯度方向分布特性，為每個關鍵點指定方向參數，使算子具備旋轉不變形。則有

(4)

θ(x,y)=tan-1[L(x,y+1)-L(x,y-1)]/[(x+1,y)-L(x-1,y)]

(5)

式(4)、式(5)為(x,y)處梯度的模值和方向公式，L所用的尺度為每個關鍵點各自所在的尺度。

4)生成SIFT特征描述符。將坐標軸旋轉到特征點方向，以保證旋轉不變形。實際計算過程中，為了增強匹配的穩定性，Lowe建議使用4×4共16個種子點來描述，這樣對于一個關鍵點就可以產生128個數據，即最終形成128維的SIFT特征向量(即特征描述符)。

2.2.3識別算法

識別算法一般是以抽取什么樣的圖像特征為基礎，上面已經提取到單倍體、多倍體籽粒圖像的SIFT特征向量，即這是一個二分類問題。因此，可以采用SVM[15-17](Support-Vector-Machine)來進行分類。對于二分類問題，SVM能夠尋找到一個最優分類面：一是這個分類面能夠將兩類樣本完全區分開來；二是兩類樣本到分類面的最小距離盡可能的大，也就是說兩類樣本的幾何間隔很大。

目前，在玉米籽粒自由滑落的情況下，采用SIFT特征和SVM分類法，單倍體識別率達95%，同時可篩選掉近50%的雜合體籽粒，在一定程度上實現了單倍體的自動化分選。

3系統工作流程

分選系統框圖如圖5所示。控制單元控制傳送單元運送籽粒，圖像采集處理單元采集圖像、判斷籽粒屬性，并將結果傳送給控制單元；控制單元根據分析結果控制電動滑臺進行籽粒分選。

下面分6個階段進一步說明系統工作流程:①系統復位階段。同時啟動控制系統程序、圖像采集設備及高速計算機處理程序。此時，工作在外觸發采集方式下的攝像頭未收到觸發信號，與傳送帶及分選控制器都處于靜止狀態。②籽粒傳送階段。傳送帶由電機傳動，玉米籽粒置于傳送帶5個通道內，每行分布5顆玉米籽粒，當籽粒運輸至斜面翻滾部件時，系統會產生一個脈沖信號，發送至圖像采集設備。③圖像采集階段。玉米固體籽粒進入斜面翻滾部件后，圖像采集設備開始以60張/s的速度，捕捉5顆玉米種子從斜面翻滾的多姿態圖像；待籽粒翻滾到部件底部時，停止拍攝，并把拍攝的圖像傳遞給高速計算機。④圖像處理階段。高速計算機在接收到采集圖片后，對采集圖像進行預處理、圖像分割、SURF特征提取和SVM分類，最終確定出5個通道對應的玉米種子是否5單倍體，并將判別結果傳遞給籽粒分選部件。⑤籽粒分選階段。籽粒分選部件收到判別結果后，把5通道玉米籽粒屬性結果以二進制信號形式傳遞給控制器。例如，當分選控制器1收到控制信號為0時，則默認通道1內的玉米種子為雜合體，并控制電機打開直線滑臺，讓玉米籽粒漏到雜合體收容盒內，從而濾掉雜合體籽粒；否則，電機不動作，允許通道1內的單倍體通過分選部件。 ⑥系統往復階段。再次啟動運送帶運輸籽粒，如此往復循環，使系統連續運行。檢測完成后，首先關閉系統控制程序，等待傳送帶和分選部件不再運動后，關閉圖像采集設備和高速計算機。

圖5　系統框圖

4結論

根據玉米籽粒胚面顏色標記不同，設計了一套單倍體分選系統。其中，斜面翻滾部件，能夠產生玉米籽粒的多姿態信息，使獲得含胚面圖片的成功率達到90%， 解決了人工擺設籽粒的問題。同時， 以SIFT特征為判別依據，使用SVM進行分類，單倍體識別率達95%。

參考文獻：

[1]Germanà M A. Gametic embryogenesis and haploid technology as valuable support to plant breeding[J].Plant cell reports, 2011, 30(5): 839-857.

[2]劉培勛, 劉和平, 羅仁革,等.單倍體誘導技術在玉米育種中的應用[J].種子,2014,33(5): 49-52.

[3]劉傳兵, 王黎明, 杜世凱, 等.玉米單倍體誘導育種關鍵技術[J].現代農業科技,2011 (2): 89-90.

[4]才卓，徐國良.玉米單倍體育種研究進展[J].玉米科學，2008,16(1)：1-5.

[5]才卓，徐國良，劉向輝，等.玉米高頻率單倍生殖誘導系吉高誘系3號的選育[J].玉米科學，2007,15(1)：1-4.

[6]蔡華, 馬傳喜, 喬玉強.小麥×玉米誘導小麥單倍體的形態學及細胞學鑒定[J].核農學報,2008, 22(2): 127-130.

[7]董春水，才卓.現代玉米育種技術研究進展與前瞻[J].玉米科學，2012,20(1)：1-9.

[8]杜勝利，韓毅科，魏愛民,等.黃瓜倍性鑒定方法的研究[J].園藝學報，2002, 29(3)：280-281.

[9]趙延明，董樹亭，張鎖良，等．玉米單倍體育種技術研究與應用進展[J]．玉米科學，2007,15(5)：60-64.

[10]Liu Jin, Guo Tingting, Yang Peiqiang, et al.Development of automatic nuclear magnetic resonance screening system for haploid kernels in maize[J].Transactions of the Chinese Society of Agricultural Engineering,2012,28(S2):233-236.

[11]宋鵬，吳科斌，張俊厚，等.基于計算機視覺的玉米單倍體自動分選系統[J].農業機械學報，2010,41(增刊)：249-252.

[12]宋鵬，吳科斌，張俊雄，等.玉米單倍體籽粒特征提取及識別[J].農業機械學報，2012，43(3)：168-172.

[13]Lowe D G. Object recognition from local scale invariant keypoints[C]//International Conference on Computer Vision,1999:1150-1157.

[14]Lowe D G.Distinctive image features from scale invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[15]Cortes C, Vapnik V. Support vector networks[J].Machine Learning, 1995, 20: 273-295.

[16]Chen P H, Lin C J, Sch?lkopf B. A tutorial on ν-support vector machines[J].Applied Stochastic Models in Business and Industry,2005, 21(2): 111-136.

[17]韓仲志，楊錦忠．多類支持向量機在玉米品種識別中的應用[J]．農機化研究，2010,32(11):159-163．

Automatic Separating System of Maize Haploid Based on Machine Vision

Li Weijun1, Liu Yumei1,2, Chen Shaojiang3, Qin Hong1, Liu Jin3, Tian Zhen1,2

(1.Institute of Semiconductors, Chinese Academy of Science, Beijing 100083, China; 2.College of Information and Control Engineering, China University of Petroleum(Huadong), Qingdao 266580, China; 3.National Maize Improvement Center, China Agricultural University, Beijing 100193, China)

Abstract：A high-throughput maize haploid screening system was designed based on computer vision, which automatically separated the maize haploid kernels after hybrid induction with genetic marks. The system was composed of four parts: the transmission module, the rugged slope module, the signal acquisition & processing module and the kernel separating module. The uneven surface texture was made on the rugged slope module, in order to get various gestures of maize kernel during their falling process. Now, success ratio for getting pictures with embryo was 90%. The signal acquisition & processing module identified maize kernel by SIFT extracted from maize embryo, then transmitted the classification information to the kernel separating module. Maize kernels were separated by the movement of straight slipway according to the classification result. Test results showed that the correct recognition rate of maize haploid was 95%, and the automatic separation could be successfully realized by this system.

Key words：SIFT feature； Haploid recognition； Separation system； computer vision； maize

文章編號：1003-188X(2016)01-0081-05

中圖分類號：S333.5；TP391.4

文獻標識碼：A

作者簡介：李衛軍(1975-)，男，湖北蘄春人，研究員，博士，博士生導師，(E-mail) wjli@semi.ac.cn。

基金項目：國家重大科學儀器設備開發專項(2014YQ470377)；北京市科技計劃項目(D131100000413002)

收稿日期：2014-12-30