基于DSP和ARM的蘋果分類機器人智能控制系統

畢 玉,楊智勇

(重慶工程職業技術學院,重慶 402260)

0 引言

目前,隨著生活水平的提高,市場對高品質蘋果的需求越來越大,蘋果分級在農業中的呼聲也越來越高。目前,手動進行蘋果分級的效率非常低,勞動強度大且非常容易出錯,而蘋果分類機器人不僅加快了分類效率,還能極大程度地減少錯誤率。為此,基于DSP和ARM,結合圖像處理技術,設計了一套蘋果分類機器人智能控制系統,能夠實現對蘋果的自動分級。

1 蘋果分類機器人

本文研究的蘋果分類機器人平臺示意如圖1所示。蘋果分類機器人智能控制系統主要由蘋果運輸、分類和圖像處理模塊等組成。用于控制蘋果在傳送帶上的運輸、圖像采集及在傳輸帶尾端進行分級包裝等。系統采用視覺圖像處理技術,對獲得的蘋果圖像進行分析,然后判斷蘋果是有瑕疵的還是無瑕疵的、成熟的還是未成熟的。

圖1 蘋果分類機器人平臺示意圖

1.1 蘋果分類機器人處理系統

蘋果分類機器人處理系統包括傳輸帶、環形光源、DSP+ARM控制器、直流減速電機、LM293D電機驅動器、UART接口、鏡頭和工業相機。其中,工業相機采用幀率為43Hz的大恒 MER-132-43GC系列相機,分辨率為1 292×964像素,支持連續圖像采集和外部信號觸發圖像采集多種模式。鏡頭選擇的是computar百萬像素定焦鏡頭M1214-MP2。環形光源采用 LED 按圓周排列,發出的光線向內匯聚。

蘋果分類機器人處理系統覆蓋著一個木箱,環形光源安裝在盒子內。蘋果被放置在傳輸帶上,傳輸帶在直流減速電機的驅動下移動;當蘋果進入工業相機的拍攝區域內時,蘋果會停在固定相機的位置,通過延遲來捕獲蘋果的圖像;工業相機拍攝后,通過USB端口發送到DSP+ARM控制器,蘋果圖像會作為圖像處理模塊的輸入進行進一步分析;一旦圖像被確定分類等級后,控制系統會發送控制信號給分類器,以便將蘋果移動到相應等級的包裝箱中。

1.2 圖像處理模塊

圖像處理模塊分析所獲取蘋果的圖像流程如下:

1)圖像預處理。由工業相機捕獲的蘋果圖像存在一定的噪聲和鏡面反射因素,會降低圖像質量,且無法為后續分析處理提供準確的信息。因此,采用中值濾波器抑制圖像的噪聲和鏡面反射。

2)圖像分割。該階段主要目的是從圖像中提取蘋果區域。工作時,采用大律法Otsu將圖像進行區域二值化,將圖像劃分為背景和蘋果兩個區域;如果蘋果上存在與背景高度相似的圖像,則表明蘋果區域存在瑕疵,為了提取番茄的完整區域,將該區域改為值1的像素填充。

3)特征提取和選擇。為了檢測蘋果是否存在瑕疵,可以提取單個Red(R),Green(G)和Blue(B)通道的顏色統計和顏色紋理特征。

(1)顏色統計特征:從每個顏色通道中提取以下統計特征,結果包含9種顏色統計特征。

色彩為

(1)

標準色差為

(2)

偏度為

(3)

(2)顏色紋理特征:使用圖像的灰度級共生矩陣(GLCM)從每個顏色通道提取4個紋理特征。GLCM的元素表示概率密度函數Pij的值,其計算具有一定強度值(i,j),為沿著分離方向θ和距離d的像素對出現的次數。本文主要考慮像素間距離為1和角度方向分別為0°、45°、90°、135°的情況。采用GLCM方法提取的特征如下:

對比度為

(4)

關聯性為

(5)

能量為

(6)

同質性為

(7)

蘋果的成熟度與其顏色密切相關,因此從蘋果圖像中提取顏色特征可以將其分類為成熟或未成熟。提取蘋果圖像的R、G和B值,并根據以下等式計算它們的平均值。基于實驗的經驗值選擇閾值,并將平均值R與閾值進行比較,若其大于閾值,則該蘋果已經成熟,則認為其是未成熟的。

(8)

(9)

(10)

其中,MR為紅色層的平均值,MG為綠色層的平均值,MB為藍色層的平均值,R 、G 、B分別為紅、綠、藍三色的像素。本文從待分類的蘋果圖像中提取包括9種顏色統計和12種顏色紋理的21個特征值。為了提高蘋果分類精度,采用順序前向選擇SFS(sequential forward selection)方法從原始特征向量中選擇最佳特征集。SFS是一種貪婪的搜索算法,其從空集開始且若增加所選目標函數的值,將最優的單個特征順序地添加到子集中,用以提取的“最佳”特征集。

4)分類。在前一步驟中提取的特征會被送到多層神經網絡,如圖2所示。

圖2 蘋果分類的人工神經網絡

該神經網絡由一組互連的神經元組成,用來將輸入特征映射到輸出,其采用N層輸入,h層隱藏和1層輸出的神經元方式,實現三層前饋神經網絡,直接可以得出待測蘋果有無瑕疵。

2 蘋果分類機器人智能控制系統

2.1 智能控制系統整體框架設計

蘋果分類機器人智能控制系統采用DSP和ARM雙核處理器的設計:DSP具有超強數據處理能力和高運行速度,能夠高效地完成對視頻圖像信號的解碼和分析;ARM處理器則擁有強大的內部資源和豐富的外圍接口,能夠實現分類機器人的人機交互控制功能。

DSP平臺采用德州儀器公司生產的TMS320DM642處理器,該芯片主頻高達600MHz,SDRAM為4M×64位,支持標準PAL或NTSC制模擬視頻輸入,核心采用C6416型數字信號處理器,具有非常強大的陣列處理能力。ARM平臺采用Samsung公司的S3C6410處理器,芯片采用ARM11架構,最高主頻可達到6667MHz,DDR內存為128MB,NAND Flash為256MB,支持USB2.0、LCD控制器、I2C接口等;芯片內嵌圖像加速、JPEG及多媒體編解碼等,是一款高性能、低功耗、低成本的處理器。蘋果分類機器人智能控制系統整體框架設計如圖3所示。

圖3 蘋果分類機器人智能控制系統整體框架

2.2 DSP和ARM通信接口設計

在蘋果分類機器人智能控制系統中,DSP和ARM兩個處理器分工明確:DSP作為從處理器,主要負責視頻圖像的編解碼和信息分析;ARM主處理器則主要負責和DSP的通信、調用接口驅動、海量視頻圖像信息的存儲和發送。DSP和ARM之間的通信接口主要采用HPI接口,該接口不需要額外外圍硬件,適用于DSP與其他CPU之間的通信。

1)HPI接口簡介。HPI是美國Texas Instruments專門為DSP與其他CPU之間的通信設計的16/32 bit的并行接口。在本文中,DSP充當從機的角色,提供1個給用戶自行配置的HPI接口;ARM為主機,可以通過HPI接口訪問DSP內部的所有存儲空間,實現對DSP從機的控制,完成二者之間資源的交換。TMS320DM642的HPI接口由HPIAW、HPIAR、HPID和HPIC、HPI_TRCTL等5個寄存器控制。其寄存器描述如表1所示。

表1 HPI接口寄存器描述

2)DSP和ARM通信接口設計。S3C6410通過IO口對TMS320DM642 HPI接口的HPIAW、HPIAR、HPID和HPIC 4個寄存器進行控制,分別實現兩個處理器之間的握手中斷、鎖存單元地址和數據傳輸。其中,S3C6410的DATA[15-0]和DSP的HD[15-0]一一連接,用于二者的數據交換。ARM和DSP通過HPI交換數據的過程中,DSP為從機態;當其處理完成后,給ARM發出一個中斷,ARM會從DSP讀取數據。對于主處理器ARM而言,DSP是一片外接的具有圖像處理能力的存儲器,其間硬件連接如圖4所示。

3 實驗結果與分析

通過建立MatLab仿真平臺,對蘋果的瑕疵區域與正常區域進行模型對比,不僅可以直觀地反映出蘋果的瑕疵程度,還能對其瑕疵程度進行一定的數據化分析。實驗中,MatLab仿真平臺發送信號給ARM控制器,由其控制蘋果和傳輸帶一起移動;當把蘋果移動到工業相機拍攝的位置,工業相機獲取圖像信息;然后,ARM處理器將圖像信息發送給DAP進行分割、特征提取和分類。如果待檢測的蘋果有瑕疵,則傳輸帶相應地移動并將蘋果放入專門包裝有瑕疵蘋果的箱子中;若待測蘋果是成熟的,系統會自動分析蘋果的成熟度,并根據分析結果將成熟或未成熟的蘋果移至各自的箱中。

圖4 DSP和ARM之間的硬件連接

為了驗證系統的有效性和可行性,對680個蘋果果實進行了自動分類實驗。成熟和非成熟的都是非瑕疵蘋果,系統分類結果如表2和表3所示。

表2 瑕疵與非瑕疵的分析結果

表3 成熟與未成熟的分析結果

由表2和表3可以看出:基于DSP和ARM的蘋果分類機器人智能控制系統,能夠采用顏色統計和紋理特征成功地區分有瑕疵和無瑕疵,準確率達到100%;系統可以使用圖像的R、G、B值將無瑕疵的蘋果分類為成熟或未成熟,準確率達到了96.47%。

本文研究的蘋果分級系統,主要是根據蘋果的顏色或質地上決定蘋果的質量。因此,為了確定將蘋果分類為有瑕疵/無瑕疵的不同特征的有效性,特將兩者的性能進行比較,對比結果如如圖5所示。

圖5 不同特征對有無瑕疵分類的影響

由圖5可以看出:僅采用顏色統計對蘋果有無瑕疵進行分類的準確率為70%;僅采用紋理特征對蘋果有無瑕疵進行分類的準確率為78%;而同時采用兩個特征時準確率可以達到100%,說明顏色統計和紋理特征的組合改善了系統的性能。

4 結論

設計了基于DSP和ARM的蘋果分類機器人智能控制系統,利用DSP處理器的圖像處理算法、ARM的通信控制、神經網絡與MatLab模型相結合的方式,從不同的角度對果實進行有效的分析處理,能夠較好地判斷出果實的成熟度及瑕疵程度。實驗中,該系統將蘋果分類為有瑕疵/無瑕疵和成熟/未成熟,準確度分別為100%和96.47%,證實了系統的有效性和可行性。