基于AM5728的動態產品姿態獲取系統設計與實現

尚 玉 廷

(廣州番禺職業技術學院智能制造學院 廣東 廣州 511487) (珠海格力電器股份有限公司珠海格力智能裝備有限公司 廣東 珠海 519000)

0 引 言

在實際生產中，動態流水線上的產品都是隨意擺放的，為后續實現自動裝配、自動打螺釘、自動貼標簽和自動檢測等造成了很大障礙。為了能夠實現智能化柔性生產，需要實時獲取動態流水線上產品擺放姿態，并根據產品擺放姿態實時調整機構姿態控制機器人、X/Y/Z平臺、模組、工裝夾具等執行機構，以便保持與產品之間的相對姿態統一，最終以設計好的路徑執行相應動作。

目前常用的方法是在動態流水線上加裝導向機構的接觸式方法，將產品導向成固定姿態后再進行后續的智能化柔性生產，缺點是產品切換時需要重新調節導向機構，導向后的姿態存在較大誤差，不僅降低流水線的生產節拍，而且容易刮花產品外觀面，導致質量異常事故發生，對于有較高外觀面質量要求的產品無法適用，如空調產品。為了有效解決以上問題，本文設計并實現了動態流水線上產品擺放姿態的非接觸式實時獲取系統，在不接觸產品任意外觀面的前提下(非接觸式)實時獲取動態流水線上產品擺放姿態，該姿態可用于實時反饋給執行機構相對于產品自動調節成統一的相對姿態，為實現后續的智能化柔性生產提供技術基礎和理論支撐。

1 系統整體設計

1.1 系統整體結構設計

動態流水線上產品擺放姿態的非接觸式實時獲取系統包含攝像頭固定機構、ARM控制系統、圖像采集系統、傳送裝置等四部分，檢測系統結構圖如圖1所示。此系統中如果不用線激光器，僅僅通過攝像機在產品正上方的時候觸發獲取一幀圖像，根據圖像中產品的輪廓特征計算產品擺放姿態。該方案的缺陷非常明顯，例如：(1) 受環境光的影響非常大；(2) 產品高度變化后，系統標定模型將失效，必須重新標定；(3) 產品輪廓特征可能無法準確提取，受背景影響非常大；(4) 對于存在較大高度差的產品不適用。可見激光器在這套系統中起著不可或缺的作用。

圖1 檢測系統結構圖

動態流水線上產品擺放姿態的非接觸式實時獲取系統工作原理為:空調等產品從流水線上移動至圖像處理系統區域時，圖像采集系統獲取產品擺放姿態信息，所有的擺放信息圖像經過解碼處理后發送給ARM控制系統;ARM控制系統根據圖像處理各種算法，對產品擺放姿態進行圖像增強等處理，然后根據檢測結果控制后續的執行機構。圖像采集系統獲取產品擺放姿態信息是采用激光三角測量原理(如圖2所示)，將線激光投射到動態流水線上，產品(以空調為例)從流水線上經過激光投射平面(如圖1所示)，會在產品(空調)表面形成一系列的光條紋，每條光條紋都包含著產品(空調)在該激光投射平面上的外表面輪廓信息，通過攝像機獲取產品(空調)表面上的光條紋序列，利用視覺算法提取每條光條紋的三維信息，將會得到產品(空調)在動態流水線上的外表面三維點云數據，從而獲取產品(空調)在動態流水線上的視差圖像，由視差圖像可以精確地提取產品(空調)的擺放姿態。圖2中：s為激光器光束端面A與基準面R的垂直距離，d為端面A與攝像機焦點O′的距離，d0是OO′的距離，f是相機焦距，可以使用基于2D平面靶標的攝像機標定方法標定得到，Δ為被測物體距離基準面的距離，θ是激光束與OO′的夾角，δ是成像平面上成像點偏移的距離。可以推導得出如下公式：

圖2 激光三角測量原理

1.2 系統硬件設計

包裝箱型號缺陷檢測系統需要通過圖像采集系統獲取空調包裝箱型號標記的圖像信息，還需要ARM控制器對采集到的圖像信息進行處理和存儲，對芯片運算和處理速度要求較高。因此選用TI公司Sitara系列的AM5728處理器，其內部運行有Cortex-A15 ARM核心，其架構較為獨特，其內部還集成了兩個用于分析和實時數字序號處理的C66X DSP、一個ARM Cortex-M4內核，可用于實現IO控制功能以及圖像加速引擎。另外還具備豐富的互聯外圍設備，包括USB3.0、USB2.0、SATA 2、Gigabit以太網交換接口和PCI/PCIe接口等。AM5728核心板實物圖如圖3所示，外設接口及其功能如表1所示。

圖3 AM5728 核心板實物圖

表1 AM5728核心板外設及功能

該系統提供了豐富的連接外設。該芯片還包含了高性能嵌入式產品所需的最先進的集成電源管理技術，可以保持嵌入式系統運行中功耗比較低。

MER- 231- 41GM/C-P攝像頭被用來做圖像采集，它是大恒圖像公司最新的水星(MERCURY)系列。感光元件采用Sony IMX249 CMOS感光芯片，該攝像頭可以通過100 Mbit/s以太網接口與AM5728處理器相接，實現產品擺放姿態的快速、準確采集。采用雙LED光源為圖像采集系統提供均勻穩定的照明。

1.3 缺陷檢測系統軟件平臺

檢測系統的軟件設計采用VMWare Station軟件作為虛擬開發平臺，Ubuntu16.04操作系統作為開發環境進行軟件編程，適用于TI嵌入式處理器，涵蓋了編譯、仿真等功能。程序采用C++語言和模塊子系統的方式進行軟件的編寫開發，大大提高了程序開發的效率。系統檢測流程如圖4所示。

圖4 檢測系統檢測流程

2 動態流水線上產品擺放姿態的分析

空調以不同姿態經過激光投射平面后的視差圖像，如圖5所示。系統標定后(基準面標定、攝像機標定、激光投射平面標定、運動方向標定)，視差圖像中的點云數據即可映射到空間笛卡爾坐標系中，以產品相對坐標系OXY的原點O作為基準點，可以實現空調的精確定位。

圖5 空調理論視差圖

3 系統獲取產品擺放姿態的算法

通過非接觸式方法獲取空調底板三維點云數據的過程中，由于受到外界環境光的影響和空調底板表面漫反射現象的影響，不可避免地引入大量的噪聲干擾點云，與此同時，空調底板三維點云也會存在小部分殘缺，主要集中在邊緣區域和表面梯度變化較大區域，從而導致對于空調底板三維點云數據模型的外輪廓難以精確快速提取。目前常用的技術手段是將原始的三維點云數據進行三維空間實體建模，根據預先設計好的規則(距離與法向量)將彼此相鄰的點云數據連接成同一個曲面，將離散的點云數據(部分噪聲干擾點云)過濾掉，然后根據另外一種預先設計好的規則(邊緣距離與曲率)將不同的離散曲面拼接成連續曲面，并將拼接處的間隙區域(三維點云數據殘缺部分)修補完整。接著，根據高度特征將空調底板所屬曲面分割出來。最后，根據空調底板的表面輪廓特征，對提取出來的曲面進行適當的表面處理，(例如：根據空間形態學進行表面平滑處理、根據最小外接空間矩形進行表面拓撲延伸或者裁剪處理)最終可以獲取空調底板三維點云數據模型的外輪廓。上述技術手段的缺點是算法復雜、運算量大、處理時間長、魯棒性低，無法應用在在線式的實際項目上。

通過以上算法可以在不接觸產品任意外觀面的前提下(非接觸式)實時獲取動態流水線上產品擺放姿態。動態流水線上產品擺放姿態的非接觸式實時獲取系統算法邏輯如圖6所示。

圖6 外輪廓精確快速提取算法邏輯

基于線激光三角測量原理獲取原始的空調底板三維點云數據模型，如果直接進行三維點云數據模型處理，算法將會非常復雜，運算量非常大，效率非常低。本文通過降維思路(將三維空間模型轉換成二維平面模型)，將原始的空調底板三維點云數據模型轉換成二維視差圖像，然后再利用傳統的數字圖像處理算法提取外輪廓特征，不僅算法簡單、運算量少、效率高，而且提取精度高(亞像素精度)，能夠滿足在線式的實際項目。首先，原始的空調底板三維點云數據模型可以直接轉換成二維視差圖像，根據原始的空調底板三維點云數據模型中空調底板所在的空間高度特征，分割出空調底板所在空間高度的點云區域，過濾掉背景干擾點云數據。然后，對上述點云區域進行離散化處理，提取空調底板的核心區域，并對其邊緣進行光滑處理，對其內部進行填充處理，得到變形核心區域。接著，以變形核心區域作為參考標準，提取出距離參考標準區域邊緣距離少于預設閾值的邊緣離散點云區域群，合并處理后就得到了空調底板精確的三維點云數據。最后，利用形態學算法將上述合并區域進行輪廓光滑整形，就得到了精確的空調底板外輪廓特征。

數字圖像處理算法處理如下：根據高度特征將視差圖像中屬于空調底板所在空間高度的三維點云數據區域分割出來，離散化處理后提取出面積最大的連續區域，此區域就是原始的三維點云數據模型中空調底板的核心區域。然后對核心區域進行適當的圖像預處理，獲取光滑凸體的核心變形區域，以核心變形區域作為參考標準，提取出邊緣距離少于預設閾值的離散點云區域群，這些離散點云區域群就是原始的空調底板三維點云數據模型中邊緣區域的殘缺部分。將提取出來的離散點云區域群與核心變形區域合并成一個完整區域，該區域就是原始的空調底板三維點云數據模型中精確提取的空調底板三維點云數據。后續只需要進行簡單的形態學處理就可以得到空調底板三維點云數據模型的外輪廓特征，同時也可以在此基礎上進一步擬合出外輪廓所在的空間曲線方程，提取空間姿態用于項目應用。

4 檢測實施過程

在動態流水線上架設2個龍門支架，分別用于固定線激光器和攝像機。線激光器固定在動態流水線正上方而且線激光投射平面垂直于動態流水線運動方向，攝像機固定在動態流水線正上方而且光軸與線激光投射平面形成固定夾角，符合激光三角測量原理模型。在固定線激光器的龍門支架上安裝一對光電傳感器，用于感知產品(空調)是否在線激光投射平面上，同時在動態流水線傳動電機上安裝一個反饋編碼器，用于獲取動態流水線的瞬時運動速度，因為動態流水線的運動絕大部分情況下不是勻速的。

首先，進行系統標定，包括基準面標定、攝像機標定、激光投射平面標定和運動方向標定，以動態流水線上某一個固定點作為笛卡爾坐標系的原點，以動態流水線的運動方向作為X軸正方向，建立笛卡爾坐標系與系統三維點云坐標系之間的映射關系數學模型(如圖7)；接著，進行圖像采集，假設產品(空調)在線激光投射平面上的時候，光電傳感器輸出高電平，產品(空調)不在線激光投射平面上的時候，光電傳感器輸出低電平。當產品(空調)流過線激光投射平面的過程中，光電傳感器輸出高電平，在這個過程中系統監控反饋編碼器反饋的實時信號，以固定的反饋編碼器反饋的脈沖增量(這里代表動態流水線運動了固定的距離)觸發一次攝像機，獲取一幀線激光投射到產品(空調)外表面上的光條紋圖像(見圖8)，這樣將會在產品(空調)流過線激光投射平面的過程中得到由N幅圖像組成的動態圖像序列，序列中的每一幅圖像都包含了產品(空調)外表面的順序截面輪廓線，信息隱藏在圖像中的光條紋中。然后，進行數據處理，利用視覺算法提取動態圖像序列中每幅圖像中的光條紋中心線，根據圖像序列將光條紋中心線沿著動態流水線的運動方向進行順序拼接，得到產品(空調)在動態流水線上的外表面三維點云數據，根據三維點云數據的高度坐標值設置合適的分割閾值，可以簡單地提取出產品(空調)在動態流水線上的視差圖像(見圖9)。最后，根據獲取的視差圖像和產品(空調)的外觀特征，利用視覺算法計算出產品(空調)的擺放姿態(見圖10)，并根據第一步建立的映射關系數學模型，轉換成笛卡爾坐標系下的產品姿態，可用于實時反饋給執行機構相對于產品(空調)自動調節成統一的相對姿態，為后續的智能化柔性生產提供可能性。

圖7 系統模型三視圖

圖8 細節展示圖

圖9 空調實際視差圖

圖10 空調擺放姿態提取

產品擺放姿態的獲取效果有以下五個優點：① 實時獲取動態流水線上產品擺放的姿態；② 非接觸式，杜絕刮花產品外觀面的隱患；③ 自適應，產品切換時無需做任何調整，高效便捷；④ 不影響流水線的生產節拍；⑤ 獲取的產品姿態精度非常高，可用于實時調整執行機構姿態，保持執行機構與產品之間的相對姿態統一。

5 結 語

本文首先對姿態檢測系統進行了整體設計，然后對流水線上產品擺放姿態進行了分析，最后利用研究出的產品擺放姿態檢測算法，實現了動態流水線上產品擺放姿態的非接觸式實時獲取系統。在不接觸產品任意外觀面的前提下(非接觸式)實時獲取動態流水線上產品擺放姿態，該姿態可用于實時反饋給執行機構相對于產品自動調節成統一的相對姿態，為實現后續的智能化柔性生產提供技術基礎和理論支撐。