基于機器視覺的人工智能分揀系統研究與設計

陳旺　邱曉榮

關鍵詞：機器視覺；機械臂；智能分揀；Python

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2023）10-0016-03

隨著人工智能制造技術的不斷成熟，AI機械臂在制造業生產中扮演著越來越重要的角色[1]。分揀機械臂已經開始用于物流包裹分揀業務中，它能代替工人對流水線上的包裹進行分揀。傳統分揀機械臂采用示教或離線編程來規劃抓取方向和運動路徑，雖然能完成分揀作業，但對包裹的擺放位置和大小要求較嚴格，很容易導致機械臂抓取包裹失敗。而基于機器視覺的分揀機械臂支持示教再現、腳本控制、Blockly圖形化編程、激光雕刻、3D打印、視覺識別等功能，靈活應用于智能分揀、電路板焊接等自動化生產線，讓它既可以成為輕人工智能用戶中解決實際問題的利劍，也可以成為創客用戶想象力的承載平臺，具有靈活性高、分揀穩定等優勢，彌補了傳統分揀機械臂的不足。根據國內的輕人工智能市場需求，研究基于機器視覺的物品分揀系統，具有一定的應用價值和現實意義。

1 人工智能分揀系統簡介

系統主要由四大模塊單元組成，分別為PLC系統傳送帶單元、MVS圖像采集單元、Python圖像處理單元和M1機器臂分揀單元。

1）PLC傳送帶單元：包括傳送帶、上料倉、伺服驅動器與電機，系統通過伺服驅動器控制電機的運行，電機負責驅動傳送帶。傳送帶單元主要用于傳輸待分揀物品，使得待分揀物品進入相機拍攝區域和機器臂分揀區域，增強系統定位動作與分揀動作的協調性，提高視覺分揀系統的分揀效率。

2）MVS圖像采集單元：包括人工智能相機和傳輸網線，該單元將采集到的物品圖像傳輸給圖像處理單元進行處理可進行灰度與RGB彩色兩種模式處理。

3）Python圖像處理單元：系統的核心單元之一，包括視覺處理Python算法。處理單元中的工控機接收到圖像采集單元所采集的物品圖像后，調用視覺處理算法對物品圖像進行處理分析，得到圖像中物品對應的種類信息和位置坐標信息，最后將該信息發送給機器臂分揀單元。

4）M1機械臂分揀單元：主要由關節坐標型機械臂、機械臂伺服控制器、真空氣泵、真空吸盤等硬件組成。機械臂分揀單元是基于視覺的物品分揀系統的執行機構，并根據分揀信息對傳送帶上的物品進行抓取與放置，分為三種運動方式（Move、MoveJ、Jump）其中Move的運動方式為點到點之間的直線運動，適合在同一高度的點位移動；而MoveJ的運動方式為點到直線，適合用于擁有同一個初始點位去往不同目的地的移動；最后Jump的運動方式是跳躍式移動，該模式十分靈活，可以擁有多種運動方式。最后視覺系統會根據物品的位置坐標信息確定分揀機械臂的抓取點[2]，根據物品的種類信息確定分揀機械臂的放置區域。在接收來自PLC處理后的信息后發送給視覺進行拍照，在視覺里面匹配特征模板，并且生成特征點用來抓取，而且將生成的這些數據以電信號的方式發送給M1機械臂分揀單元，在接收到指令后開始抓取相對應的物品，完成指令執行。

2 系統軟件設計

基于機器視覺的物品分揀系統的軟件部分是在Python 及M1 Studio 開發環境下開發編寫的，其中視覺算法部分是在Python 環境下開發，在進行開發前需要進行文件包的換源，防止本地文件調用不成功，而后再把視覺算法移植到M1 Studio環境下進行部署應用開發，在PLC的編程使用的是西門子的博圖15.1，采用S71200的控制集成系統作為本視覺系統的控制單元。本文設計的視覺分揀系統軟件框架分為四個模塊，分別是語音人臉模塊、圖像識別模塊、PLC客戶端以及協作機械臂。

1）語音人臉模塊：該模塊會搭建一個語音客戶端，并使用百度云的語音識別服務，它可以識別使用者的身份信息，并且作為客戶端登錄PLC服務端，下發語音指令，該模塊中尤其需要注意的是調用百度云智能語音的三個key，否則很容易出現報錯。

2）圖像識別：該模塊是借助MVS相機進行圖像識別訓練，對所有的物料進行“記憶”，通過每樣100張在不同光源和環境的訓練下形成對應的精確訓練模型文件，用來提高該物品的識別精準度[6]。

3）PLC客戶端：該模塊作為“中介”存在，將由語音人臉發送過來的電信號處理后轉發給協作機械臂。

4）協作機械臂：該模塊作為執行單元，在接收PLC客戶端處理后的信息后，驅動伺服傳送帶和空壓機運行相對應的運動路線，完成精確分揀物品的任務。

3系統硬件設計

1）人工智能相機及光學鏡頭

人工智能相機是圖像采集單元的核心組成部分之一，相機的成像質量能夠直接影響到后續的圖像處理結果。根據相機內置的圖像傳感器類型。人工智能相機型號的選擇要根據具體需求來確定，考慮的參數包括分辨率、數據傳輸速率等。相機分辨率表示相機成像平面上的像素總個數，分辨率越高，則相機捕獲的圖像質量越高也越清晰，成像效果肯定也越好，但是相對應的圖像占有的存儲空間也越大，相機的數據傳輸速率要求也越高。

系統根據視覺分揀系統工作范圍和物品定位精度等項目要求，選擇使用海康威視的MV-CE200-10GM 型人工智能相機，該相機基于千兆以太網通信協議傳輸圖像數據，具有2000 萬像素分辨率，每秒采集圖像為6 幀，可連續拍攝，同時可以進行灰度與RGB彩色轉換功能，是一款功能非常良好的相機。在視覺軟件DobotVisionStudio 4.1.2中編寫好對應程序以及參數后，就可以連接相機進行相關拍攝。該款相機的具體參數如表1所示。

2）分揀機械臂

根據人工智能機械臂的運動形式分為笛卡爾坐標型機械臂與直角關節坐標型。直角坐標型機械臂能在X 軸、Y 軸與Z 軸上平穩移動不會發生跳動，且這三個軸上的運動是相互獨立的[3]。直角坐標型機械臂主要通過三個軸上的線性運動來完成作業，其具有控制操作簡單、穩定性高、工作精度高等優點，因此本課題選用的是直角坐標型模式。

相比笛卡爾坐標型，直角坐標型機械臂具有較低的構造成本，適用于開發低成本項目，因此，本課題選擇使用的也是直角坐標型機械臂作為視覺分揀系統中的分揀機械臂，直角坐標型機械臂的模型圖如圖2 所示。

3）傳送帶

本系統使用的傳送帶為皮質傳送帶，可進行正反轉。系統運行過程中傳送帶的速度和時間可以在PLC編程里面進行適當調節。傳送帶上配備了編碼器，可以檢測傳送帶的運行速度并把數據傳輸到工控機上。

4 機器視覺分揀系統的設計總方案

4.1 硬件平臺搭建

本文設計的分揀系統硬件由M1坐標型機械臂、人工智能相機MVS、KOWA 的LM25JCM-S 型光學鏡頭、工控機、達爾拓的低音真空泵、真空吸盤、PLC傳送帶、伺服驅動器等組成，其中，人工智能相機與光學鏡頭被安裝在直角坐標型機械臂本體以外的固定支架上，位于傳送帶上方，在傳送帶和相機之間可搭建條形光源作為外設光源。

而相機標定是為了獲得各個坐標系之間的現實關系與邏輯關系，從而將圖像中的某個點轉換到三維幾何空間的某個點，形成一個正確的標定轉換通道。在相機標定過程就是對世界坐標系、相機坐標系、圖像坐標系和像素坐標系進行坐標變換[4]，實現現實坐標系與M1機械臂之間的標定轉換。

1）像素坐標系

假設以圖像平面的左上角頂點為原點，（u0，v0）表示其坐標值。相機采集的圖像首先是形成標準電信號的形式，然后再通過A/D模數轉換器實現信號轉換。每幅圖像以MxN的數組形式作為存儲，像素在圖像中表現為M行N列的點，該點的幅值即為灰度值。

2）圖像坐標系

同理其中圖像平面與光軸的交點為坐標原點O/Z 軸和7軸分別平行于圖像平面的兩條垂直邊，用（x，y） 表示其坐標值，用來反映像素點空間位置信息，圖像坐標系是用物理單位（例如：毫米）表示像素在圖像中的位置。

在獲取到所有的點位之后就可以生成相對應的標定文件，用于實際的空間坐標與機械臂的邏輯坐標進行轉換，從而完成接下來M1機械臂的智能判定。

4.2系統工作流程

視覺分揀系統的工作流程如下：

首先通過登錄百度云智能語音創建并獲取上面的BaiduAPP_ID、BaiduAPI_KEY、SECRET_KEY 三種密鑰，而后開始進行語音人臉驗證、人臉身份信息識別通過后開始下發語音指令，M1機械臂收到指令將物料臺上面的物料抓取放到物料檢測區域給人工智能相機發送物料到達的信號，這時候相機開始捕獲傳送帶上的待分揀物品圖像并把物品圖像傳輸到工控機PLC，工控機通過視覺定位算法對物品進行分類與定位并生成特征點，等匹配到相對應的模板后，再將所得的物品信息傳輸到分揀機械臂模塊；分揀機械臂根據先前做好的標定轉換文件得到抓取點坐標去抓取物品，最后根據物品種類信息將該物品放置到對應的作業區域。

5系統分揀實驗與結果

待分揀的塑料物品在傳送帶上移動。物品先進入相機的圖像采集范圍，系統采集物品的圖像并把圖像傳輸到人工智能系統。人工智能系統通過視覺算法對采集的物品圖像進行處理，得到物品對應的種類信息和機械臂待抓取點坐標信息。分揀機械臂根據待抓取點坐標信息對物品進行抓取，最后根據物品對應的種類信息，將其放置到對應的作業區域[5]。并將該物品的信息返回給語音人臉客戶端進行登記，分揀開始后可以分兩種運行模式，分別是手動停止與自動停止。

1）手動停止

在整個系統運行時，可以使用語音進行手動停止，也可以按壓系統平臺上的紅色急停鍵，當系統停止后，所有系統硬件都會停止動作，開啟安全鎖并等待下一步指令。

2）自動停止

該人工智能集成系統可進行單次運行和連續運行，單次運行命令下，所有的模塊只會執行一次操作，而后回到初始化狀態等待下一步指令，連續運行下PLC的物料倉會和協作機械臂進行互聯，直到物料倉庫內所有物料全部被提取完才會停止，但此時系統不會回到初始化狀態，只有當所執行的命令里所有的物料抓取完畢才會回到初始化狀態。

6 結束語

本文基于機器視覺的人工智能分揀系統的結構進行設計制作，其實驗樣機系統的功能已經基本實現，其機械臂分揀能力較強，運動較為靈活，具有三種運動方式，在不同形態和不同環境中都可以準確抓取，拓展其在人工智能工業的應用功能，在傳統工業的技術基礎上結合現代人工智能技術讓該系統在現在的輕工業市場上潛力巨大，并且，根據國內的市場需求，研究基于機器視覺的物品分揀系統，可以大大節省人力、物力等資源，基本滿足市場需求，具有一定的應用價值和現實意義。