基于 STM32H7的智能視覺捕捉系統設計

孫浩然 王彬灃

摘要隨著國內外對移動類機器人應用領域的不斷拓展具有自主搬運功能的智能搬運機器人成為研究熱點文章針對球類訓練中存在的頻繁撿球、換球等現象提出了基于的智能視覺捕捉系統設計該系統以為控制核心結合攝像頭驅動利用采集到的物體圖像信息通過數字圖像處理技術實現目標物體視覺捕捉利用軟件算法使機器人能夠根據圖像信息實現路徑自主規劃結合籠狀結構實現捕捉和運送雙重功能

關鍵詞視覺捕捉數字圖像處理路徑規劃

中圖法分類號：TP391文獻標識碼：A

Design of intelligent vision capture system based on STM32H7

SUN Haoran，WANG Binfeng

（Nanhang Jincheng College，Nanjing 211156，China）

Abstract：With the continuous expansion of the application field of mobile robot，it has become one ofthe research hotspots at home and abroad.Aiming at the phenomena of frequent ball picking andchanging in ball training，this paper puts forward the design of intelligent visual capture systembased on STM32H7.At the same time，the software algorithm enables the robot to realize pathindependent planning according to the image information，and complete the dual functions of captureand transportation combined with the cage structure.

Key words： visual capture，digital image processing，path planning

1? 引言

在球類運動訓練中，對于效率的要求往往很高，本文提出了使用機器人代替人工實現主動式撿球，可以省去很多人力以及節約運動員的時間。本項目使用MicroPython語言編寫[1] ，利用OpenMv的圖像處理模塊，使用攝像頭采集圖像，并通過主控單片機 STM32H750對圖像進行數字圖像處理[2]。整體路徑規劃應用線性回歸算法得到擬合直線，通過最小二值化處理較為簡單的路徑規劃問題。對于復雜地面，則通過Theil?Sen線性回歸算法，增強了系統的適應能力。借助 MATLAB 仿真后，在實際的運行測試中，呈現的效果良好。利用 PID 算法程序計算得到輸出值，通過 L298N 電機驅動模塊控制左右兩部電機轉動，進而控制小車行駛速度及方向，最終使小車能夠勝任運動員在平時訓練及比賽期間的撿球工作，并能將球運送到指定位置。本文設計的機器人具有自主捕捉和運送功能，可應用場地種類多，對未知空間適應能力及探索能力強。

2? 系統總體設計

本機器人系統使用 STM32H750為主控核心，具備 480MZ 主頻，1MB 分散 SRAM ，且增加外部8MB QSPI?FLASH 。搭載攝像頭接口采用2.54排座，可直插 7670、7725攝像頭，采用 OV7670攝像頭驅動，利用其 7670倍頻機制，可讓最大幀率 QQVGA 模式達到60幀/s ，QVGA 達到30幀/s 。驅動使用 L298N 雙 H 橋直流電機驅動模塊，可提供最大功率25W，控制2 相步進電機，直接驅動兩路直流電機，同時利用板內可取的+5V 電供給單片機 STM32H750系統核心使能。搭配帶5V 充放電一體模塊鋰電池電源獨立工作。捕捉器采用滾輪式機械結構，搭配彈性繩，通過滾輪與目標物體的轉速差，實現對目標物體的捕獲及運載。

本系統的色塊識別功能通過OpenMV色彩跟蹤模塊，采集目標物體的數字信息，并將數字信息通過 UART 異步串行通信協議，發送到主控芯片 STM32H750。經過 STM32H750處理后，對識別到的物體進行判別，即判斷是否為所設定的目標。若識別到的物體不是目標物體，則通過控制左右電機的電機正轉、反轉，實現機器人在平面上進行360°旋轉，直至判別到目標物體的方位;若識別到的物體為目標物體，則通過采集到的數據，前往目標物體處，并將其捕獲。系統總體布局圖如圖1 所示。

3? 系統設計的具體論證

本系統具有物體追蹤、數字圖像處理、自動規劃路徑等功能。通過系統論證和實際檢測，最終得到最優效果。

3.1? 物體追蹤

通過分析目標物體的顯著特征，如顏色、形狀、體積等各方面特點，考慮到實際場地的干擾因素以及系統設計難易度，故決定采用顏色追蹤，色塊識別的功能則由OpenMV完成。機器人通過搭載的普通小型攝像頭捕捉實時畫面，借助OpenMv的庫函數，調用色塊識別與圖像處理模塊，將攝像頭捕捉到的畫面進行顏色分析，并獲取有效像素信息，同時通過像素值的大小判斷機器人與目標物體的距離[3]。實際操作中，必須考慮環境造成的干擾，如場地背景顏色與目標顏色的相似程度、不同光照角度引起的光線干擾、顏色塊與鏡頭的距離改變而引起的誤差和錯誤分析，通過雙邊濾波器對圖像進行卷積，使得采集到的圖像平滑，同時保持圖像中的邊緣。控制使用雙邊濾波器匹配顏色的接近程度以及像素在空間方面相互模糊的程度。根據實際操作環境影響因素的不同，如光照角度、地面清潔度等，將 threshold=True 值設置為0 或1 ，傳遞0 或1 來啟動圖像的自適應閾值處理功能。負數 offset 值將更多像素設置為1 ，而正值僅將最強對比度設置為1 。最后，完成了融合雙邊濾波器的基于OpenMV的顏色塊識別模塊。

3.2? 數字圖像處理

針對數字圖像的處理技術，普遍采用圖像分割。利用圖像分割可以實現將目標物體的特征像素與其他影響因子的特征進行區別，將目標物體標記為圖像前景，干擾因子標記為圖像背景。根據圖像類型，可分為灰度圖像分割、彩像分割和紋理圖像分割。考慮到性能、計算量以及實現難易度，本設計采用閾值分割的方法，對圖像進行首次處理，與事先采集到的目標物體的特殊閾值相對比，將獲取到的圖像像素分為若干目標區域以及背景區域，每個區域擁有獨立的灰度級，將目標區域像素與背景區域像素的特殊處仔細區分，以實現對目標物體的精確視覺捕捉。在實際運行中，需要不斷調整閾值范圍，以更好地減少背景環境產生的干擾。

3.3? 自動路徑規劃

國內外對于智能路徑規劃方案的研究和使用，主要采取構型空間法、神經網絡法以及柵格解耦法 [4～ 6] ，它們也是目前發展較為成熟的技術手段。通過對柵格解耦法的研究，將機器人識別到的整體空間解耦成具有相同目標點的更小范圍區域，機器人的工作區間由這些區域組成，機器人將在被解耦的作業空間上自動實現在該區塊內的小區塊路線規劃。當某個機器人在某一個小區域環境中受到阻礙時，可以選擇將此小區域重新分割為至少四個大區塊或者更多小的區塊，并盡量在其中重新尋找一個最好的路徑，其中柵格大小將直接反映機器人對環境阻礙時的最佳分辨路線選擇和最終設計時間，柵格大小不易確定。

神經網絡算法在大型空間的全局路徑規劃效果很好，但具體環境千變萬化，很難用數學公式來描述，神經網絡的整體應用不是很好。經過比較，本系統采用柵格解耦法完成機器人對未知路徑的自主規劃功能。通過對柵格解耦法的研究，借助線性回歸找出一條擬合直線，借用最小二乘法公式：

根據計算得出擬合曲線，通過對比選擇出和實際路徑吻合度最高的曲線，該曲線就是道路的邊緣。使用線性回歸時，必須先將圖像進行二值化。在此之前，需要先設定一個閾值，將此閾值下的數字設定為白色，閾值上的數字則設定為黑色。對于圖像中的閾值像素，可以進行線性回歸運算。采用最小的二階乘法來進行運算，通常運算速度相對較快，但卻無法同時處理所有的異常值。如果 robust 是一個 True ，那么可以采用Theil?Sen（泰爾-森估算）線性回歸算法，以獲取圖像在每個閾值處大概的像素所有傾斜度的中值。如果經過閾值處理后的數據量仍十分龐大，則可以在80×60圖像上，采取 N 值的二次方操作，一定程度上可以將 FPS 降低到5 幀以下。同時，若經過閾值處理后得像素數量過少，即便閾值像素異常值達到27%，所獲取的中值依舊有效，可以使用，且魯棒性能優異。對于目標物體的像素閾值，通過攝像頭拍攝目標物體的照片，利用 IDE 的幀緩沖選擇目標物體的閾值功能。直方圖會同步到最新位置。并依次記錄每個直方圖中的色塊初始處以及下降點位，由此可獲得 Thresholds 的低值和高值大小。通過實踐測量，發現在實際操作中使用手動確定閾值更為方便。

3.4? 動力傳輸系統設計

針對未知復雜環境的情況，需要選擇性能合適的動力傳輸結構，通過接收電機產生的轉力，使機器人實現平面運轉。考慮到靈活性、耐磨損性等諸多因素，現行的方案中，動力傳輸的設計大多采用履帶式，或者使用麥克納姆輪方案。履帶式設計的優點在于其擁有較好的適應性，針對不同需求，可以方便地對履帶長度進行調整。一方面，其牽引力較大。牽引效率方面，輪式可提供的最大牽引效率在55%～ 65%之間，履帶式則可高達70%～80%，而輪式發動機提供的有效功率要比履帶式低15%左右。另一方面，履帶式設計的穩定性強。通過調整履帶大小，可以實現對機器人移動過程中重心點的控制，使機器人對地面有較高的附著力，防止機器人在光滑或傾斜地面發生翻滾倒地現象。且履帶式機器人操控靈活，通過兩邊轉速差實現靈活、小角度轉彎。但是，其行駛速度偏慢，在執行效率方面遠不如輪式結構。

通過對麥克納姆輪的動力傳輸結構的研究，其特點在于擁有四組直流電機分別提供動力。利用該特點，可以使機器人十分靈活地朝各方向移動，在此基礎上研究的全方向移動系統，可以提供更高的效率。相較于履帶式機器人，其轉向半徑更小、更靈活。但是，其缺點在于輪子不平整，且易破損。通常通過四組電機進行搭配使用。由于 L298N 雙 H 橋直流電機驅動模塊一般搭載兩路直流電機，綜合價格、性能及實際使用需求等各方面因素，本次選用履帶式設計。

3.5? 機械捕捉

當機器人識別并通過規劃的路徑到達目標體位置處時，需要完成對目標物體的抓捕工作，以實現后續運輸、傳遞的功能。可采用機械臂、滾筒式等機械結構設計完成此部分功能。對于機械臂的操作，要求機器人控制與目標物體的距離，并需要在目標物體前停留一段時間，給機械臂提供抓捕操作的時間以及空間，且機械臂單次可抓捕和運輸數量較小，操作效率較低。

滾輪式機械結構參考高爾夫球推式撿球機，將推筒前置，通過機械結構搭建，能夠實現被動式跟隨機器人同步運動。滾輪兩邊采用亞克力板雕刻，使用彈性繩連接，中間通過承力軸固定滾輪。目標物體一般處于靜止狀態，低速旋轉的滾輪便可成功捕獲、攜帶目標物體。通過搭載滾輪式結構，可以使機器人實現同步不間斷工作。其缺點在于轉向不靈活。

經過實際檢測，考慮到效率及實用情況，本機器人系統采用滾輪式機械結構。

4? 創新點

（1）采用OpenMv的模塊與 STM32H7之間建立聯系，借助 STM32的強大算力，完美地解決了算法模型的搭建以及數據處理問題。且 STM32的功能拓展性好，對于設備的需求的變更方便、易上手。

（2）機械結構創新利用差速滾輪設計代替機械臂夾具，提高了工作效率，縮小了智能車的體積，且其易于拆卸的結構，使實際使用更為方便。

（3）最小二乘法與Theil?Sen線性回歸算法相結合，降低了系統宕機的概率，有效提升了系統的穩定性。

5? 結論

本機器人系統主控使用 STM32H7系列芯片，延續了 STM32系列高性能的產品特點，提供支持單核解決方案，完成算法控制、圖像信息處理等一系列任務。同時，通過給機器人搭配攝像頭模塊進行實時畫面捕捉以及2.54排線連接傳遞控制信號，機器人可以自完成行識別目標物體及捕捉目標物，通過算法實現全局自主規劃最優路線并用最短的時間完成任務。在確認目標物體后，機器人可自行運作，前往目標點取球。在實際操作過程中，可使用多個機器人進行區域分管協同運作，分工明確，互不干擾，極大程度上可以代替人力完成工作。本項目將體育運動與智能車進行結合，實現智能車實際應用化，智能車控制與機械結構的有機結合，形成一個整體，操作簡便、應用范圍廣、使用壽命長，相較于人工成本，機器人的性價比更高，且實現了人工智能化，具有較廣闊的應用前景。參考文獻：

[1] Sugihara K，Smith J.Genetic Algorithms for Adaptive MotionPlanning of? An? Autonomous? Mobile? Robot [ C ] ∥ IEEE International? Symposium? on? Computational? Intelligence? in Robotics and Automation.1997.

[2] 陶霖密，徐光祐.機器視覺中的顏色問題及應用[ J].科學通報，2021（3）：178?190.

[3] 張開宇，高國偉，毛浩龍.基于 MQTT 的機器人集群控制系統設計與實現[J].計算機測量與控制，2021（6）：98?102.

[4] 王書俠，王國新，劉智超.一種簡易超聲波測距裝置的設計與實現[J].儀表技術，2021（3）：23?24+66.

[5] 秦昆.異構件雙機械臂協同拋光控制及路徑優化技術研究[D].福建：廈門理工學院，2021.

[6] 朱大奇，顏明重.移動機器人路徑規劃技術綜述[ J].控制與決策，2010，25（7）：961?967.

作者簡介：

孫浩然（2001— ），本科，研究方向：機器人算法控制技術。