基于OpenMV的視覺識(shí)別系統(tǒng)在六足機(jī)器人中的應(yīng)用

儲(chǔ)澤楠 王偉 蔡勝宇

摘 要：為解決六足機(jī)器人自主識(shí)別的問題，實(shí)現(xiàn)機(jī)器人智能化、人性化的發(fā)展，以O(shè)penMV為主要平臺(tái)，以六足機(jī)器人為主要機(jī)器載體，同時(shí)以Python為主要開發(fā)語言，以C語言為輔助開發(fā)語言，加上對(duì)圖像處理技術(shù)的合理應(yīng)用，設(shè)計(jì)了一個(gè)簡(jiǎn)易的基于OpenMV的視覺識(shí)別系統(tǒng)，從而實(shí)現(xiàn)視覺識(shí)別的應(yīng)用。

關(guān)鍵詞：六足機(jī)器人;OpenMV;視覺識(shí)別;模擬仿真

中圖分類號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2019）34-0026-04

Application of Vision Recognition System Based on

OpenMV in Hexapod Robot

CHU Zenan WANG Wei CAI Shengyu

（Anyang Institute of Technology，Anyang Henan 455000）

Abstract： In order to solve the problem of autonomous recognition of hexapod robot and realize the development of intelligent and humanized robot， a simple visual recognition system based on openmv was designed with openmv as the main platform， hexapod robot as the main machine carrier， python as the main development language， C as the auxiliary development language， and the reasonable application of image processing technology realize the application of visual recognition.

Keywords： hexapod robot;OpenMV;visual recognition;simulation

隨著機(jī)器人的熱起，相關(guān)技術(shù)也不斷發(fā)展，其中視覺信息處理技術(shù)是移動(dòng)機(jī)器人研究的關(guān)鍵技術(shù)之一。目前，視覺信息處理的內(nèi)容主要包括視覺信息的壓縮和濾波、道路檢測(cè)和障礙物檢測(cè)、特定交通道路標(biāo)志的識(shí)別、三維信息感知與處理[1-4]。視覺信息的獲取是機(jī)器人規(guī)劃和導(dǎo)航的基礎(chǔ)，同時(shí)也是決定機(jī)器人正確識(shí)別當(dāng)前道路環(huán)境信息的依據(jù)。獲取到有效的視覺信息可以正確規(guī)劃路線并為正常的行走打下基礎(chǔ)[5]。視覺信息的過濾是基礎(chǔ)的視覺處理過程，能為其他視覺功能提供基礎(chǔ)的信息反饋，從而實(shí)現(xiàn)相應(yīng)功能[6]。

因此，把視覺識(shí)別系統(tǒng)放到六足機(jī)器人進(jìn)行研究，對(duì)實(shí)現(xiàn)機(jī)器人的智能化、人性化提供了新的思路。加強(qiáng)視覺識(shí)別系統(tǒng)的應(yīng)用，可以在環(huán)境因素多變的情況下使機(jī)器人做出自主決策，讓機(jī)器人更好地服務(wù)于社會(huì)、服務(wù)于人類，促進(jìn)時(shí)代的發(fā)展，推動(dòng)科技的進(jìn)步。

1 視覺識(shí)別基本理論

簡(jiǎn)單來說，視覺識(shí)別就是對(duì)攝像頭獲取到的圖像進(jìn)行處理和分析。攝像頭其實(shí)就是一個(gè)將光學(xué)信號(hào)轉(zhuǎn)變成電信號(hào)的裝置[7]。RGB三原色的原理不是出于物理原因，而是由于生理原因造成的。人的眼睛內(nèi)有幾種辨別顏色的錐形感光細(xì)胞，分別對(duì)黃綠色、綠色和藍(lán)紫色（或稱紫羅蘭色）的光最敏感（波長(zhǎng)分別為564、534nm和420nm）。雖然三種細(xì)胞并不是分別對(duì)紅色、綠色和藍(lán)色最敏感，但這三種光可以分別對(duì)三種錐形細(xì)胞產(chǎn)生刺激。所以，RGB經(jīng)常用于顯示器上，用來顯示圖片。圖1為RGB三原色圖。

感光元件是由很多個(gè)感光點(diǎn)構(gòu)成的，如有320×240個(gè)點(diǎn)，每個(gè)點(diǎn)就是一個(gè)像素，把所有的像素點(diǎn)整合到一塊就組成了一幅320×240的圖像，如圖2所示。幀率（FPS）就是每秒處理的圖片數(shù)量，如果超過20幀，人眼基本分辨不出卡頓。

Lab顏色空間是由國(guó)際照明委員會(huì)（CIE）制定的一種色彩模式。Lab顏色空間中，L表示亮度;a和b分別代表兩個(gè)顏色通道。L的值域是0～100，而a和b的值域都是+127至-128。a的正數(shù)代表紅色，負(fù)端代表綠色;b的正數(shù)代表黃色，負(fù)端代表藍(lán)色。因此，L分量可以調(diào)整亮度，修改a和b分量的輸出色階來進(jìn)行精確的顏色平衡。物理上，顏色就是不同波長(zhǎng)的電磁波，但人們通過對(duì)電磁波運(yùn)用RGB、LAB等顏色模型，使電磁波描述出人眼能識(shí)別的各種顏色。圖3是可見光的光譜。有了這些圖像的基本知識(shí)，就可以對(duì)圖像進(jìn)行識(shí)別和分析。

2 視覺識(shí)別基本算法

2.1 顏色識(shí)別

顏色識(shí)別是OpenMV識(shí)別的最基本的功能[8]，而顏色識(shí)別最核心的是顏色閾值的選取。不同顏色有不同的顏色閾值，OpenMV通過對(duì)顏色閾值的判斷實(shí)現(xiàn)對(duì)同種顏色的識(shí)別。所謂顏色的閾值就是首先設(shè)定一個(gè)顏色，圖像的轉(zhuǎn)換是比較像素的過程[9]，圖像分析的過程就是通過所得到的像素點(diǎn)與預(yù)先設(shè)定的閾值進(jìn)行分析和計(jì)算，從而判斷是否為設(shè)定顏色。因此，顏色閾值越高，顏色數(shù)量越少。例如：尋找紅色的閾值，就可以進(jìn)行如下操作，圖4中（5，100，-64，40，-61，70）就是紅色閾值，在相應(yīng)的顏色閾值中實(shí)現(xiàn)顏色的識(shí)別，實(shí)現(xiàn)顏色的跟蹤。

2.2 模板匹配

模板匹配采用的是NCC算法（Normalized Cross Correlation），只能匹配與模板圖片大小和角度基本一致的圖案。但是，該算法的局限性相對(duì)來說比較大，如視野中的目標(biāo)圖案稍微比模板圖片大一些或者小一些就可能匹配不成功。

模板匹配適用于攝像頭與目標(biāo)物體之間距離確定、不需要?jiǎng)討B(tài)移動(dòng)的情況[8]。比如，適用于流水線上特定物體的檢測(cè)，而不適用于小車追蹤一個(gè)運(yùn)動(dòng)的排球（因?yàn)檫\(yùn)動(dòng)的排球與攝像頭的距離是動(dòng)態(tài)的，攝像頭看到的排球大小會(huì)變化，不會(huì)與模板圖片完全一樣）。對(duì)于多角度、多大小匹配，可以嘗試保存多個(gè)模板，采用多模板匹配。

基于NCC算法用來比較兩幅圖像的相似程度是一種常見的圖像處理手段。取值范圍為[-1，1]，每個(gè)像素價(jià)值圖像不合，如果它有一個(gè)子集與另外一個(gè)樣本數(shù)據(jù)相互匹配，則其NCC值為1，表示相關(guān)性很高，如果是-1則表示完全不相關(guān)。NCC是基于相似度度量的匹配算法，在工業(yè)領(lǐng)域已被廣泛采納。

NCC算法的計(jì)算公式為：

[NCC（x，y）=i=1Mj=1N{[Ix+i，y+j-Ix，y]g[T（i，j）-T]}i=1Mj=1N[Ix+i，y+j-Ix，y]2i=1Mj=1N[Ti，j-T]2]（1）

其中，[I]為目標(biāo)圖像;[T]為模板圖像，模板大小為[M×N]。根據(jù)NCC算法，就可以比較模板與圖像的特征，得出是否匹配。

2.3 特征點(diǎn)檢測(cè)

在實(shí)際應(yīng)用中，對(duì)單個(gè)圖像固定距離的圖像識(shí)別應(yīng)用比較單一，而動(dòng)態(tài)識(shí)別應(yīng)用比較普遍，根據(jù)這一情況引出特征點(diǎn)檢測(cè)這一概念。特征點(diǎn)檢測(cè)不再局限于特定距離、特定大小物體的識(shí)別，使準(zhǔn)確識(shí)別動(dòng)態(tài)物體成為可能，對(duì)物體與圖像的比例進(jìn)行算法比對(duì)，實(shí)現(xiàn)識(shí)別的功能。FAST算法在特征點(diǎn)檢測(cè)中應(yīng)用比較廣泛，本設(shè)計(jì)中就是用該算法實(shí)現(xiàn)特征點(diǎn)檢測(cè)。

FAST，即Features from Accelerated Segment Test，加速分割測(cè)試獲得特征。只有比較幾個(gè)像素，才能確定該點(diǎn)是不是一個(gè)關(guān)鍵?？焖偎惴▉碜杂诟鼽c(diǎn)的定義，圍繞一個(gè)點(diǎn)形成一個(gè)圓，根據(jù)一個(gè)圓的像素值來判斷這一點(diǎn)是否關(guān)鍵。如果存在這樣一段圓弧，其連續(xù)長(zhǎng)度超過周長(zhǎng)的3/4，并且其上面所有像素的強(qiáng)度值都與圓心的強(qiáng)度值明顯不同（全部更黑或更亮），那么就認(rèn)定這是一個(gè)關(guān)鍵點(diǎn)。用這個(gè)算法檢測(cè)關(guān)鍵點(diǎn)的速度非?？欤虼耸诌m合需要優(yōu)先考慮速度的應(yīng)用。這些應(yīng)用包括實(shí)時(shí)視覺跟蹤、目標(biāo)識(shí)別等。

3 實(shí)驗(yàn)驗(yàn)證

3.1 視覺識(shí)別實(shí)驗(yàn)

對(duì)于視覺識(shí)別功能的實(shí)驗(yàn)方法，首先測(cè)試程序的完整性，檢查程序是否有錯(cuò)，接著運(yùn)行程序。本文以紅色物體為例，首先找到紅色的閾值填入程序中，接著把物體放到離攝像頭不遠(yuǎn)處，運(yùn)行程序，可以看到電腦端會(huì)顯示攝像頭的圖像，并且把紅色物體用綠色矩形框標(biāo)識(shí)出來，反復(fù)測(cè)試幾次。圖5是攝像頭與實(shí)物的位置圖片，反映第三人稱視角的觀看角度。圖6是OpenMV攝像頭的識(shí)別圖片，檢測(cè)到的紅色物體用矩形框標(biāo)注出反映正面視角的觀看角度。

從圖5和圖6設(shè)置的實(shí)驗(yàn)條件進(jìn)行分析，本文所設(shè)計(jì)的六足機(jī)器人對(duì)物體的識(shí)別有良好的精度。

3.2 視覺測(cè)距實(shí)驗(yàn)

對(duì)視覺測(cè)距功能進(jìn)行檢測(cè)，同樣先檢查程序的正確性。以上述紅色物體為例，筆者先檢測(cè)物體的距離，把物體放到已知距離的某處，運(yùn)行程序，這時(shí)在電腦端會(huì)標(biāo)記紅色物體同時(shí)會(huì)輸出此時(shí)的距離，如圖7所示，再觀察實(shí)物圖的位置，如圖8所示。接著把紅色物體再移動(dòng)多次，比較測(cè)得數(shù)據(jù)與實(shí)際數(shù)據(jù)的差值。

從圖7和圖8不難看出，設(shè)計(jì)的機(jī)器人測(cè)距的效果明顯，這對(duì)于六足機(jī)器人的行走是至關(guān)重要的部分，也是物體識(shí)別的一個(gè)應(yīng)用。

3.3 目標(biāo)跟蹤實(shí)驗(yàn)

相對(duì)其他功能來說，目標(biāo)跟蹤實(shí)驗(yàn)需要用STM32單片機(jī)來完成，其他功能都是給這個(gè)功能做基礎(chǔ)，通過圖像分析返回?cái)?shù)據(jù)，再通過串口發(fā)送數(shù)據(jù)給STM32單片機(jī)，單片機(jī)再控制舵機(jī)板實(shí)現(xiàn)目標(biāo)跟蹤。同樣，采用紅色物體進(jìn)行目標(biāo)跟蹤測(cè)試，運(yùn)行代碼，把紅色物體放到攝像頭前，設(shè)置一定的臨界值，當(dāng)距離大于最大臨界值時(shí)，機(jī)器人會(huì)向物體移動(dòng)，當(dāng)距離小于最小臨界值時(shí)，機(jī)器人會(huì)向后移動(dòng)，當(dāng)攝像頭的視野找不到設(shè)定物體時(shí)，機(jī)器人會(huì)原地轉(zhuǎn)圈尋找標(biāo)識(shí)物體，具體效果如圖9至10所示，多測(cè)幾次檢測(cè)功能的穩(wěn)定性與準(zhǔn)確性。

從圖9和圖10可以看出，設(shè)計(jì)的機(jī)器人對(duì)于目標(biāo)識(shí)別，借助于硬件板子的設(shè)計(jì)，加上軟件模式的功能，研究的目標(biāo)跟蹤效果是非常明顯的。

4 結(jié)論

本文以六足機(jī)器人作為研究對(duì)象，描述了在OpenMV平臺(tái)開發(fā)視覺識(shí)別簡(jiǎn)易系統(tǒng)，把該系統(tǒng)搭建到六足機(jī)器人上進(jìn)行應(yīng)用，實(shí)現(xiàn)了六足機(jī)器人的視覺識(shí)別和目標(biāo)跟蹤。通過對(duì)機(jī)器人識(shí)別的研究和應(yīng)用，對(duì)六足機(jī)器人的真正行走具有至關(guān)重要的現(xiàn)實(shí)意義。但目前，如何適應(yīng)多環(huán)境、多角度的目標(biāo)跟蹤，仍然是下一步需要研究的目標(biāo)。

參考文獻(xiàn)：

[1]張海慶，韓軍.基于激光視覺識(shí)別的紅外多目標(biāo)智能跟蹤方法研究[J].激光雜志，2019（7）：19-23.

[2] Tamborrino M，Ditlevsen S，Markussen B，et al. Gaussian counter models for visual identification of briefly presented， mutually confusable single stimuli in pure accuracy tasks[J]. Journal of Mathematical Psychology，2017（3）：628-642.

[3]張乾，肖永菲，楊玉成，等.基于計(jì)算機(jī)視覺的室外停車場(chǎng)車位檢測(cè)實(shí)驗(yàn)設(shè)計(jì)[J].實(shí)驗(yàn)技術(shù)與管理，2019（7）：138-140，146.

[4]張磊，謝子瓊，張健.基于機(jī)器視覺的目標(biāo)跟隨六足機(jī)器人[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2017（4）：557-562.

[5]朱佩，徐巧玉，王軍委，等.一種嵌入式智能視覺系統(tǒng)的設(shè)計(jì)[J].河南科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2019（4）：46-51，7.

[6]曾錦樂，都東.基于多視覺特征獲取與融合的焊道軌跡自動(dòng)識(shí)別[J].機(jī)械工程學(xué)報(bào)，2019（7）：127.

[7]Qingguo X，Guangyao L，Li X，et al. Real-world plant species identification based on deep convolutional neural networks and visual attention[J]. Ecological Informatics，2018（48）：117-124.

[8]Carpinteri A，Invernizzi S，Lacidogna G . Historical brick-masonry subjected to double flat-jack test： Acoustic emissions and scale effects on cracking density[J]. Construction & Building Materials，2009（8）：2813-2820.

[9]安颯，廉小親，成開元，等.基于OpenMV的無人駕駛智能小車模擬系統(tǒng)[J].信息技術(shù)與信息化，2019（6）：16-20.