基于Zynq-7000的雙目視覺澆筑識(shí)別定位系統(tǒng)設(shè)計(jì)

安徽理工大學(xué) 費(fèi)雅倩

為了解決重載機(jī)器人在澆筑過(guò)程中對(duì)砂箱澆口的準(zhǔn)確辨識(shí)與定位，設(shè)計(jì)了一種基于Zynq-7000可擴(kuò)展平臺(tái)的雙目視覺澆筑識(shí)別定位系統(tǒng)。該系統(tǒng)采用了兩個(gè)OV7620攝像頭對(duì)不同位置的砂箱進(jìn)行圖像采集，在Zynq-7000的FPGA部分搭建了圖像采集系統(tǒng)和預(yù)處理系統(tǒng)，并在ARM部分搭建了對(duì)砂箱澆口識(shí)別定位系統(tǒng)，擬采用了WIFI無(wú)線通訊實(shí)現(xiàn)數(shù)據(jù)傳輸。最終實(shí)現(xiàn)在澆筑過(guò)程中對(duì)砂箱澆口的準(zhǔn)確辨識(shí)和坐標(biāo)定位。

引言：目前，隨著我國(guó)工業(yè)的發(fā)展，許多鑄造行業(yè)逐漸開始導(dǎo)入重力鑄造機(jī)器人系統(tǒng)，澆筑識(shí)別定位系統(tǒng)更是鑄造機(jī)器人系統(tǒng)的重要組成部分。然而很多基于DSP或單FPGA設(shè)計(jì)的系統(tǒng)很難實(shí)現(xiàn)對(duì)實(shí)時(shí)圖像采集和處理系統(tǒng)的高速處理。因此，本文提出的識(shí)別定位系統(tǒng)采用的是CMOS+FPGA+ARM的圖像采集處理和識(shí)別定位方案，來(lái)實(shí)現(xiàn)鑄造機(jī)器人在澆筑過(guò)程中對(duì)砂箱澆口的準(zhǔn)確辨識(shí)和坐標(biāo)定位。

1 系統(tǒng)的總體框架

基于Zynq-7000可擴(kuò)展平臺(tái)的雙目視覺澆筑識(shí)別定位系統(tǒng)如圖1所示，系統(tǒng)主要包括OV7620攝像頭、Zynq-7000可擴(kuò)展處理平臺(tái)、數(shù)據(jù)隨機(jī)存取存儲(chǔ)器DDR4和USB WIFI模塊等；其中FPGA完成圖像采集系統(tǒng)和預(yù)處理系統(tǒng)中的運(yùn)算與控制，利用其并行處理的優(yōu)勢(shì)大大的提高了雙核Cortex-A9處理器的運(yùn)算速度。并在Zynq-7000的PS中搭建了嵌入式實(shí)時(shí)操作系統(tǒng)，通過(guò)USB WIFI與上機(jī)位交互進(jìn)行無(wú)線調(diào)試。本文所設(shè)計(jì)的系統(tǒng)是通過(guò)兩個(gè)OV7620攝像頭從兩個(gè)不同的位置獲取砂箱的兩幅圖像，利用Zynq-7000芯片的PL部分對(duì)獲得的圖像進(jìn)行圖像采集和預(yù)處理，然后將得到的預(yù)處理后的圖像數(shù)據(jù)進(jìn)行圖像識(shí)別與定位，最后對(duì)接收到的圖像數(shù)據(jù)信息加以處理，控制執(zhí)行器執(zhí)行相應(yīng)的動(dòng)作，完成機(jī)器人系統(tǒng)的既定目標(biāo)。

2 系統(tǒng)的硬件模塊設(shè)計(jì)

2.1 控制模塊

控制模塊通過(guò)芯片內(nèi)部的AXI4-Stream總線接收PS上運(yùn)行的軟件的控制采集模塊的啟動(dòng)或控制預(yù)處理模塊的工作命令，然后將這些命令發(fā)送到圖像采集模塊或預(yù)處理模塊，控制這些模塊進(jìn)行相應(yīng)的操作。啟動(dòng)采集命令使得采集模塊跳出了空閑狀態(tài)，進(jìn)入了圖像采集狀態(tài)?？刂祁A(yù)處理模塊工作命令使得預(yù)處理模塊開始工作，對(duì)采集的圖像進(jìn)行中值濾波、邊緣提取、圖像分割。

圖1 系統(tǒng)結(jié)構(gòu)框圖

2.2 圖像采集系統(tǒng)

OV7620圖像數(shù)據(jù)采集板對(duì)OV7620攝像頭拍攝的圖像進(jìn)行圖像采集與緩存；兩個(gè)SRAM構(gòu)成的高速緩存將FPGA圖像數(shù)據(jù)接收緩存板接收到的圖像數(shù)據(jù)暫存起來(lái)；FPGA圖像數(shù)據(jù)接收緩存板與系統(tǒng)外部接口連接，完成模塊的外部接口。

2.3 預(yù)處理系統(tǒng)

AXI4_Stream2總線將接收到的圖像采集數(shù)據(jù)傳輸?shù)诫p口RAM中的一端；選擇控制模塊控制雙口RAM將其中的幀數(shù)據(jù)提供給中值濾波模塊，同時(shí)控制雙口RAM的另一端存入另一幀圖像數(shù)據(jù)；中值濾波模塊將接收到的幀數(shù)據(jù)進(jìn)行中值濾波，平滑圖像消除噪聲；邊緣提取模塊將消除噪聲后的圖像數(shù)據(jù)進(jìn)行邊緣提取，銳化圖像增強(qiáng)邊緣；二值化模塊將銳化后圖像的進(jìn)行分割，分割出前景和背景；最后將分割后的圖像數(shù)據(jù)存入BRAM中。

3 系統(tǒng)的軟件設(shè)計(jì)

雙目立體視覺系統(tǒng)雙目視覺澆筑識(shí)別定位系統(tǒng)的軟件模塊主要功能：(1)對(duì)DMA模塊初始化；(2)發(fā)送控制命令到圖像采集模塊和預(yù)處理模塊，控制相應(yīng)模塊執(zhí)行相應(yīng)操作；(3)對(duì)預(yù)處理完的圖像進(jìn)行三維重建和立體匹配；(4)實(shí)現(xiàn)砂箱澆口的準(zhǔn)確判別與三維坐標(biāo)定位。

4 實(shí)驗(yàn)結(jié)果分析

該系統(tǒng)基于Zynq-7000平臺(tái)的運(yùn)行測(cè)試并對(duì)砂箱澆口進(jìn)行識(shí)別定位，砂箱圖像通過(guò)PL進(jìn)行圖像采集、預(yù)處理并存入DDR應(yīng)用軟件通過(guò)PS部分實(shí)時(shí)操作系統(tǒng)進(jìn)行識(shí)別定位。該試驗(yàn)分別使用了ARM＋FPGA處理和純ARM處理，從執(zhí)行效率對(duì)比中可以看出，軟硬件協(xié)同處理一幀圖像只需要3462μs，與純ARM實(shí)現(xiàn)識(shí)別速度相比效率提高了15.2倍。

5 結(jié)論

本文設(shè)計(jì)實(shí)現(xiàn)了一種基于Zynq-7000可擴(kuò)展平臺(tái)的雙目視覺澆筑識(shí)別定位系統(tǒng)。該系統(tǒng)應(yīng)用Zynq-7000可擴(kuò)展平臺(tái)，實(shí)現(xiàn)了軟件與硬件的協(xié)同工作，相比于傳統(tǒng)的基于CPU、GPU和DSP的處理平臺(tái)，提高了系統(tǒng)功能的靈活性，也降低了系統(tǒng)功耗；同時(shí)構(gòu)建了可視化的實(shí)時(shí)嵌入式圖像處理系統(tǒng)，可以實(shí)現(xiàn)不同的圖像處理算法，提高了圖像處理的實(shí)時(shí)性和準(zhǔn)確性。