基于高速CMOS傳感器的智能線陣相機設(shè)計

湖南鐳目科技有限公司，湖南長沙 410100

一、引言

智能線陣相機(Smart Line Scan Camera)是一種高度集成化的微小型機器視覺系統(tǒng)，具有易學(xué)、易用、易維護、安裝方便等特點，可在短期內(nèi)構(gòu)建起可靠而有效的機器視覺系統(tǒng)。

在鋼鐵行業(yè)中，基于線陣相機的鋼材表面質(zhì)量檢測系統(tǒng)已經(jīng)得到了較為廣泛的應(yīng)用。傳統(tǒng)的表面質(zhì)量檢測系統(tǒng)需要配備相機、工控機電腦和圖像處理軟件，整個系統(tǒng)成本高、維護量大。隨著超大規(guī)模集成電路技術(shù)的發(fā)展，DSP和FPGA芯片性能的快速提高，智能相機的功能越來越豐富，可滿足多種機器視覺的應(yīng)用需求。目前國內(nèi)工業(yè)應(yīng)用圖像檢測領(lǐng)域，以采用進口智能相機為主，存在設(shè)備價格高，二次開發(fā)周期長等問題。

因此，本公司采用DSP和FPGA開發(fā)出一款工業(yè)智能線陣相機，用于高速運動的軋鋼、玻璃、鋁板等表面的檢測，不僅能夠滿足檢測系統(tǒng)性能要求，而且能夠有效降低設(shè)備成本和維護量，縮短系統(tǒng)研發(fā)周期，現(xiàn)已在國內(nèi)多家大型鋼鐵企業(yè)得到了成功應(yīng)用。

二、硬件結(jié)構(gòu)設(shè)計

智能相機從工作邏輯功能上主要分為圖像采集、圖像數(shù)據(jù)提取轉(zhuǎn)換、圖像處理和圖像傳輸[1]。

本文所論述的智能相機硬件結(jié)構(gòu)由圖像傳感器、FPGA芯片、DSP芯片、電源模塊以及其他外設(shè)單元組成，如圖1所示。

圖像傳感器負責(zé)圖像采集，把通過鏡頭后的物體光學(xué)成像數(shù)據(jù)轉(zhuǎn)換成電信號，以LVDS形式輸出到下級。我們使用Anafocus公司的高速CMOS線陣傳感器。它集成了兩個像素行：1行是4096像素的7μm像素行，另外一行是2048像素的14μm像素行，同時它的SOC架構(gòu)提供了像素陣列，數(shù)據(jù)輸出和高速A/D采樣、傳感器控制、光學(xué)校準(zhǔn)等功能，在7μm的4K像素模式下，行頻可以高達18180 lps，非常適合高速運動物體的拍攝。

FPGA芯片采用的是Xilinx公司的spartan6系列芯片，它價格便宜而且內(nèi)置資源豐富，同時提供多種開發(fā)工具軟件。

DSP芯片使用的是TI的C64x芯片，其主頻最高可達1.2GHz，提供了豐富的外設(shè)接口，具有高速、靈活、可靠、可編程、低功耗等特點[2-3]。

圖像傳感器輸出LVDS把圖像數(shù)據(jù)發(fā)送到FPGA邏輯芯片中，F(xiàn)PGA利用嚴(yán)格的時序邏輯對LVDS進行捕獲采樣，轉(zhuǎn)換成8/12bit的灰度圖像數(shù)據(jù)。同時FPGA還利用標(biāo)準(zhǔn)的SPI核產(chǎn)生SPI串行信號對傳感器進行控制和寄存器配置。FPGA同時還與DSP的EMIFA接口連接，因此它還需要適配EMIFA的時序邏輯。FPGA的EMIFA接口采用32bit的同步模式與DSP通信，時鐘速率可達62.5MHz，通信速率非常高。FPGA收到從傳感器過來的灰度圖像數(shù)據(jù)先緩存到內(nèi)部的RAM空間，當(dāng)數(shù)據(jù)量達到一幀圖像后，通過連接到DSP的GPIO引腳的控制線發(fā)送中斷，通知DSP讀取EMIFA接口，讀取圖像數(shù)據(jù)。在DSP中，收到FPGA的GPIO中斷通知后，使用DMA從接口讀取圖像數(shù)據(jù)，不用CPU參與。DSP數(shù)據(jù)收到數(shù)據(jù)后再進行圖像處理和分析，最后通過千兆以太網(wǎng)發(fā)送到外部，同時通過以太網(wǎng)還可以接收外部命令和參數(shù)，對相機內(nèi)部進行控制和圖像參數(shù)調(diào)整。

三、軟件結(jié)構(gòu)設(shè)計

1、主體設(shè)計

在智能相機中，軟件設(shè)計是很重要的一部分。軟件包括DSP圖像處理模塊、與PC上位機的通信協(xié)議、以及與FPGA通信等，共同構(gòu)成一個系統(tǒng)整體[4]。在TI C6000系列DSP上，開發(fā)軟件主要有以下幾個層次，每一層TI都有提供相關(guān)的庫或者類似的代碼。軟件整體層次如圖2所示。

從FPGA過來的圖像數(shù)據(jù)，通過EMIFA接口與DSP連接，在DSP中映射為內(nèi)存CE4地址段。每次數(shù)據(jù)到來，F(xiàn)PGA通過中斷通知DSP。在DSP中斷程序中，啟動DSP的EDMA搬移到數(shù)據(jù)到程序內(nèi)部數(shù)組RAM空間。

在本過程中，為保證FPGA連續(xù)到來的數(shù)據(jù)不丟失，設(shè)計了一個ping-pang緩存的功能，如圖3所示。使用兩個數(shù)組，EDMA交替搬移數(shù)據(jù)到兩個數(shù)組中，其中一個在EDMA搬移數(shù)據(jù)占用時，另外一個數(shù)組的數(shù)據(jù)用來進行圖像處理，保證兩者不產(chǎn)生競爭導(dǎo)致數(shù)據(jù)錯誤，同時也不影響FPGA中斷效率。

智能相機與上位機通信的軟件模塊是采用socket的TCP/IP協(xié)議，根據(jù)上位機發(fā)送過來的指令和參數(shù)選擇合適的算法進行圖像處理，然后把處理后的結(jié)果圖片發(fā)送到上位機。

2、FPGA邏輯設(shè)計

根據(jù)上面描述的硬件結(jié)構(gòu)，F(xiàn)PGA邏輯是在Spartan6芯片中的邏輯功能。它的功能主要包括：

（1）LVDS差分信號采集核

用于根據(jù)傳感器行有效信號采集LVDS數(shù)據(jù)，轉(zhuǎn)換成灰度像素數(shù)據(jù)。傳感器使用3組差分?jǐn)?shù)據(jù)信號，1組SYNC同步信號和1組LVAL行有效信號輸出數(shù)據(jù)。采集核把數(shù)據(jù)信號轉(zhuǎn)換為并行8/12bit灰度數(shù)據(jù)，同時輸出對應(yīng)行有效信號和同步時鐘信號，供后續(xù)模塊使用。

（2）圖像數(shù)據(jù)轉(zhuǎn)換緩存核

用于將前面采集核的數(shù)據(jù)和時鐘以及行有效信號，PING-PANG緩存到RAM空間，然后發(fā)送到下一級。

（3）EMIFA時序邏輯功能核

它的作用是適配DSP的EMIF接口。DSP使用EMIFA接口與FPGA連接，所以FPGA需要解析EMIFA接口信號時序，它使用EMIFA同步接口，32根數(shù)據(jù)線和16根地址線，以及幾個CE使能信號。

（4）Micro-blaze核

Micro-blaze核作為FPGA中的CPU，F(xiàn)PGA內(nèi)部外設(shè)所需要的驅(qū)動代碼都是通過它運行。例如，控制傳感器的SPI主設(shè)備功能和中斷功能。目前FPGA的SPI做主設(shè)備與傳感器從設(shè)備通信，配置參數(shù)在Microblaze核中進行運行配置。

3、圖像算法設(shè)計

內(nèi)嵌圖像處理算法是智能相機區(qū)別與傳統(tǒng)相機的一個重要方面，也是決定相機性能的關(guān)鍵之一。因此定制化的研發(fā)了圖像處理算法能夠更好的實現(xiàn)軋鋼、玻璃、鋁板等表面的缺陷檢測、分類和定位。

（1）圖像預(yù)處理

CMOS圖像傳感器的空間噪聲主要來源于兩大類噪聲：一是暗電流的非均勻性，二是圖像的非均勻性響應(yīng)（Photo Response Non. Uniformity, PRNU），這兩類噪聲通過增減偏移和增益調(diào)節(jié)的方法進行校正。

相關(guān)雙采樣法是降低上述幾種噪聲的有效方法，不僅可以消除了輸入信號中的復(fù)位噪聲，還抑制了1/f噪聲和由電源電壓帶來的低頻噪聲。CMOS傳感器已經(jīng)集成了處理電路，輸出信號已經(jīng)是數(shù)字信號，因此給設(shè)計帶來了很大的方便。

（2）圖像自動校正處理

采用了一種混合的并行校正算法，即將兩點法、邊緣檢測、均值濾波以及圖像融合有序地結(jié)合在一起進行圖像并行的校正與處理。此種方法不僅抑制了CMOS的暫態(tài)噪聲，而且還增強了圖像的邊緣信號，使得本相機系統(tǒng)更加有助于工業(yè)現(xiàn)場檢測的應(yīng)用。

算法按時間段劃分分為三個階段：第一階段執(zhí)行兩點法校正；第二階段執(zhí)行邊緣檢測與均值濾波，將兩點法校正后的像素同時傳給邊緣檢測模塊與均值濾波模塊進行處理；第三階段是圖像融合，即把邊緣檢測后的圖像與均值濾波后的圖像進行融合，合并為一幅圖像。

（3）圖像識別與缺陷檢測算法

首先使用圖像灰度補償?shù)念A(yù)處理方法來改善并規(guī)范圖像的灰度分布，實現(xiàn)優(yōu)化圖像質(zhì)量的目的。然后將預(yù)處理之后的帶鋼表面圖像經(jīng)過梯度處理和二值化處理，可以將圖像的灰度異常變化的區(qū)域顯示出來，實現(xiàn)缺陷目標(biāo)快速檢測。接著使用數(shù)學(xué)形態(tài)學(xué)濾波濾去二值圖像中的噪聲點，再采用高精度的圖像分割方法將缺陷區(qū)進行分割。圖4為圖像檢測流程圖，圖5為鋼坯缺陷在線識別效果。

（4）缺陷定位與缺陷分類算法

通過在現(xiàn)場采集的大量缺陷圖像的特征提取和分類檢測，并將各類缺陷檢測結(jié)果暫存于緩存區(qū)，再對各個缺陷進行定位。把缺陷所在位置的橫坐標(biāo)、縱坐標(biāo)、幀數(shù)，鋼坯長度的數(shù)據(jù)提取出來暫存緩存區(qū)，實時發(fā)給上位機進行統(tǒng)計；同時根據(jù)系統(tǒng)終端的顯示和存儲要求，將原始圖像數(shù)據(jù)給上位機進行實時圖片顯示，給用戶一個直觀的圖像動態(tài)顯示和方便后續(xù)數(shù)據(jù)查找。

四、系統(tǒng)現(xiàn)場測試

采用自主研發(fā)的智能相機為核心的表面檢測系統(tǒng)在國內(nèi)某大型鋼鐵公司得到了成功的應(yīng)用，圖6和圖7分別為系統(tǒng)的整體結(jié)構(gòu)和軟件界面。本系統(tǒng)的最小缺陷檢測尺寸可達到0.5mm×0.5mm；對輥印粘傷、夾雜、氧化物結(jié)疤、劃痕、空洞等缺陷的檢測率〉95%；被測鋼板最快速度可達18m/s。通過長期現(xiàn)場使用證明采用本系統(tǒng)后，鋼廠提高了產(chǎn)品過程質(zhì)量控制率，保證成品品質(zhì)，投訴和客退降低了30%，同時降低了生產(chǎn)成本。

五、結(jié)論

本文設(shè)計了一種基于DSP和FPGA智能線陣相機。系統(tǒng)充分發(fā)揮了FPGA硬件處理速度快，適合做大量、簡單、重復(fù)運算的特點，創(chuàng)新性地采用FPGA做前端圖像預(yù)處理，使得FPGA不只是用來實現(xiàn)智能相機所需的控制電路，更能夠參與圖像處理，分擔(dān)DSP圖像處理任務(wù)，大大節(jié)省了DSP的資源和圖像處理時間，提升了系統(tǒng)的性能和集成度。定制化的圖像處理算法能夠更好的實現(xiàn)軋鋼、玻璃、鋁板等表面的缺陷檢測、分類和定位。它是一種模塊化、高可靠性、易于實現(xiàn)的機器視覺解決方案。