基于DM642的人眼檢測系統設計與實現

摘要：提出一種基于TMS320DM642 DSP平臺的實時人眼檢測系統設計。所用算法結合了人眼在主動照明下的亮瞳效應，使用包括Adaboost，SVM的“人臉人眼”二級檢測算法搜索并確定人眼位置，同時針對DSP平臺特點進行相應優化。經實驗表明，該DSP人眼檢測系統對于640×480分辨率的連續視頻能達到實時性要求，并有著良好的準確性。

關鍵詞：DM642； 人眼檢測； 亮瞳效應； 連續AdaBoost； 優化； DSP/BIOS

中圖分類號：TN91934文獻標識碼：A文章編號：1004373X(2012)04010504

Implementation of human eye detection system Based on DM642

ZHENG Wei， WANG Yuanqing

(Stereo Image Technology Laborary， Nanjing University， Nanjing 210093， China)

Abstract： A design of realtime eye detection system based on TI DM642 DSP is proposed. The detecting algorithm combines eye′s bright pupil effect under active illumination. \"FaceEye\" two level structure algorithm with Adaboost and SVM is adopted to search and locate user′s eyes. Meanwhile， the algorithm is optimized according to DSP′s characters. The experiment results indicate that this DSP eye detection system can reach the requirement of realtime processing for 640*480 pixels continuous video， and the accuracy and stability are satisfactory.

Keywords： DM642; human eye detection; bright pupil effect; continuous AdaBoost; optimization; DSP/BIOS

收稿日期：20110911

基金項目：國家質檢公益性行業科研專項經費資助項目（201110233）0引言

近些年來，人眼檢測已成為模式識別和計算機視覺領域中研究十分活躍的課題。針對人眼檢測，國內外學者提出了很多方法，如基于神經網絡的方法，基于Adaboost分類的方法等［1］。本文采用的方法是使用主動照明獲取人臉候選區域，利用連續Adaboost分類器搜索人臉位置，在此基礎上利用Adaboost+支持向量機（SVM）算法獲得人眼位置坐標。

基于DSP平臺的人眼跟蹤系統作為PC機外部設備，具有不占用大量PC資源，與運行的其他應用軟件不會互相影響，且實時性能夠得到保證的優點。本文在基于TI TMS320DM642 DSP的視頻采集處理系統上進行算法的移植實現，為達到實時性要求，根據DSP平臺自身的特點對算法進行了一定的修改和優化。

1系統總體結構

1.1系統的硬件結構

本文使用的移植平臺是TI TMS320DM642 DSP開發平臺。系統架構如圖1所示，攝像頭的模擬視頻信號經TVP5150轉換為數字信號，通過VPORT0口讀入RAM中；為方便調試，標出人臉和人眼位置的視頻數據由VPORT2輸出到監視器上；系統同時還能將人眼位置坐標通過RS 232串口輸出到其他設備。

TMS320DM642片上集成了3個Video Port(VP)接口［2］，可以配置為多種格式數字視頻流的輸入輸出和流捕捉模式。本系統中將VP0配置為BT.656視頻輸入，VP2配置為PAL視頻輸出。采集配置為有效數據區640×480，以奇偶場方式輸入，數據為YCrCb 4∶2∶2格式，按CbYCrY的順序排列。視頻數據從FIFO到SDRAM的搬移通過分別觸發DMA傳輸通道完成［3］。在SDRAM中開辟了4個可存放1幀圖像的緩存區，輪流進行圖像采集、人眼跟蹤和圖像輸出操作。

圖1DM642人眼跟蹤系統硬件框圖1.2系統的軟件結構

DSP視頻采集與處理程序在CCS3.3環境下開發，程序基于DSP/BIOS，架構參考了TMS320 DSP參考框架（RF5）的設計［4］。

DSP/BIOS是TI提供的一個尺寸可伸縮的實時內核，是為那些需要實時線程調度與同步或主機與目標DSP間通信的應用而設計的，提供了搶占式多線程、硬件抽象、實時分析和配置工具等功能，能以進程(Tsk)的方式方便地添加和修改外部模塊和功能，利用TI提供的大量標準驅動和算法資源，方便開發更為復雜的多線程程序［5］。

程序包括3個進程（Task）：視頻采集(TskCapture1)、視頻輸出(TskDisplay)、人眼跟蹤(TskLocateeye)，進程間使用SCOM消息隊列進行通信和同步［6］，如圖2所示。

圖2程序進程圖2算法簡述

本文使用的人眼檢測算法主要包括3個部分：預處理獲得人眼候選點，連續Adaboost算法檢測人臉，連續Adaboost+SVM算法確定人眼位置，其算法流程如圖3所示。

圖3人眼跟蹤算法流程框圖2.1人眼候選點的獲取

本系統中使用自行設計的紅外主動照明裝置配合圖像采集裝置獲取人眼候選點［6］。

人眼視網膜的反射光在滿足一定條件時就會被外部攝像機接收到，形成亮瞳效應。將紅外光源按攝像機的距離分為近軸光和遠軸光，通過控制近軸光和遠軸光交替亮暗，可以分別得到關于人臉區域的亮/暗瞳圖像。對相鄰的亮/暗瞳圖像相減后進行閾值比較等操作，便得到了圖像中的人眼候選點集合S。

如果S中的2個候選點距離過近，據此做出的人臉候選窗口會十分近似，甚至大部分重合，從而導致重復檢測。這里采用尺度濾波的方法進行處理：p1，p2∈S{candidate points}，

if(‖p1－p2‖≤filtersize)，del p2 from S（1）經處理后集合S中的候選點既有足夠的間距，又不至于遺漏可能的候選點位置。

2.2Adaboost人臉和人眼檢測算法

獲得候選點集合S后，首先檢測人臉位置，而后在得到的人臉窗口中進行人眼檢測。由于人眼和人臉在位置上具有很強的關聯性，因此將人臉檢測作為人眼檢測的前級，可以有效地降低人眼待檢區域的輸入數量，大大提高人眼的檢測速度。同時由于進行人眼檢測的區域必定在人臉區域內部，可以減小人眼的誤檢概率。

檢測人臉位置時，不必對圖像進行全幀遍歷來搜索人臉位置，只需在候選點位置周圍依據一定搜索規則作出不同尺度的人臉檢測窗口，并對窗口進行檢測。

確定人臉窗口的位置后，基于人眼與人臉關系的先驗信息，搜索區域可以縮小。將人眼搜索范圍限制在人臉窗口上半部，即對于新檢測到的人臉窗有：PL=(x+facerectsize/4，y+facerectsize/4)

PR=(x+facerectsize×3/4，y+facerectsize/4)（2）式中：PL，PR分別為左右眼搜索起始點坐標；(x，y)為人臉窗口左上角坐標；facerectsize為當前人臉窗尺度。對于上一幀已存在的人眼位置，將其優先作為本幀人眼的搜索點。

2.3級聯的連續Adaboost算法

本算法使用基于Haar特征的連續Adaboost算法完成人臉窗口的檢測工作，主要使用了5種Haar特征（如圖4所示）。相對于離散Adaboost算法，連續Adaboost算法將弱分類器的輸出由簡單的邏輯值推廣到一定的實數域，可以表示置信度的大小，近似地模擬幾乎任何概率分布，從而具有更好的分類效果［7］。

圖4Adaboost檢測算法使用的Haar型特征在具體實現上，使用查找表型的弱分類器。對Haar型特征值歸一化至［0，1］，將該區域N等分為bini=［(i－1)/N，i/N］，i=1，2，…，N。通過學習，對樣本在每個等分區間分布概率的逼近，從而得到弱分類器在bini區間的輸出值hi(x)。

為了加速實際檢測時對Haar特征的計算，在Adaboost檢測算法開始前，首先對圖像生成積分圖。生成積分圖只需對圖像進行一次遍歷，迭代m×n×2次即可得到整張圖像的積分圖矩陣，而在計算Haar特征時，無論特征尺度如何，每種特征值計算的時間消耗都是常量［8］。

通常情況下，待檢圖像中人眼和人臉圖像只占有很小的比例，絕大多數圖像為背景等非人眼/人臉區域，一般而言只需少量弱分類器就可以剔除大多數非人臉/人眼區域。為了提高速度，采用瀑布級聯的分類器結構。前級的強分類器被調用的次數較多，但具有較少的弱分類器級數，因此可以兼顧運行速度與精度的要求。

2.4支持向量機（SVM）作為人眼檢測最后級

單純使用Adaboost人眼檢測算法給出的圖像中，人眼位置往往與實際位置有一定誤差，為此引入了基于Haar型特征的SVM算法作為人眼檢測算法的最后一級分類器［9］。SVM算法準確度高，但速度較慢，作為最后級可以與Adaboost算法優勢互補，同時滿足分類的時間與準確性要求。

3人眼跟蹤算法在DSP上的優化

使用的DM642 DSP處理器頻率為600 MHz，具有2個數據通路，每個通路包含4個功能單元。相比PC機而言，性能差異主要體現在以下方面：主頻較低，但可以并行處理多組32位指令；內存性能較差；作為定點處理器，算法中的浮點運算需要轉換后計算，降低了執行效率。

為此，根據DM642 DSP的特點，對程序主要進行了以下方面的優化工作：

3.1將浮點數據盡可能轉換為定點數據進行計算。

在此選取的連續型弱分類器輸出值在同一個閉區間內，因此可以將查找表中每個劃分上的浮點型分類器輸出值轉換為整型進行處理，而不至于對精度產生明顯影響。以人臉檢測的弱分類器為例，經過實驗，將查找表輸出值定標為Q15，即設定轉換關系為：xq=(int)x215（3）式中：xq為轉換后的整型值；x為float型小數。對于32 b長度的輸出值，這足以滿足算法的精度要求。

3.2合理控制數據存儲空間的分配，降低內存操作延時對本算法而言，最耗時是反復計算Haar特征值和對應弱分類器輸出值，其中涉及大量積分圖、分類器描述表和輸出值查找表的內存訪問操作。程序中所有分類器描述和查找表數據合計有500 KB以上，顯然不可能全部保存在32 KB L1+256 KB L2 CACHE中［10］。因此提高CACHE對這部分數據的訪問命中率對于執行速度有很大影響。采用以下方法進行優化：

（1） 設置部分片內CACHE為DSP/BIOS管理的CACHE，通過自動CACHE操作降低內存訪問延時。經實驗，L1 CAHCE配置為數據和程序CACHE各16 KB;L2 CACHE配置為128 KB通用CACHE和128 KB SRAM。

（2） 通過PC上對算法執行過程的統計發現，對由790級弱分類器構成的11級人臉強分類器而言，由于多數人臉候選窗口都在前5級被篩除，前5級強分類器耗時占整個人臉檢測96%以上，如表1所示。由于這5級強分類器僅包含75級弱分類器共約16 KB數據，因此可以在進入人臉Adaboost檢測時將其復制到片內SRAM中，大大減少Adaboost算法內存訪問時間。對人眼Adaboost算法，也可以采用類似的方法提高運行速度。

表1級聯分類器各級時間消耗比例

強分類器級123456Haar特征數51015202530占用時間比例 /%1527.224.317.711.22.9強分類器級7891011Haar特征數3550100200300占用時間比例 /%0.30.20.120.0120.013

(3) 當對一個候選窗進行Adaboost/SVM檢測時，由于采用了將檢測的人臉/人眼n×nHaar特征模板進行放大的方法，因此對任意不同大小的輸入候選窗，實際可能訪問的積分圖均為n×n點，因此可以將該部分數據載入片內SRAM中，以提高訪問效率。

3.3加入了Kalman預測算法

為提高對已檢測到的人眼的跟蹤效率，對已檢測到人眼在水平和垂直方向上分別進行Kalman預測［11］，預測位置作為下一幀跟蹤的起始參考點。

同時還運用了調節編譯器優化選項，減小存儲器相關性，循環展開，使用內聯函數（Intrinsics），提高流水線并行度等常規方法［12］。

4實驗結果

4.1系統參數的設定

為了訓練Adaboost算法所使用的分類器，采集了5 009張人臉樣本和41 700張非人臉樣本，4 795個人眼樣本和12 700個非人眼樣本。最終訓練生成的人臉和人眼Adaboost級聯強分類器分別有11級和4級。

4.2測試流程及結果

在實驗室環境下對系統進行測試，將圖像采集裝置固定于實驗臺上，將DM642開發板通過RS 232串口連接到PC上輸出檢測結果，并將視頻輸出端連接到小型顯示器或視頻采集卡上，如圖5所示。實驗所用圖像采集裝置分辨率為640×480，幀率30 f/s，輸出圖像為模擬信號。人眼檢測程序由仿真器加載到DSP中，或固化到FLASH后上電自啟。實驗室同學作為測試人員參加測試，測試內容包括用戶靜止不動、用戶位置快速運動、不同光照環境、不同用戶數量等條件下的測試。

圖5測試用硬件經測試，該系統基本滿足人眼跟蹤的實時性要求，單用戶條件下對人眼跟蹤的準確率達到97%以上，對于用戶運動、不同光照條件下的人眼圖像都有較好的適應性。多用戶方面，可以對距離圖像采集裝置0.5~1.5 m內1~3人同時進行跟蹤，效果示例如圖6所示。

圖6人眼跟蹤效果示例5結語

討論了基于DM642的人眼跟蹤系統總體結構，提出了采用主動可控照明、亮瞳效應和Adaboost+SVM級聯算法的人眼跟蹤算法設計方案，討論了該算法在TI C6000系列DSP上移植的主要難點和優化措施，最終實現人眼跟蹤系統的實時工作。該系統具有穩定性高，受環境光照影響小，非接觸無侵擾等優點。但也存在一些待改進的缺點，如對傾斜角度超過40°的人臉檢測效果較差，用戶佩戴眼鏡時在特定角度下的反光有可能影響人眼定位準確性等，這些都是后期研究中需要改進的地方。

參考文獻

［1］唐琎，許海柱，王力.圖像中人眼檢測技術綜述［J］.計算機應用研究，2008，25（4）：961965.

［2］Texas Instruments. TMS320DM642 video/imaging fixed-point digital signal processor (SPRS200N) \\[EB/OL\\]. \\[20020720\\]. http://www.ti.com/lit/ds/symlink/tms320dm642.

［3］郭蔚萱，郭寶龍.基于DM642的視頻處理系統設計與實現［J］.電子設計工程，2009，17（1）：7981.

［4］曹磊，范彩霞.基于RF5框架的視頻處理系統研究［J］.單片機與嵌入式系統應用，2008(6)：1719.

［5］Texas Instruments. TMS320C6000 DSP BIOS user's guide (SPRU303B) \\[EB/OL\\]. \\[20000521\\]. http://www.ti.com/lit/ug/spru303b.

［6］陳春波，王元慶.基于紅眼效應的人眼檢測［J］.計算機工程與應用，2007，43（9）：198222.

［7］武勃，黃暢，艾海舟，等.基于連續AdaBoost算法的多視角人臉檢測［J］.計算機研究與發展，2005，42（9）：16121621.

［8］趙楠．基于Adaboost算法的人臉檢測［D］．北京：北京大學，2005．

［9］JEE H，LEE K，PAN S. Eye and face detection using SVM \\[C\\]// Proceedings of Intelligent Sensors， Sensor Networks and Information Processing Conference. \\[S.l.\\]: ISSNIPC， 2004: 577580.

［10］Texas Instruments. TMS320C6000 DSP cache user's guide (SPRU656A) \\[EB/OL\\]. \\[20030512\\]. http://www.focus.ti.com.cn.

［11］沈曉晶，潘俊民.基于自適應Kalman預測器的運動估計算法［J］.計算機仿真，2004，21（10）：7378.

［12］韓非，胡春海，李偉.TMS320C6000系列DSP開發應用技巧：重點與難點剖析［M］.北京：中國電力出版社，2008.