基于計算機視覺的平面3D效果顯示

摘 要： 3D顯示技術作為當前計算機圖形圖像技術的研究熱點，以其在平面上實現真實的視覺體驗而獲得高度重視。為了提升用戶的3D體驗，提出了一種基于計算機視覺的3D顯示器。借助于Windows操作系統，通過OpenCV操作紅外圖像采集設備，搭配可見光濾光鏡，消除了人眼反射光的干擾。提出了一種比較高效的人類瞳孔定位算法，首先利用灰度積分投影將人眼的大概位置確定，之后使用優化的閾值分割方法得到二值圖像，在此基礎上對其進行形態學運算去除噪聲，使圖像更易處理。使用基于OpenCV的角點檢測與橢圓擬合結合的方法定位瞳孔，算法簡單高效；基于OpenCV的cvCalibrateCamera函數實現攝像機定位；最后使用Bresenham畫線法完成了3D顯示的設想圖。為了使系統擁有更好的實時性，對系統使用了分割掃描區域、預測目標區域兩種方法降低系統運算量，實現了人眼的快速追蹤。

關鍵詞： 計算機視覺； 3D顯示； 人眼檢測； 數字圖像處理； 閾值分割

中圖分類號： TN911.73?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2016）11?0070?04

Abstract： The 3D display technology is the research hotpot of current computer graphic image technology， and high attention is paid to realization of its true vision experience on the plane. In order to promote the 3D experience of users， a 3D display based on computer vision is presented， which can eliminate the reflected light interference from human eyes by means of Windows operation system， infrared image acquisition device operated by OpenCV， and visible light filter. An efficient human pupil location algorithm is proposed， by which the approximate location of human eyes is determined through gray integral projection， and then the binary image is got with the optimized threshold segmentation method. On this basis， the morphological operation for the binary image is conducted to eliminate the noise and make the image processing easier. The algorithm combined corner detection based on OpenCV with ellipse fitting is used to locate the pupil， which is simple and efficient. The camera location is realized on the basis of cvCalibrateCamera function of OpenCV. Finally， the envisaged image of 3D display was accomplished with Bresenham line drawing method. To make the system have better real?time performance， the scanning area segmentation method and target area prediction method are used to reduce the system computing amount and realize fast tracking of human eyes.

Keywords： computer vision； 3D display； human eye detection； digital image processing； threshold segmentation

0 引 言

現在計算機視覺和3D效果顯示都是國內外的熱點話題，但將兩者結合在一起的方法為數不多，并且大部分不能達到滿意的實時性。目前的3D領域的發展并不成熟，體現在兩個方面：一方面，顯示技術仍需完善，在清晰度和亮度與成本和易用性之間折衷；另一方面，3D片源嚴重不足，即使擁有成熟的3D顯示器，也只能播放2D影像，甚至達不到2D顯示器的顯示效果。課題設計了一種針對個人用戶的解決方案。通常情況下，個人用戶都會在距離顯示器一定的距離范圍內操作終端，而且注視點在屏幕范圍內。利用以上特征，捕獲人眼的位置并以此為依據在屏幕上顯示3D效果，并隨著人眼的運動動態地調整在屏幕上顯示的圖像，令用戶體驗到不同的視覺感受。借助這種技術，操作系統與用戶之間的互動會更加生動，在加入注視點檢測后，更可以通過眼睛的動作作出指示。另外，這個技術對于平板電腦的全透明化也將具有積極的意義，用戶從此將可以“透過”平板電腦看到圖像的側面。

為了實現該功能，流暢度是比較困難的。對該領域以及相關的學科進行了大量研究，找到了一種比較高效的方法，該方法可以實現精確定位人眼的功能，并做到“足夠快”。 其次，排除了多種通常人臉識別應該考慮的情況。系統流程如圖1所示。

1 圖像獲取

1.1 數字圖像的表示

橫向積分投影將圖像逐行掃描，將的值標記在一個橫坐標為灰度，縱坐標為行數的坐標系中，當全圖掃描完畢后，將得到一個曲線，該曲線擁有全圖縱向灰度變化趨勢的信息。如果圖像中存在對象，依據該信息就可以對圖像中存在的對象和背景進行分析，得到粗略的對象和背景的橫向邊界?？v向投影類似于橫向投影，只是得到的是對象和背景的縱向邊界。將兩組邊界結合考慮，就可以得到感興趣區域（ROI）。

2.2 閾值分割

閾值分割是將原始灰階圖像轉換為二值圖像的動作，二值化過程會導致很多有用的信息丟失，但是在閾值符合要求的前提下，得到的二值圖像會保留所有關于對象的位置、數量和形狀的必要信息。通常對圖像進行閾值分割的方法是使用灰度值對圖像的像素進行分類。由于灰度類似且相鄰的像素通常情況下屬于同一個對象，將其分類并省略中間像素，從而降低數據的復雜度，可以降低很多識別和分類過長的復雜度。

閾值操作首先應確定閾值，之后將所有灰階數值低于所選閾值的像素分類為黑色（0），反之所有高于所選閾值的像素分為白色（1）。文章中使用的灰階圖像為每一個像素值包含一個字節（8位），有256（28=256）種不同的閾值，分別為0～255。

本系統選用熵算法進行前期的閾值分割。

2.3 形態學降噪

對灰階圖像進行閾值分割操作以后，有一些噪聲像素將不可避免地留在閾值之上，隨機地散落在圖像上，對后期的處理造成困難。在系統中，應用開啟操作消除圖像中的無用部分（噪聲和睫毛等造成的影響）；腐蝕操作移除噪聲像素和對象的邊界像素；膨脹操作將之前移除的對象邊界恢復，而不會恢復噪聲。

2.4 算法優化

影響系統運行速度的瓶頸在計算機識別中的識別和定位環節上，目前為止尚不能達到實時系統的要求，于是對系統中使用的算法進行了優化。系統選用兩種從不同角度減少運算量的方法對算法進行了優化，分別是分割區域掃描和目標區域預測法。

分割掃描區域就是在掃描開始之前，將區域分為若干塊，之后對每個塊用抽樣檢測法對比當前幀和上一幀，如果發現兩者類似或者在很大程度上相同，則直接跳過該塊的掃描過程。在保證用抽樣檢測法對比檢測效果的前提下，分割掃描區域可以大大降低運算量。

每一幀掃描過程結束后，判斷該幀的掃描結果是否存在期望的目標，如果有，則將預先設定好的標志位expectedImageFlag記錄為真。在下一幀掃描開始之前，查看expectedImageFlag的狀態，若為真，將掃描區域縮小為上一幀期望目標的周邊區域；若為假，則全圖掃描。目標區域預測法對減少運算量的貢獻是可觀的，且不會對結果的正確性產生影響。

3 瞳孔坐標定位

3.1 角點檢測

角點可以是數字圖像中灰度變化劇烈的點，也可以是對象邊緣曲率取極大值的點。這些點對特征進行提取和篩選，有效地減少了數據量，同時不會對圖像的特征造成太多影響。因此，使用角點可以有效地減少需要處理的數據量，加快系統的速度。

這里使用OpenCV的cvFindCornerSubPix和GoodFeaturesToTrack進行角點檢測。cvGoodFeaturesToTrack是cvFindCornerSubPix的基礎，因為后者是對前者結果的進一步精確估計。

3.3 攝像機標定

2D中的坐標和3D中的坐標的相互關系是由攝像機的成像幾何模型決定的，將這個模型稱為攝像機模型，該模型的數學參數稱為攝像機參數。攝像機參數必須通過實驗和計算來確定，計算攝像機參數的過程即為攝像機標定。完成攝像機標定，即可確定坐標和位置的關系。

首先，自制一張6×6的棋盤并打印出來，之后調用cvFindChessboardCorners函數得到棋盤在2D平面上的位置。函數cvFindChessboardCorners是OpenCV內建的把棋盤當作定標設備的定標方法，首先對輸入的圖像進行是否是棋盤的確認工作，之后找到角點。如果每個角點都被找到且均按照規則排列，返回非零值。如果不能發現所有角點，函數返回零值。經過一系列的編程工作，得到的結果如圖3所示。

4 系統效果及性能測試

4.1 3D效果圖

3D顯示的效果如圖4所示。

4.2 性能測試

實時性的要求是屏幕每秒顯示5幀以上，按照這個標準對本系統進行了性能測試。用1 s除以處理每一幀所用的時間得到每秒處理幀數，結果如表1所示。

5 結 論

經過長時間的努力，得到了很多有益的結論并總結出了幾個有用的方法：在對圖像獲取環節的研究得出了使用紅外線識別瞳孔比可見光識別人臉要更優秀，并且結合OpenCV實現了紅外圖像獲取的功能；使用形態學開運算去除掉圖像中不需要的部分；針對系統的特點，使用了兩種優化方式，分割掃描區域法和目標區域預測法，對提高系統速度和效率貢獻很大；在對數字圖像處理環節做出大量研究工作后，對比了多種閾值分割方法，得出了熵算法比較適合識別人眼系統的結論，并將其應用于此系統中；將角點檢測和橢圓擬合相結合是創新的部分之一，基于熵算法得出的眼睛圖像很適合這種方法，并能很快地定位出眼睛的中心；使用OpenCV進行攝像機的標定，算法很成熟，效果也很穩定；在最后，研究并參考Bresenham畫線法并畫出效果圖。

本文給出了一種可能的基于計算機視覺的3D平面效果顯示系統，發現了妨礙實時性的瓶頸。不過，隨著科技的發展，計算和存儲設備的升級，操作系統的換代，都會慢慢將這種主動式的3D顯示推向可實現的高度。另外，另一個經常與人眼檢測技術一起被提及的技術——注視點識別可以實現人眼動作對終端的簡單操作，這使用戶甚至可以不用動手就可以操作他的數字終端。這兩項技術都將隨著計算機技術的發展慢慢實現。

參考文獻

[1] 朱夏君，王勛，李必威.人臉識別中的眼睛定位[J].電路與系統學報，2007，12（2）：98?100.

[2] 符志鵬，汪豐，馬小強.基于灰度投影及區域特征的人眼定位算法[J].電腦知識與技術，2008（34）：1706?1708.

[3] BOWER K W， CHANG K， FLYNN P. A survey of approaches and challenges in 3D and multi?modal 3D+2D face recognition [J]. Computer vision and image understanding， 2006， 101（1）： 1?15.

[4] 石桂名，魏慶濤，孟繁盛.基于Canny算子的圖像邊緣檢測算法[J].現代電子技術，2015，38（12）：92?93.

[5] CHEN Y， WYATT H J， SWANSON W H. Pupillary evaluation of retinal asymmetry： development and initial testing of a technique [J]. Vision research， 2005， 45（19）： 2549?2563.

[6] CHEN S C， ZHANG D Q， ZHOU Z H. Enhanced （PC） 2A for face recognition with one training image per person [J]. Pattern recognition letters， 2004， 25（10）： 1173?1181.

[7] QIAO L S， CHEN S C， TAN X Y. Sparsity preserving discriminant analysis for single training image face recognition [J]. Pattern recognition letters， 2010， 31（5）： 422?429.

[8] MARTINEZ A M. Recognizing imprecisely localized， partially occluded， and expression variant faces from a single sample per class [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 25（6）： 748?763.