單鏡頭運動顆粒三維定位方法

金娜，周騖，胡嘉睿，蔡小舒

?

單鏡頭運動顆粒三維定位方法

金娜，周騖，胡嘉睿，蔡小舒

(上海理工大學能源與動力工程學院，上海市動力工程多相流動與傳熱重點實驗室，上海，200093)

在光學離焦測距原理的基礎上，提出一種采用單鏡頭雙相機的運動顆粒三維定位方法，搭建圖像法顆粒測量裝置，并就圖像離焦模糊度與顆粒深度位置關系進行理論和試驗研究。系統采用分光棱鏡連接1個鏡頭和2個相機，使用信號發生器實現兩相機的同步拍攝，通過接圈調節相機與鏡頭的距離，獲取同一時刻同一物體不同模糊程度的2張照片，根據模糊度的對比獲得顆粒的深度。試驗中選取2個圖像傳感器與鏡頭距離的差值為4.2 mm，采用靜止圓點進行離焦測距系統試驗驗證，相對誤差在10%以內，并采用該系統對電解食鹽水產生的氣泡進行三維離焦測距試驗。研究結果表明：該方法可行性良好；該裝置可解決單鏡頭拍攝顆粒場的離焦二義性問題，實現無參考物條件下運動顆粒場的深度重構。

運動顆粒；單鏡頭雙相機；離焦測距；空間定位；離焦二義性

顆粒相流動廣泛存在于科學研究與工程領域中，例如旋風分離器中的顆粒三維旋轉流動以及柴油機中的燃料噴霧等，由于其瞬態及空間三維特性，使顆粒粒徑、速度、體積分數、流量等參數的測量具有很大難度。目前，用于顆粒場測量的方法主要基于粒子的多普勒效應[1]與粒子成像[2]。前者包括激光多普勒測速儀(LDV)[3]和相位多普勒粒子分析儀(PDPA)[4]，其中PDPA利用信號頻率測量速度，利用信號相位測量粒徑，但是這2種方法均對粒子球形度要求較高[5]。粒子成像技術應用最廣的是粒子圖像測速儀(PIV)，其三維信息的獲取又分為雙目視覺法和全息法。雙目視覺法通過2套成像系統不同角度的成像對一定空間內的粒子進行三維定位，其匹配算法復雜，設備價格昂 貴[6]。數字全息粒子測速儀(DHPIV)將數字全息與PIV技術相結合，可以獲得瞬時的三維流動結構和速度場，然而，被測物體的空間定位精確度低且數字全息圖像重建復雜[7]。簡單的單鏡頭背光成像方式可以提供豐富的三維顆粒場信息[8]，但是位于景深范圍外的顆粒成像會產生離焦模糊現象，影響測量結果。而該模糊信息暗含了顆粒的深度位置信息，若能對顆粒的深度信息進行提取，則一方面可以實現顆粒粒徑和體積分數的精確測量，另一方面可以獲取顆粒場的三維空間分布。周燁鋒等[9?12]通過圖像的模糊程度提取物體深度的信息，不需要解決立體視覺或雙目相機中的點匹配問題。PENTLAND[13]通過改變相機孔徑參數獲得2幅模糊程度不同的圖像來恢復深度，在針孔孔徑下會引入大量噪聲，且去卷積算法產生的衍射效應降低整體效率。ZHOU等[14]通過使用一對編碼孔徑，使其拍攝圖像場景頻率互補的2張圖像恢復物體深度，獲得了高質量的深度信息，但對設備要求高。如上所述的離焦測距裝置需要改變成像系統參數獲取前后2張同一物體不同模糊度的照片，只能解決靜態物體的離焦測距問題。為此，本文作者基于離焦測距光學原理，提出一種單鏡頭雙相機的運動顆粒三維定位裝置，采用分光棱鏡連接該鏡頭和2個相機，通過調節相機與鏡頭之間的距離，獲取同一時刻同一物體不同模糊程度的2張照片，根據模糊度的對比獲得顆粒的深度信息。采用靜止顆粒對系統進行離焦測距試驗驗證，其相對誤差在10%以內，通過誤差分析提出系統精度的改進措施，并對電解水運動氣泡進行三維定位測量，驗證方法的可行性。

1 單鏡頭雙相機運動顆粒三維定位原理

1.1 離焦測距原理

物體成像的實質是物體上無數的點光源發出光線，通過鏡頭被傳感器接收。點光源經由透鏡的成像過程如圖1所示[15]。圖1中：為物點，其與鏡頭主平面距離即物距為；鏡頭焦距為；像點′位于最佳成像平面上，該平面與透鏡主平面的距離即像距為。若實際成像平面偏離最佳成像面，則采集的圖像會存在一定程度的離焦模糊。圖1中，2個離焦面D1和D2到凸透鏡主平面的距離分別為1和2，物點在成像面D1和D2上分別對應成像的彌散圓半徑為1和2。

圖1 離焦模糊成像過程

根據遠心鏡頭成像原理，有

或

其中式(2)所適用條件為顆粒最佳成像位置處于兩相機傳感器平面的同側，式(3)所適用條件為顆粒的最佳成像位置處于兩相機傳感器平面的中間。所以，只需獲得2張粒子離焦圖像的模糊半徑比即可采用式(2)或式(3)對運動顆粒進行空間定位。

圖2所示為同一顆粒相同物距時在不同成像面上獲得的離焦半徑不同的2幅圖像M1和M2，先利用均值濾波對其進行去噪處理，然后采用梯度算法得到灰度梯度圖像，再利用最大類間差法獲取梯度圖像的閾值，并采用該閾值對梯度圖像進行二值化，得到最終處理結果如圖2中N1和N2所示。

(a) 離焦程度較小的圖像M1；(b) 離焦程度較大的圖像M2；(c) M1的處理結果N1；(d) M2的處理結果N2

定義2幅梯度圖像邊緣過渡區面積分別為1和2，隨著圖像由聚焦圖像逐漸模糊，由小變大，由圖像矩不變原理[16]，與圖像的離焦半徑成正比，即

其中：為常數，則有

代入式(2)或式(3)即可得到目標的物距，實現顆粒的空間定位。

1.3 離焦二義性判定

(a); (b); (c); (d) ; (e)

對于圖3(a)和圖3(e)所示2種情況，應采用式(2)計算物距，對圖3(c)所示情況則應采用式(3)來計算。圖3(b)與圖3(d)所示為2種臨界情況，此時清晰成像面分別與成像平面D1與D2重合。當清晰成像面與成像平面D1重合即1=0時，物點在成像平面D2上成像的彌散圓半徑記為，根據圖1中的幾何關系可得到其計算公式為

同理，當2=0時，物點在成像平面D1上成像的彌散圓半徑為

其中：為遠心鏡頭物方焦點處的光闌直徑。

在實際測量過程中，對相機1拍攝獲得的圖像進行處理，若其離焦半徑小于，且相機2上對應圖像的離焦半徑小于，即對應圖3(c)所示的情況，則采用式(3)進行計算，否則采用式(2)。由此可解決模糊圖像的離焦二義性問題。

2 單鏡頭雙相機運動顆粒三維定位系統

本文作者研制的單鏡頭雙相機運動顆粒三維定位系統示意圖如圖4所示，系統使用LED光源以背光方式照明測量區域中的運動顆粒，光線經鏡頭收集后被半透半反分光棱鏡分成光強相同的2束，分別進入2個相機，實現雙相機從同一視場方向對顆粒進行成像。其中相機1與分光棱鏡的距離保持不變，即1不變，相機2與分光棱鏡之間的距離可以通過添加接圈進行調節。采用信號發生器實現兩相機的同步觸發，對同一時刻拍攝到的相同顆粒不同離焦模糊程度的圖像進行處理，從而獲得運動顆粒的三維位置信息。

圖4 單鏡頭雙相機系統示意圖

初步試驗結果表明：兩相機與分光棱鏡之間距離的差別(即2?1)過小時2幅圖像模糊度差別不明顯，過大則測量區域變化較大，最適宜的像距差值隨鏡頭參數的變化將有所不同。經嘗試性試驗發現，本裝置在該差值為5 mm左右時可獲得成像模糊度差值較明顯且測量區域接近的2幅圖像。考慮到實驗室現有的接圈尺寸，本文試驗中選擇雙相機對應的像距差值為 4.2 mm。光學成像系統的其他光學參數及幾何長度的物理示意圖如圖5所示，圖5中，為焦距，1為鏡頭長度，2為鏡頭前端面到前主平面距離，3為鏡頭前端面到后主平面距離，4為分光棱鏡光路長度，5為分光棱鏡到相機1成像平面距離，6為分光棱鏡到相機2成像平面的距離。

圖5 系統光學參數示意圖

圖5所示參數的具體數值如表1所示，由此可計算出鏡頭后主平面到相機1和相機2成像平面的距離1和2，分別為264.4 mm和268.6 mm。

表1 系統光學參數數值

3 單鏡頭雙相機系統離焦測距試驗

3.1 圓點標定板離焦測距試驗

為驗證上述系統與處理算法的可行性，采用此裝置對圓點標定板進行離焦測距試驗。圖6所示為圓點標定板在4組不同距離時2個相機分別獲得的離焦圖像，利用第1節所述原理對4組圖像進行分析，得到粒子與鏡頭前端面距離，如表2所示。與真實值相比較可見測量結果變化趨勢合理，其相對誤差在10%以內。分析誤差發現：1) 由于本裝置中鏡頭的像方遠心度不為0°，導致不同成像平面上成像大小發生變 化，使測量結果產生一定偏差，若選用物像雙側遠心鏡頭有望進一步提高測量精度；2) 在提取顆粒過渡區面積時，采用OTSU法獲得的梯度圖像閾值易受圖像大小及圖像整體對比度的影響，需要進一步深入考慮；3) 通過理論分析發現，在本文的測量條件下，算法的計算精度為5%左右；4) 在計算2張圖像模糊半徑的比值時，只利用了圖像的邊緣寬度信息，而忽略了模糊圖像邊緣灰度信息[17]，在后續研究中應進行考慮，以實現模糊半徑的更精確測量。

u/mm：(a) 39.80；(b) 40.50；(c) 41.00；(d) 42.00

表2 靜止圓點離焦測距

3.2 運動顆粒離焦測距試驗

為驗證該方法對運動顆粒測距的可行性，對上升過程中的電解食鹽水氣泡進行拍攝，獲得如圖7所示的2張含不同大小和位置的氣泡圖片。從圖7可見有3種位置情況下的顆粒圖像，正方形框中的顆粒在相機2中的成像比在相機1中的成像清晰，橢圓形框中顆粒成像模糊度相反，而菱形框中顆粒在相機1與相機2上成像模糊度相近。由于實驗裝置中1＜2，即相機2的成像平面距離鏡頭較遠，其拍攝到的圖像中最清晰粒子位置到鏡頭前端距離應較近。故重構正方形與橢圓形框中粒子空間位置時應使用式(2)，而重構菱形框中粒子空間位置時應使用式(3)。基于上述判斷，重構氣泡三維空間深度信息，如圖8所示。以鏡頭前端面為基準面，所識別出的氣泡深度為0.90 mm，與實際產生電解食鹽水氣泡的銅絲所得深度1.07 mm較符合，證明了該測量方法和裝置的可行性。

(a) 相機1采集的離焦圖像；(b) 相機2采集的離焦圖像

圖8 運動氣泡空間位置重構

4 結論

1) 基于單鏡頭雙相機的離焦測距方法和裝置解決了模糊圖像的離焦二義性問題，可以實現運動顆粒在無參照物情況下的三維定位。

2) 本試驗條件下對靜止顆粒的離焦測距試驗相對誤差在10%以內，并實現了運動氣泡的三維定位，證明了測量方法和裝置的可行性，為顆粒的多參數三維場測量奠定了基礎。

3) 該測量裝置采用1個鏡頭和2個相機，保證拍攝視角的一致性，避免了雙目視覺中空間點匹配問題，算法簡單；若將分光棱鏡和2個圖像傳感器集成，即形成1個雙圖像傳感器相機，則裝置及操作會更為 簡便。

[1] 劉友, 楊曉濤, 馬修真. 基于激光多普勒測速的流場測試技術[J]. 激光與紅外, 2012, 42(1): 18?21. LIU You, YANG Xiaotao, MA Xiuzhen. Technique of flow field measurement based on laser Doppler velocimetry[J]. Laser and Infrared, 2012, 42(1): 18?21.

[2] 張曉艷. 平面二維瞬時流速場數字圖像測速技術研究[D]. 太原: 太原理工大學水利科學與工程學院, 2005: 4?10. ZHANG Xiaoyan. Study of digital image velocimetry for simultaneous flow field in two dimensional plane[D]. Taiyuan: Taiyuan University of Technology. School of Water Conservancy Science and Engineering, 2005: 4?10.

[3] 沈熊. 激光測速技術(LDV)誕生50周年啟示[J]. 實驗流體力學, 2014, 28(6): 51?55. SHEN Xiong. A historical review for the 50th anniversary of laser doppler velocimetry[J]. Journal of Experiments in Fluid Mechanics, 2014, 28(6): 51?55.

[4] 賈衛東, 李萍萍, 邱白晶, 等. PDPA 在噴嘴霧化特性試驗研究中的應用[J]. 中國農村水利水電, 2008(9): 70?72. JIA Weidong, LI Pingping, QIU Baijing, et al. Application of phase doppler particle analyzer in reek spray nozzle’s characteristic experiment[J]. China Rural Water and Hydropower, 2008(9): 70?72.

[5] KASHDAN J T, SHRIMPTON J S, WHYBREW A. A digital image analysis technique for quantitative characterisation of high-speed sprays[J]. Optics and Lasers in Engineering, 2007, 45(1): 106?115.

[6] 王建華, 馮帆, 梁偉, 等. 雙目立體視覺測量系統的設計與實現[J]. 艦船電子工程, 2012, 32(4): 107?109. WANG Jianhua, FENG Fan, LIANG Wei, et al. Design and implementation of measurement system based on binocular stereo vision[J]. Ship Electronic Engineering, 2012, 32(4): 107?109.

[7] 申功炘,張永剛,曹曉光,等. 數字全息粒子圖像測速技術(DHPIV)研究進展[J]. 力學進展, 2007, 37(4): 563?574. SHEN Gongxin, ZHANG Yonggang, CAO Xiaoguang, et al. Advances in DHPIV[J]. Advances in Mechanics, 2007, 37(4): 563?574.

[8] CHEN Xiaozhen, ZHOU Wu, CAI Xiaoshu, et al. In-line imaging measurements of particle size, velocity and concentration in a particulate two-phase flow[J]. Particuology, 2014, 13(1): 106?113.

[9] 周燁鋒, 邱慧娟, 李卓. 基于遠心光學系統散焦圖像的距離估計[J]. 紅外與激光工程, 2006, 35(Suppl): 534?537. ZHOU Yefeng, QIU Huijuan, LI Zhuo. Depth estimation based on defocus image of the telecentric lens[J]. Infrared and Laser Engineering, 2006, 35(Suppl): 534?537.

[10] 程鴻, 章權兵, 宮炎焱. 一種新的基于散焦圖像的深度恢復算法[J]. 計算機應用與軟件, 2010, 27(2): 271?273. CHENG Hong, ZHANG Quanbing, GONG Yanyan. A new depth recovery algorithm based on defocus image[J]. Computer Applications and Software, 2010, 27(2): 271?273.

[11] BAILEY S W, ECHEVARRIA J I, BODENHEIMER B, et al. Fast depth from defocus from focal stacks[J]. Visual Computer, 2015, 31(12): 1697?1708.

[12] LEE E, CHAE E, CHEONG H, et al. Depth-based defocus map estimation using off-axis apertures[J]. Optics Express, 2015, 23(17): 21958?21971.

[13] PENTLAND A P. A new sense for depth of field[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(4): 523?531.

[14] ZHOU C, NAYAR S. What are good apertures for defocus deblurring?[C]// Proceedings of IEEE International Conference on Computational Photography. San Francisco, USA: IEEE, 2009: 1?8.

[15] 田濤, 潘俊民. 基于矩保持法的散集圖像深度估計[J]. 上海交通大學學報, 2000, 34(7): 917?920. TIAN Tao, PAN Junmin. Depth estimation from defocus based on moment-preserving[J]. Journal of Shanghai Jiaotong University, 2000, 34(7): 917?920.

[16] KUNDUR D, HATZINAKOS D. Blind image deconvolution[J]. Signal Processing Magazine, IEEE, 1996, 13(3): 43?64.

[17] 張仕玲, 孫旭. 基于 Matlab 的圖像清晰度評價方法研究[J]. 通信技術, 2012, 44(12): 7?9. ZHANG Shiling, SUN Xu. Image evaluation based on east wavelet transform[J]. Communications Technology, 2012, 44(12): 7?9.

Method of three-dimensional positioning for moving particles with single lens

JIN Na, ZHOU Wu, HU Jiarui, CAI Xiaoshu

(Shanghai Key Laboratory of Multiphase Flow and Heat Transfer in Power Engineering, School of Energy and Power Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

Based on the optical principles of depth from defocus(DFD), a method with a single lens and two image sensors was proposed to determine the three-dimensional positions of moving particles and an imaging system was established for measurement of particle locations. The theoretical and experimental analyses were carried out to explore the relationship between defocus blur degree of image and particle depth. A dispersion prism was used to connect a lens and two cameras, and synchronous measurement was realized with a signal generator. Two images with different defocus blur degrees could be captured for the same particle by adjusting the distances between the two image sensors and the lens. The depth information could be extracted from these two images. The distance difference between two image sensors and the lens was adopted as 4.2 mm. The validation experiments of the measurement system were carried out using static particles, in which the relative measurement errors were within 10%. And the three-dimensional defocus distance test was carried out for bubbles produced by electrolysis of salt water using the system. The results show that this method well feasible, and the problem of position blur in DFD with single lens can be solved using this setup, which indicates that DFD without

can be realized.

moving particles; single-lens double-camera; depth from defocus; spatial orientation; ambiguity of defocus

10.11817/j.issn.1672-7207.2016.09.045

TH7

A

1672?7207(2016)09?3246?06

2015?09?07；

2015?11?25

國家自然科學基金資助項目(51206112，51327803)；上海市自然科學基金資助項目(12ZR1446900)；上海市教委科研創新項目(12YZ110) (Projects(51206112, 51327803) supported by the National Natural Science Foundation of China; Project(12ZR1446900) supported by the Natural Science Foundation of Shanghai Municipality; Project(12YZ110) supported by the Innovation Project of Scientific Research of Shanghai Municipal Education Commission)

周騖，博士，副教授，從事顆粒與流場在線測量方法研究；E-mail: zhouwu@usst.edu.cn

(編輯 劉錦偉)