利用DMD獲取高動態范圍圖像技術

（中國科學院長春光學精密機械與物理研究所，吉林 長春 130033）

（中國科學院長春光學精密機械與物理研究所，吉林 長春 130033）

高動態范圍的圖像可用于同時探測具有較大對比度的亮暗目標，利用數字微鏡（DMD）獲取高動態范圍圖像是目前最為先進的一種技術。本文在分析DMD工作原理的基礎上，設計了一種像素級的高動態范圍圖像獲取系統，該系統由光學系統、機械系統、DMD像素級調光算法及成像單元組成。光學系統采用二次成像光路，其中第一次成像物鏡采用像方遠心光路，第二次成像的轉置鏡頭采用放大倍率近似1∶1的準對稱結構，機械系統采用光學元件的包邊設計和定心車工藝，達到秒級的光學裝配精度；DMD像素級調光算法采用搜索單個微鏡像素在圖像幀周期間的控制權值實現，成像單元可同時兼顧科學級12 bit sCMOS和8 bit CCD，設計完成的原理樣機驗證了系統設計的正確性，其獲取的圖像動態范圍可達140dB以上，遠高于傳統攝像機78dB的動態范圍。

成像系統；高動態范圍圖像；數字微鏡器件；調光

1 引言

自然界中，由于光照、環境等因素的影響，一般會形成動態范圍很大的自然場景，即同時存在極亮的目標和極暗的目標。由于人眼的光強感知能量范圍最大可達200dB，因此人眼可以輕松的獲取圖像，而對于廣泛使用的圖像傳感器，如CCD、CMOS器件，其動態范圍僅可達78dB［1］，因此在使用這些圖像傳感器獲取這種高動態范圍的圖像時，效果往往不甚理想。

為實現高動態范圍圖像的獲取，通常采用基于時間序列圖像合成的方法，該方法通過連續獲取多幀不同積分時間的圖像［2-4］，經“后期”圖像融合實現高動態范圍圖像的獲取，該方法相對簡單，可應用于靜態圖像的獲取，但這種“事后處理”的方式仍無法滿足實時成像探測的需求［5-6］。

數字微鏡（DMD）作為一種光強調制器件，具有高光效、高可靠性、精確的光強調節等級等優點［7-8］，在紅外場景生成技術［9］、三維成像領域［10］和光柵曝光照明領域［11］都有重要應用。文獻［1］對采用DMD實現高動態范圍圖像的獲取技術進行了理論介紹，指出利用DMD獲取高動態范圍圖像的技術是目前最先進、實現最復雜的一種方式。國外在DMD應用方面也進行了大量研究［12-14］，美國Shree K.Nayar等人使用分辨率為800 pixel×600 pixel的DMD和8 bit的分辨率為640 pixel×480 pixel的CCD，并采用DMD分區域調光的方式獲得了一種高動態范圍圖像［15］。H.D.Zhang等人采用DMD“Discovery 1100 and 4100”獲得了加速器的束暈像，完成的系統動態范圍達107以上［16］。B.C.Riddick等人使用DMD“Discovery 1100”和像素數為765 pixel×510 pixel的CCD以及一片分光鏡獲取了光陰極的量子效率圖［17］，國內研究人員在DMD方面也開展了相關的研究工作［18-20］。

本文利用TI公司生產的DMD設計了一種高動態范圍圖像的獲取系統，該系統由光學系統、機械系統、DMD像素級調光算法及成像單元組成。本文對各個系統進行了詳細的闡述，設計完成的原理樣機動態范圍可達130dB，驗證了該系統的正確性。

2 高動態范圍圖像獲取系統

2.1 DMD工作原理

DMD由上百萬個正方形微小反射鏡組成，各個微小反射鏡可單獨尋址，具有“開態”和“閉態”，對應“ON”和“OFF”狀態。本文采用的DMD其“ON”狀態對應的微小反射鏡旋轉+12°，入射光線可進入后續光學系統，其“OFF”狀態對應的微小反射鏡旋轉-12°，入射光線不再進入后續光學系統，而是進入吸收裝置。本文設計采用的DMD為DLP 7000，尺寸為14mm×10.5mm，對應的微鏡像元數量為1 024pixel×768pixel，像元間距為13.68μm，其旋轉軸為微鏡的對角線，旋轉示意如圖1所示。

圖1 DMD繞對角線旋轉Fig.1 Rotation of DMD diagonal

DMD最高擺動頻率達20 000 Hz，當選用CMOS圖像傳感器時，可以對明暗目標亮度差為1 700萬倍的目標同時成像和探測［5］。

2.2 高動態范圍圖像獲取系統

為了獲取高動態范圍的圖像，將光強調制器件DMD置于成像物鏡的像面上，實現將場景目標經成像物鏡成像在DMD上，然后通過轉置鏡頭將DMD光強調制后的圖像再次二次成像于成像單元即圖像傳感器（CCD/CMOS）上，從而獲得高動態范圍的場景目標圖像，DMD的光強調制方式通過調光算法實現，無用的光線會進入光強吸收裝置，系統的工作原理如圖2所示。

圖2 系統的工作原理示意圖Fig.2 Principle schematic of the system

由于DMD旋轉軸為對角線，且穩定的“開關”狀態位于±12°方向，因此轉置鏡頭及光強吸收裝置將位于±24°的方向，且兩者的連線垂直于DMD旋轉軸，由于空間的限制，當在±24°方向無法布置轉置鏡頭或光強吸收裝置時，則需考慮在適當的位置增加折轉反射鏡［5，7］。

3 系統設計

高動態范圍圖像獲取系統涉及兩組光學系統，一組為成像物鏡光學系統，另一組為轉置鏡頭光學系統，兩組鏡頭在DMD所在位置耦合。系統要求DMD的像素點與圖像傳感器的像素點之間一一對應，因此要求光學系統的MTF≥0.5。

為達到MTF的要求并保證兩組光學系統的光瞳重合，對成像物鏡光學系統設計采用像方遠心光路。若成像單元選用對角線尺寸16.64mm，像素大小為13μm的CMOS圖像傳感器，則轉置鏡頭為物像放大倍率近似1∶1的光學系統，設計采用準對稱型的光學結構，由于光學系統離軸，成像單元所在的像面會有一定的偏角，圖3為設計完成的光學系統，圖4為設計完成的光學系統傳函函數曲線圖。

成像單元組件由圖像傳感器及其支撐結構組成，支撐結構兼顧CCD和sCMOS兩種圖像傳感器，且為便于裝調，在支撐結構上設計了腰槽孔，同時前端與轉置鏡頭采用H7/g6的最小間隙配合。

圖3 光學系統結構示意圖Fig.3 Schematic of the optical structure

圖4 傳遞函數曲線圖Fig.4 Curves of MTF

圖5 成像物鏡的機械結構Fig.5 Mechanical structure of the imaging objective lens

高動態范圍圖像獲取系統的機械系統根據光學系統的要求進行設計，由于成像物鏡的光學系統要求達到秒級的裝配精度，因此設計采用高精度的光學元件固定方法即光學件包邊和定心車工藝，同時每個光學件的機械殼體在進行定心車時，采用同一個尺寸的螺紋胎進行定心車削，如圖5所示，6個光學元件均通過包邊固定在機械殼體中包邊后的組合件預留單邊0.5mm的定心車加工量，同時為保證定心車時的軸線不變，在每個機械殼體上都設計了相同的內螺紋胎，定心車時只需在定心車床上裝卡一次外螺紋胎即可實現6個組合件直徑和端面的精加工。

4 DMD像素級調光算法

DMD調光算法可以有效調節單個微鏡在“開關”狀態的時間長短，實現對成像單元中圖像傳感器對應的單個像素點不同程度的光強調節，將光子數的區域和光子數飽和的區域同時調節至圖像傳感器的最佳響應區域。

圖6 DMD掩膜示意圖Fig.6 Schematic of DMD masks

DMD調光通過控制一個權值實現，該權值為兩幀圖像之間平均的二進制值，如圖6所示。若某時刻成像單元（CMOS/CCD）獲取的圖像為M，該圖像可作為DMD的母掩膜，該圖像有n幀子掩膜圖像mi組成，mi中的二進制數0和1代表單個微鏡的兩種狀態，mi的作用時間為ti，T為母掩膜周期即圖像傳感器的幀周期，則DMD單個微鏡（x，y）處的權值r（x，y）可表示如下：

式中：pi（x，y）為子掩膜mi中坐標（x，y）處的二進制值。此時，圖像傳感器坐標（x，y）處的像素灰度值E（x，y）如下：

式中：L（x，y）為圖像傳感器（x，y）處獲得的場景目標灰度值，r（x，y）為DMD在（x，y）處的光強調節權值，δ（x，y）為其他影響因子，可認為常數。E（x，y）的收斂值應當小于圖像傳感器的飽和值，r（x，y）的收斂速度決定著E（x，y）的收斂速度，我們設計采用試探搜索的方法確定r（x，y）［7］。

5 實驗與討論

圖7為高動態范圍圖像獲取系統的原理樣機，該原理樣機可放置在桌面上，主要由主殼體、成像物鏡、轉置鏡頭和光強吸收裝置等組成。

圖7 高動態范圍圖像獲取系統原理樣機Fig.7 Prototype of the high dynamic range image obtaining system

為驗證高動態范圍圖像獲取系統的正確性，本文進行了相關實驗，其中成像單元采用的圖像處理器為科學級sCMOS，像元數2 048 pixel×1 536 pixel，分別對明暗亮度相差較大的射燈目標和高亮度的激光進行了拍照實驗。

圖8（a）為DMD未調光時圖像傳感器獲取的射燈圖像，圖8（b）為DMD調光后圖像傳感器獲取的射燈圖像，圖8（c）為權值搜索收斂時DMD的掩膜圖像，圖8（d）為圖8（b）和圖8（c）合成恢復后的真實高動態范圍圖像，圖9（a）為DMD全置即無調光時圖像傳感器sCMOS獲得的激光照射在物體上的圖像，從圖像中只能看到激光照射的極亮光斑，圖9（b）為DMD調光后經合成恢復獲得的高動態范圍圖像。

圖8 射燈試驗Fig.8 Experiment of the spotlight

從圖8中可以清晰地看到射燈燈絲的形狀，成像效果遠好于圖像傳感器直接獲得的圖像，從圖9中不僅可以看到激光照射的光斑，而且可以清晰地看到激光的束核，該實驗結果驗證了高動態范圍圖像獲取系統的正確性。

由于本實驗采用的圖像傳感器為科學級16bit sCMOS，因此通過DMD后獲得的圖像為16bit圖像，而DMD的掩膜為12bit圖像，因此最終合成恢復后的圖像可以達28bit，圖像的動態范圍可達168dB。而對于普通具有12bit的CMOS圖像傳感器，則圖像的動態范圍可達144.4dB，可使普通圖像傳感器動態范圍增加一倍。

圖9 拍攝激光照射的試驗圖片Fig.9 Experiment images of laser

6 結論

本文涉及一種像素級的高動態范圍圖像獲取系統，該系統包含的關鍵技術點有像方遠心光路的成像物鏡光學系統、二次成像的轉置鏡頭光學系統、光學元件的包邊設計和定心車工藝、DMD調光算法的實現等。設計完成的原理樣機成像清晰，效果明顯，獲取的高動態范圍圖像可達140dB以上，約為傳統攝像機動態范圍的2倍，該系統在航天觀測、偵查等領域具有廣闊的前景。

［1］王忠立，趙清潔.高動態圖像獲取技術［J］.光學技術，2006，32（8）：279-282.

WANG ZH L，ZHAO Q J.Technology of high dynamic range image reconstruction［J］.Optical Technique，2006，32（8）：279-282.（in Chinese）

［2］ROBERTSON M A，BORMAN S，STEVENSON R L.Estimation-theoretic approach to dynamic range enhancement using multiple exposures［J］.J.Electron.Imaging，2003，12（2）：219-228.

［3］GOSHTASBY A A.Fusion of multi-exposure images［J］.Image and Vision Computing，2005，23（6）：611-618.

［4］SZELISKI R.System and process for improving the uniformity of the exposure and tone of a digital image：US，6687400［P］，2004-02-03.

［5］呂振偉，劉偉奇，魏忠倫，等.基于DMD的高動態范圍成像光學系統設計［J］.紅外與激光工程，2014，43（4）：1167-1171.

LV ZH W，LIU W Q，WEI ZH L，et al.Design of high dynamic range imaging optical system based on DMD［J］.Infrared and Laser Engineering，2014，43（4）：1167-1171.（in Chinese）

［6］王延杰，陳懷章，劉艷瀅，等.數字微鏡器件在高動態輻射場景成像探測系統中的應用［J］.光學 精密工程，2014，22（9）：2508-2517.

WANG Y J，CHEN H Z，H LIU Y Y，et al..Application of DMD to high dynamic scene image detection system［J］.Opt.Precision Eng.，2014，22（9）：2508-2517.（in Chinese）

［7］陳懷章，王延杰，孫宏海，等.DMD結合圖像傳感器的高動態場景成像探測［J］.紅外與激光工程，2013，42（12）：3402-3409.

CHEN H ZH，WANG Y J，SUN H H，et al..High dynamic range imaging detection based on DMD and image sensor［J］.Infrared and Laser Engineering，2013，42（12）：3402-3409.（in Chinese）

［8］余卿，余曉芬，崔長彩，等.并行共焦測量中的并行光源技術綜述［J］中國光學，2013，6（5）：652-659.

YU Q，YU X F，CUI CH C.Survey of parallel light source technology in parallel confocal measurment［J］.Chinese Optics，2013，06（05）：652-659.（in Chinese）

［9］李卓，錢麗勛，李平，等.動態紅外場景生成技術及其新進展［J］.紅外與激光工程，2011，40（3）：377-383.

LI ZH，QIAN L X，LI P，et al..Technologies of dynamic infrared scene projection and its new development［J］.Infrared and Laser Engineering，2011，40（3）：377-383.（in Chinese）

［10］彭進業，金浩強，石劍虹，等.高速單像素相機數據采集系統［J］.光學 精密工程，2014，22（04）：837-843.

PENG J Y，JIN H Q，SHI J H，et al..Data acquisition system for hing speed single-pixel camera［J］.Opt.Precision Eng.，2014，22（4）：837-843.（in Chinese）

［11］劉華，盧振武，熊崢，等.絕對式光柵尺母尺刻劃曝光系統［J］.光學 精密工程，2014，22（7）：1814-1819.

LIU H，LU ZH W，XIONG ZH，et al..Exposure optical system in lithographic main scale of absolute optical encoder［J］.Optics and Precision Engineering，2014，22（7）：1814-1819.（in Chinese）

［12］SHENG B，NING X，KING W C L，et al..Design and Implementation for image Reconstruction of Compressive Sensing Using FPGA［C］.Proceedings of the 2013 IEEE International Conference on Cyber Technology in Automation，Control and Intelligent Systems.Nanjing，China，2013：320-325.

［13］ICHIKAWA A，ARAI F，FUKUDA T.Optical temperature control of multiple microheaters using digital micromirror device［C］.IEEE MEMS 2006，Istanbul，Turkey，2006：390-393.

［14］REFAI H H，DAHSHAN M H，SLUSS J J.Precise Control over the individual DMD micromirror for volumetric three-dimensional display application［C］.IEEE 3DTV-CON＇08，Istanbul，Turkey，2008：297-300.

［15］NAYAR S K，BRANZOI V，BOULT T E.Programmable imaging using a digital micromirror array［C］.IEEE CVPR＇04，Washington，DC USA，2004.

［16］ZHANG H D，FIORITO R B，SHKVARUNETS A G，et al..Beam halo Imaging with a digital optical mask［J］.Physical Review Special Topics-accelerator and Beams，2012，15（072803）：1-15.

［17］RIDDICK B C，MONTGOMERY E J，FIORITO R B，et al..Photocathode quantum efficiency mapping at high resolution using a digital micromirror device［J］.Physical Review Special Topics-accelerator and Beams，2013，16（062802）：1-4.

［18］邱基斯，樊仲維，唐熊忻.超高斯平頂分布光束空間整形技術研究［J］.光電子·激光，2014，25（2）：233-238.

QIU S J，FAN ZH W，TANG X X.Research on spatial shaping technology of super-Gaussian flat-topped distributed beam［J］.J.Optoelectronics·Laser，2014，25（2）：233-238.

［19］涂龍，于錦，樊仲維，等.基于數字微鏡的并行激光共焦顯微檢測技術研究［J］.激光與光電子學進展，2013，50（101702）：1-8.

TU L，YU J，FAN ZH W.Research on the technology of parallel laser confocal microscopy detection based on digital micromirror device［J］.Laser＆Optoelectronics Press，2013，50（101702）：1-8.

［20］艾琪，陳笑，田淼，等.基于數字微鏡器件的多通道C波段可調諧光纖激光器［J］.光學學報，2014，34（4）：0414001-6.

AI Q，CHEN X，TIAN M，et al..Multi-channel C-band-tunable fiber lasers based on digital-micromirror-device processor［J］.Acta Optica Sinica，2014，34（4）：0414001-6.

呂 濤（1984—），男，河南濟源人，博士，助理研究員，2009年于北京航空航天大學獲碩士學位，2014年于中科院長春光機所獲博士學位，主要從事空間環境目標模擬光學設備和空間光學儀器的研究。Email：lvtao1984@gmail.com

付東輝（1966—），男，吉林長春人，高級實驗師，1987年畢業于中央廣播電視大學，主要從事空間環境目標模擬光學設備和的研制。E-mailfudonghui2009@sina.com

陳小云（1966—），男，四川重慶人，本科，副研究員，1990年于長春理工大學獲學士學位，主要從事太陽模擬器高精度電源的研制。E-mail：chenxy@ciomp.ac.cn

劉 杰（1962—），女，吉林長春人，本科，工程師，1987年畢業于中央廣播電視大學，主要從事太陽模擬器的研制。E-mail：liujieciomp@163.com

利用DMD獲取高動態范圍圖像技術

呂 濤*，付東輝，陳小云，劉 杰

High dynamic range imaging technology using DMD

Lü Tao*，FU Dong-hui，CHEN Xiao-yun，LIU Jie
（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）
*Corresponding author，E-mail：lvtao1984@gmail.com

In some scenarios，very bright objectives and very dark objectives exist at the same time.The traditional imaging device can not detect these objectives，and then high dynamic range image acquiring system is needed to detect them.Digital Micro-mirror Devices（DMD）is used to get high dynamic range image，which is the most advanced technology at present.In this paper，a pixel level high dynamic range imaging system is designed based on DMD.The system is composed of optical system，mechanical system，DMD pixel level dimming algorithm and imaging unit.The secondary imaging system is used in the optical system.The first imaging optical structure is image space telecentric system，and the second imaging optical structure is magnification 1：1 quasi-symmetric system.Wrapping technology of optical elements and centering machining process are used in mechanical system，and the optical assembly precision reaches second level.The method searching for single DMD pixel＇s controlling weight is used in dimming algorithm.The science class 12 bit sCMOS and 8 bit CCD can be used simultaneously in imaging unit.The correctness of the system is proved by the prototype.The image dynamic range can reach 140 dB，much higher than 78 dB dynamic range of traditional cameras.

imaging system；high dynamic range image；digital micro-mirror device；dimming

2095-1531（2015）04-0644-07

TN911.73；TN27 文獻標識碼：A doi：10.3788/CO.20150804.0644

2015-02-19；

2015-04-13

國家高技術研究發展計劃（863計劃）資助項目（No.2013AA7031010B）

book=650,ebook=138