基于片上質心計算的高速哈特曼波前傳感器技術

楊蕊瑜 王帥 張彬 孫年春

摘要：針對強湍流像差校正、氣動流場像差測量等高速波前探測場景，提出一種基于片上質心計算的高速哈特曼波前傳感器設計，將光斑圖像數據在輸出之前做預處理，將預處理獲取的光斑質心而非光斑圖像作為光電探測器高速實時輸出的數據，從而大幅壓縮高速波前探測所需的實時傳輸數據量，可顯著提升哈特曼波前傳感器的實時探測速度。測試結果表明，提出的設計方案基于常規 GigE Vision接口即可實現10 kHz 以上的高速波前實時測量，有望為哈特曼波前傳感器的自適應光學校正、氣動光學效應測量等應用場景提供一種實時、高速波前測量新的技術手段。關鍵詞：自適應光學;片上質心計算;高速波前探測;哈特曼波前傳感器

中圖分類號： O438.2;TB9文獻標志碼： A文章編號：1674–5124（2021）12–0142–07

High-speed Hartmann wavefront sensor technology based on chip centroid calculation

YANG Ruiyu1，2，WANG Shuai2，ZHANG Bin1，SUN Nianchun1

（1. School of Electronic Information， Sichuan University， Chengdu 610065， China;2. Key Laboratory ofAdaptive Optics， Chinese Academy of Sciences， Chengdu 610209， China）

Abstract： Aiming at high-speed wavefront detection scenarios such as strong turbulence aberration correction and aerodynamic flow field aberration measurement， a high-speed Hartmann wavefront sensor design based on on-chip centroid calculation is proposed. The spot image data is preprocessed before output. And the pre- processedspotcentroidsinsteadof thespotimageisusedashigh-speedreal-timeoutputdataof the photodetector of wavefront sensor. This design can greatly reduce the amount of real-time transmission data requiredforhigh-speedwavefrontdetectionandsignificantlyimprovethereal-timedetectionspeedof Hartmann wavefront sensor. The test results show that the proposed scheme can achieve high-speed， high- resolution real-time wavefront measurement above 10 kHz based on the conventional GigE Vision interface and is expected to provide a new technique for Hartmann wavefront sensor to realize real-time and high-speed wavefront measurement in application scenarios， such as adaptive optical and measurement of aero-optical effects.

Keywords： adaptive optics; on-chip centroid calculation; high-speed wavefront detection; Hartmann wavefrontsensor

0引言

在各類波前傳感器中，哈特曼波前傳感器因結構緊湊、速度快、光能利用率高和對環境要求低等諸多優點，已被廣泛應用于自適應光學系統、光學檢測、空氣擾動分析、激光光束檢測等領域[1-3]。作為一種重要的波前畸變高速測量技術手段，提高探測速度、提升測量精度一直是哈特曼波前傳感器技術的研究熱點和重點改進方向。

在提高探測速度方面，受限于哈特曼波前傳感技術的測量原理，在高速測量條件下，哈特曼波前傳感器的核心組件——高速相機需將海量的光斑圖像數據實時輸出至波前處理機中作波前復原運算。為此，哈特曼波前傳感器光斑陣列圖像數據量和高速相機接口的傳輸帶寬直接決定了波前傳感器的測量速度上限。受此限制，現有高速哈特曼波前傳感器常采用機內緩存高速相機實現短時間數據高速記錄和緩存后圖像數據傳出以實現波前重建分析，難以實現高速、實時波前測量與校正[4-9]。雖然美國公開的 AAOL（機載氣動光學實驗室）計劃中報道了其高速哈特曼波前傳感器實現的20 kHz 波前測量速度[7]，但該傳感器采用的是高速機內緩存的方式，無法實現實時測量。普林斯頓大學研究人員在介紹氣動光學測量工作中提到了采用的高速哈特曼波前傳感器在256×256分辨率下達到5000 f/s 測量頻率[8]。國內中科院光電所陳凱等人研究的基于 PSD 探測器的哈特曼波前傳感器測量頻率最高為5000 Hz[9]。抑或寄希望于諸如CoaXPress等新接口、新協議提供更高的相機數據傳輸帶寬，但基于高帶寬相機數據傳輸接口的解決方案不僅會導致成本和系統復雜度增加的問題，也會對波前處理機的數據接收、處理能力提出更高的要求。

在非波前探測領域的涉及機器視覺、圖像監控的物聯網、視頻處理、手機類電子產品等領域，由于圖像傳感器直接輸出的原始數據質量較差，采用圖像信號處理（ISP）模塊做圖像原始數據預處理和補償的技術已經十分成熟，主要涉及輸出圖像質量提升[10]。近年，將人工智能算法與先進傳感器技術相結合已成為主流趨勢之一，擁有數據處理能力的“智能傳感器芯片”配合創新的人工智能算法，可解決大量人臉識別、車牌識別等應用場景所面臨的海量數據處理量、數據傳輸帶寬等難題。將數據處理過程“前置”至傳感器端，可實現更快的數據處理速度、更高的系統效率和更強的數據隱私保護，并降低數據傳輸延遲、節省系統功耗、減少網絡帶寬需求等。高速波前探測同樣面臨的海量數據傳輸難題，將波前測量中的光斑圖像質心計算視為一種特殊的圖像信號預處理，本文提出了一種基于片上質心計算的高速哈特曼波前傳感器技術方案，基于市售可開發的高速傳感器芯片，開發了基于片上質心計算的傳感器芯片驅動電路，搭建了高速哈特曼波前傳感器原理裝置，實現了10 kHz 高速波前實時測量，驗證了本文所提出技術方案的可行性和有效性。

1基于片上質心計算的高速哈特曼波前傳感器技術

1.1哈特曼波前傳感器工作原理

哈特曼波前傳感器的基本結構及工作原理分別如圖1（a）、（b）[11]所示，由微透鏡陣列和放置于微透鏡陣列焦平面上的光電探測器組成。入射的待測光束經過微透鏡陣列子孔徑分割取樣后，分別聚焦于形成子孔徑光斑陣列。光電探測相機記錄光斑陣列圖像并將圖像數據實時傳輸至波前處理機（PC 端）進行光斑質心計算、斜率計算和波前重構等波前處理。光斑陣列圖像的光斑質心計算是波前處理的第一個環節，根據光斑質心偏移可直接通過線性計算得到子孔徑內波前斜率信息，求得每個子孔徑內的波前斜率后即可采用波前復原算法（如模式法、區域法[12]等）重建待測波前分布，實現波前實時測量。

1.2基于片上質心計算的高速哈特曼波前傳感器原理

由上述可知，現有哈特曼波前傳感器的質心計算主要在波前處理機端，因此光電探測相機需根據波前探測速度實時將光斑陣列圖像原始數據傳輸至波前處理機，未做任何預處理。為實現光斑圖像的高速片上質心計算預處理，本文是設計的基于片上質心計算的高速哈特曼波前傳感器主要有圖像采集模塊、數據處理模塊、接口傳輸模塊以及電源模塊4個部分，其系統組成與數據流程如圖2所示。圖像采集模塊負責光斑圖像采集并將其轉換為圖像數字信號，并傳輸至數據處理模塊的高速大容量存儲器中，圖像數據處理模塊中的數據處理芯片從存儲器中實時、高速地獲取圖像數據，并依據集成的哈特曼波前傳感器光斑圖像質心算法對光斑圖像數據進行圖像信號處理，得到當前光斑圖像的光斑質心數據。數據傳輸芯片接收原始光斑圖像數據和對應的光斑質心數據，分別發送給圖像顯示接口和波前處理機接口，兩種接口按照數據傳輸接口協議打包后，分別將光斑質心數據實時地輸出至波前處理器，用于高速波前測量，同時將光斑圖像數據以常規視頻幀率（30 f/s）輸出至顯示硬件終端，用于高速哈特曼波前傳感器的狀態監測。

1.3數據傳輸量對比分析

為了實現高速、高分辨率的波前探測，要求光電探測相機具有高速的數據傳輸接口將攜帶著波前信號的光斑圖像數據高速、實時地傳輸至波前處理終端。為保證哈特曼波前傳感器的測量精度，哈特曼波前傳感器需要足夠的子孔徑數目對光束實施采樣，同時需要光電探測器具有足夠的像素數和分辨率對光斑陣列圖像形成完整記錄。為達到10 kHz 波前探測頻率，若取高速哈特曼波前傳感器的光電探測器有效開窗分辨率為1024×1024，圖像數據位深為10 bit，其數據傳輸流量約為156.25 Gb/s，已經遠超出現有工業相機和科學級相機主流的 Camera Link、IEEE 1394、USB、GigE Vision 以及最新的CoaXPress等數字接口的傳輸帶寬。因此，在典型的圖像數據傳輸、波前處理機計算的技術方案下，常見的各類圖像數據傳輸接口難以滿足高速哈特曼波前傳感器海量的圖像數據實時傳輸需求。

然而，不同于常見的圖像處理場景，哈特曼波前傳感器涉及的圖像處理不以圖像數據作為最終的信息輸出，而是為了從圖像數據中提取各光斑質心信息用于波前相位信息的重建。考慮到哈特曼波前傳感器圖像數據處理是一種高速、實時的近流水線形式的處理機制，將波前傳感器光斑圖像的質心信息提取放在“前端”光電探測器中，將圖像數據經過質心計算預處理后只輸出處理后的光斑質心數據，則輸出數據量會顯著壓縮。哈特曼波前傳感器輸出數據量主要取決于子孔徑數目和波前探測幀頻，而與光斑圖像分辨率無直接關聯。設光斑圖像分辨率為1024×1024，子孔徑數目為32×32，波前探測頻率為10 kHz，可得質心數據的傳輸流量僅為0.61 Gb/s 左右。此時，即使采用 USB3.0或千兆網口作為數據傳輸接口，也可以完全滿足數據傳輸需求，實現高速、高分辨率的哈特曼波前傳感器波前測量。由此可見，采用質心數據傳輸的方法可有效的節約接口帶寬，從而大幅提升波前探測速度上限。

2基于片上質心計算的高速哈特曼波前傳感器原理裝置開發

2.1圖像數據采集模塊

高速哈特曼波前傳感器的圖像芯片需具有高速圖像采集能力。本文的高速哈特曼圖像傳感器選用美國 LUXIMA 公司的高速圖像傳感器芯片 LUX13HS，是一款針對高速開發機器視覺、三維掃描、運動分析和工業市場的 CMOS 傳感器芯片，其結構框圖如圖3所示[13]。LUX13HS 圖像傳感器擁有1296×864像素，有效像素為1280×864，在滿幅分辨率下幀率可達3500 f/s，像元尺寸為13.7?m×13.7?m。同時，該芯片還具有感興趣區域（region of interesting，ROI）開窗功能，可控制 LUX13HS 的感光芯片進行開窗操作，輸出指定窗口內的圖像數據。采用 ROI 開窗功能到288×288分辨率，可進一步提高原始圖像記錄幀頻以達到預期的10 kHz 的水平，光斑圖像數據量約為6.2 Gb/s。

2.2圖像數據處理模塊

圖像傳感器的前端片上質心預處理芯片硬件主要采用兩塊 FPGA，使用流水線設計，提高圖像數據的吞吐量。一塊主控 FPGA 用于圖像加速算法處理，另一塊用于圖像數據的格式轉換、數據傳輸。考慮到 FPGA 芯片的器件管腳數量、邏輯單元、速度等級、嵌入塊 RAM 容量、時鐘管理、IP 硬核資源支持、溫度范圍、成本和功耗等方面的因素，選用 Xilinx 公司KintexUltraScale系列的高性能 FPGA 芯片 XCKU060-2FFVA1517I 作為高速波前探測系統的核心控制器，采用 Xilinx 的 ZYNQ-7000系列的 XC7Z010-2CLG225I 作為圖像格式轉換和數據傳輸的芯片1[4-15]。

2.3高速哈特曼波前傳感器數據流程

圖像傳感器在采集到圖像后需要輸出灰度圖像數據，帶千兆網絡的 FPGA 搭載了 Nor Flash 用于程序的存儲，同時還搭載了多片 DDR3、DDR4和SRAM。本文設計的高速哈特曼波前傳感器數據流程如圖4所示。

圖像傳感器上電后，主控制器 FPGA 對圖像傳感器芯片 LUX13HS 的參數和 ZYNQ 的以太網進行配置的初始化操作，配置完成后，圖像傳感器芯片通過80對 LVDS 將原始的圖像數據流輸出至 FPGA。主控 FPGA 接收到原始圖像數據后，對圖像進行開窗處理，再將圖像數據存儲到 DDR4中， FPGA 同時對 DDR4中開窗后的圖像數據讀出并進行質心算法預處理，將處理后的圖像數據再存儲到 DDR3L 中。ZYNQ 用于監控處理輸出模式和傳輸狀態，并將接收到的指令傳輸給 FPGA 主控制器， FPGA 就將原始開窗后的圖像數據與處理后的質心數據通過并行 I/O 端口傳遞給 ZYNQ 的 PL 端，PL 端再將質心數據進行格式轉換后，通過 DMA 將圖像數據緩存到 PS 端的 DDR3存儲器中，ZYNQ 再將質心數據讀出，并進行 GigE Vision 千兆以太網的組包、分包，最后將處理后的質心數據傳遞給 PC 端。

3系統測試及實驗驗證

3.1高速哈特曼波前傳感器系統測試

為了驗證設計并開發的基于片上質心計算高速哈特曼波前傳感器的波前探測速度性能，開展了傳感器系統測試實驗。高速哈特曼波前傳感器系統設計探測波長λ為635 nm，圖像傳感器開窗分辨率為288×288像素，微透鏡陣列數為12×12、尺寸為0.336 mm×0.336 mm，微透鏡陣列、圖像傳感器及片上計算芯片集成后的原理樣機實物如圖5所示。

高速哈特曼波前傳感器的實時質心數據可在上位機端的控制軟件中顯示，當上位機軟件設置為工作模式，上位機通過計算每秒收到的運算結果幀數，即10000 f/s，并顯示到實時幀率到界面。當上位機軟件設置為調試模式，且開啟采集后對探測的光斑圖像進行實時監控，并獲取實時的圖像數據。調試模式下因涉及圖像數據輸出，圖像采集、顯示以及數據處理的幀率降到26 f/s，主要用于系統標校與調試。

為了達到10 kHz 的圖像采集速率，高速哈特曼波前傳感器的圖像傳感器開窗分辨率為288×288。根據微透鏡尺寸、子孔徑陣列數規以及圖像傳感器參數，仿真得到的光斑分布圖如圖6（a）所示，圖6（b）為實際的高速哈特曼波前傳感器采集得到的光斑分布圖。圖6（c）、（d）和（e）分別表示根據輸出光斑圖像數值計算的質心數據、實際傳感器片上計算后輸出的質心數據以及兩者的誤差。

從圖6可以看出，圖像傳感器片上質心預處理輸出的質心數據與基于圖像數據在波前處理機端計算的質心數據相互吻合，二者十分接近，片上質心計算的誤差值小于0.01像素。上述測試實驗表明，設計并開發的高速哈特曼波前傳感器的圖像傳感器能夠每秒采集一萬幀光斑圖像并實時輸出一萬幀光斑圖像經預處理之后的一萬組高精度光斑質心數據，高速哈特曼波前傳感器系統具備10 kHz 實時獲取光斑質心數據的性能。

3.2高速哈特曼波前傳感器性能實驗驗證

為驗證基于片上質心計算的高速哈特曼波前傳感器波前測量準確性，搭建了高速哈特曼波前傳感器波前測量實驗平臺，主要包括635 nm 準直激光器、光闌、偏振片、分光棱鏡、反射鏡、液晶調制器（ LCOS-SLM X13138）等器件，具體光路與實際系統如圖7所示。

在完成波前傳感器定標后，準直激光器輸出給平行光束經光闌、偏振片起偏后透過分光棱鏡入射到液晶空間光調制器上，液晶空間光調制器產生特定分布的波前像差對入射光束的波前實施調制。光束經液晶空間光調制器相位調制后反射進入分光棱鏡，經分光棱鏡反射后經反射鏡入射到研制的高速哈特曼波前傳感器樣機微透鏡上，并在波前傳感器相機上形成光斑陣列圖像。哈特曼波前傳感器將光斑圖像片上預處理后的光斑質心數據實時、高速地傳輸至波前處理機，波前處理機根據光斑質心數據結算波前相位分布。圖8給出了哈特曼波前傳感器對液晶空間光調制器生成的2組畸變波前進行復原的結果。從圖中可以看出，對于兩組不同的隨機分布波前畸變輸入，研制的高速哈特曼波前傳感器均能夠準確地重建輸入波前的空間分布，復原波前與輸入波前分布與大小相符，復原殘差很小。

表1具體給出了液晶空間光調制器生成的輸入畸變波前和本系統直接輸出質心數據復原波前的PV 值和 RMS 值。

根據圖8和表1實驗結果，研制的高速哈特曼波前傳感器復原波前與輸入波前面形分布具有很好的一致性，其波前復原殘差 PV 均在λ/4以內，RMS 在0.05λ以下。該結果驗證了高速哈特曼波前傳感器采用常規的 GigE Vision數據傳輸接口，即可在288×288圖像分辨率下以10 kHz 速度實時輸出的高精度質心數據用于高速實時波前測量。該高速哈特曼波前傳感器實時圖像處理量約為6.2 Gb/s，為圖像傳感器數據傳輸接口帶寬的6倍，通過光斑圖像片上質心預處理對數據量的顯著壓縮，實現了高速、實時波前探測。相比現有哈特曼波前傳感器，本文介紹的基于片上質心計算的哈特曼波前傳感技術在提高測量速度方面較現有技術方案具有優勢。

4結束語

本文提出了一種基于片上質心計算的高速哈特曼波前傳感器技術，將波前重構計算中的光斑圖像質心計算集成在“前端”的光電探測器片上 FPGA 予以實現，實時輸出光斑圖像預處理后的質心數據，從而顯著壓縮波前測量的實時傳輸數據量。此外，研制了基于片上質心計算的高速哈特曼波前傳感器原理裝置，在光斑圖像分辨率為288×288下，采用千兆網口傳輸即可實現10 kHz 速度的光斑質心實時計算輸出與波前復原重構，并實驗驗證了片上計算輸出的質心數據精度和傳感器波前復原的精度。結果表明，本文提出的基于片上質心計算的高速哈特曼波前傳感器技術改變了數據處理機制，壓縮了高速傳輸數據量，可實現高速、實時波前畸變測量，有望為各類高速像差測量提供一種新的技術手段。

參考文獻

[1] JIANG W H， LI M Q， TANG G M， et al. Adaptive opticalimage compensation experiments on stellar objects[J]. Optical Engineering， 1995， 34（1）：15-20.

[2] CASTELLINI C， FRANCINI F， TIRIBILLI B. Hartmann testmodification for measuring ophthalmic progressive lenses[J]. Applied Optics， 1994， 33（19）：4120.

[3] LI H G， JIANG W H. Application of H-S wave-front sensorquaforlitydiagnosisof opticalsystemandlight beam[C]// ICO-16 Satellite Conference on Active and Adaptice Optics，1993：369～376.

[4] MSU/VISIONICALTD. HartmannShackwavefrontsensor[EB/OL].[2021-06-25]. https：//www.ybzhan.cn/chanpin/7276135.html.

[5] ALPAO. Wavefront sensor[EB/OL].[2021-06-25].https：//www.instrument.com.cn/netshow/SH101980/C268156.htm.

[6] THORLABS. OpticalWavefrontSensor（Shack-Hartmann）.Operation manual[EB/OL].[2021-06-25]. https：//www.thorla- bschina.cn/newgrouppage9.cfm？objectgroup_id=5287.

[7] JUMPER EJ， ZENK MA， GORDEYEV S，et al. Airborne aero-. Optical Engineering， 2013， 52（7）：opticslaboratory[J]1-15.

[8] WYCKHAMCM，SMITSAJ. Aero-opticdistortionintransonic and hypersonic turbulent boundary layers [J]. Aiaa Journal， 2009， 47（9）：2158-2168.

[9] KAIC，YANGZ，WANGH，et . PSD-Shackalbased-Hartmannwavefrontsensor[C]//AdaptiveOpticsandApplications III， 2004.

[10]伍川輝， 吳探，楊恒， 等.基于 LabVIEW 圖像處理的動態拉出值檢測方法[J].中國測試， 2018， 44（6）：95-99.

[11]張雨東， 饒長輝， 李新陽.自適應光學及激光操控[M].北京：國防工業出版社， 2016：65-66.

[12]魏平， 李新陽， 羅曦， 等.部分子孔徑缺光對夏克-哈特曼波前傳感器波前復原的影響[J].中國激光， 2020， 47（4）：254-260.

[13] Luxima Technology LLC. LUX13HS[EB/OL].[2021-07-05].https：//www.luxima.com/product_briefs/LUX13HS.html

[14] Xilinx. Ultra-scale FPGA product tables and product selection guide[EB/OL].[2021-07-05]. https：//china.xilinx.com.

[15] Xilinx. Cost-Optimized Portfolio product tables and productselection guide[EB/OL].[2021-07-05]. https：//china.xilinx.com.

（編輯：譚玉龍）