基于regionprops函數的并行彩色共聚焦測量系統的三維重構

張雅麗，余卿，程方，王翀，王寅

基于regionprops函數的并行彩色共聚焦測量系統的三維重構

張雅麗，余卿*，程方，王翀，王寅

（華僑大學 機電及自動化學院，福建 廈門 361021）

針對并行彩色共聚焦測量系統在進行三維重構時質心識別效果差，處理效率低等問題，提出一種高效率、高精度的三維重構方法。該方法首先對三維重構實驗得到的所有圖像進行目標提取和圖像拼接，得到待處理的拼接圖像，通過MATLAB的regionprops函數和形態學處理提取拼接后各個被測點的質心及質心連通區域，并利用顏色轉換算法進行相應的“值-高度”轉換，最后，比較并結合插值擬合算法實現了物體表面三維形貌的重構。為了驗證該算法的可行性，針對一元硬幣的“N”字和“E”字進行處理。實驗結果表明，該系統的軸向測量范圍為80 μm，測量精度可達到微米級別。該算法可以快速有效地實現物體表面三維形貌的還原，相較于傳統方法，處理效率提高5～6倍。

三維形貌測量；彩色共聚焦；并行測量；圖像處理

1 引　言

彩色共聚焦技術作為物體表面三維形貌測量技術之一，常用于厚度測量［1-2］，粗糙度和瑕疵檢測［3-4］，三維重構［5-6］和生物醫療［7］等。與傳統激光共聚焦技術［8］相比，彩色共聚焦技術避免了軸向掃描，提高了測量效率和測量精度。為了提高傳統單點彩色共聚焦系統的測量效率，并行彩色共聚焦測量技術［9-10］應運而生，該技術主要利用光分束器件［11］將一束光分成多束光以實現并行測量。在并行彩色共聚焦測量裝置中，彩色相機采集圖像時常常受到雜散光和離焦光的影響［12］，所采集的每一幅圖像由于圖像質量不同，很難一次性識別所有光點的質心，進行目標被測點的定位、提取和處理。尤其是在并行測量的過程中，采集到的圖像質量較差，質心識別效果差，圖像數量比較多，處理耗時長且效率低。針對這些問題，本文首先利用圖像拼接技術［13-14］將彩色相機采集到的結果用掩膜［15］進行摳圖處理，截取圓形光點的目標區域，圓形的形狀方便了后續的質心識別。之后再將這些目標區域拼接在一起，進一步利用MATLAB的regionprops函數［16-17］進行質心及質心連通區域提取，并結合實驗室自主研發的顏色轉換算法［18］實現“值-高度”轉換，進行物體表面三維形貌的還原和插值擬合［19-20］。本文提出了一種用于并行彩色共聚焦技術的三維重構方法，不僅大大減少了計算量，而且明顯提高了處理效率，能行之有效地實現質心提取以及三維形貌的重構。

2 系統原理及實現

2.1　測量原理及系統搭建

基于光纖束的并行彩色共聚焦測量系統以傳統的單點彩色共聚焦測量技術［21］為基礎，利用光纖束作為光分束器件實現并行測量的效果，其原理如圖1所示。光源發出的復色光經光纖束分束后，通過分光鏡到達色散管鏡［22］產生色散效果，使得不同波長的光線按照一定規律聚焦在光軸不同高度上。其中，只有聚焦在被測物表面的光線，經被測物面反射后能夠通過探測光路的小孔陣列，并由面陣彩色相機接收，而其他波長的光線則無法通過小孔陣列。光纖束出瞳、小孔陣列和被測物表面相對應的焦點三者互為共軛關系。彩色相機拍照后，利用標定結果，根據圖像的不同顏色對應不同的物方高度，結合位移平臺的一維線掃描運動，即可得到整個被測物面的高度信息，從而還原被測物面的三維形貌，達到三維重構的效果。

圖1　基于光纖束的并行彩色共聚焦測量原理

基于光纖束的并行彩色共聚焦測量實驗平臺［23］如圖2所示。

圖2　并行彩色共聚焦測量實驗平臺

2.2　顏色轉換算法

顏色空間是使用一組數值表示顏色的抽象數學模型。并行彩色共聚焦測量系統中所涉及的顏色空間主要是RGB顏色空間和HSI顏色空間，如圖3所示。

圖3　RGB顏色空間與HSI顏色空間

實驗室的前期研究工作表明，彩色圖像的RGB顏色空間可以轉換為HSI顏色空間，而HSI 顏色空間中的色調值可以與物體高度值建立良好的對應關系，即“值-高度”對應關系，因此可以通過顏色轉換算法得到被測點的值，進而得到各個被測點處相應的高度信息，并最終測得整個被測物面的三維形貌。色調表示角度，其范圍為［0，2π］。其中，純紅色的角度為0，純綠色的角度為2π/3，純藍色的角度為4π/3。

根據以上分析，將彩色相機直接采集到的顏色信息RGB值轉換為與波長相關的色調參數值，轉換公式如下：

這里：

2.3　三維圖像采集

231標定

首先，需要對系統進行標定實驗。在標定過程中，被測物以50 μm為固定步距進行軸向移動，在軸向的不同高度位置處彩色相機拍照得到系統成像面不同顏色的變化。以光纖束其中的一根光纖為例，利用實驗室自主研制的顏色轉換算法得到“值-高度”曲線，如圖4所示。

圖4　標定實驗結果

最后，對“值-高度”曲線80 μm線性范圍內的數據進行直線擬合，以光纖1為例，擬合結果如圖5所示。對應的“值-高度”擬合關系式為：

圖5　線性擬合結果

其中：為值，為載物臺的軸向高度。根據標定實驗結果可知：該系統的測量范圍約為80 μm，且所有光纖對應的擬合方程的線性相關系數均在0.99左右。

232三維圖像采集

在進行物體表面三維重構時，實驗選擇一元硬幣背面的“N”字和“E”字作為測量目標，如圖6所示。在測量過程中，位移臺沿垂直于光纖束和系統光軸的方向進行一維線掃描運動，運動方向與光纖束垂直，如圖7中的白色箭頭所示，同時也與系統光軸垂直。位移臺一維線掃描速度為0.025 mm/s，掃描長度為2.5 mm，彩色相機以每秒5張的拍照頻率共拍照得到500張圖像，每張圖像上有42個光纖測量點，共計21 000個光纖測量點。

圖6　一元硬幣實物圖

圖7　“N”字測量示意圖

3 圖像處理算法

3.1　三維重構算法流程

本文提出的三維重構算法結合OpenCV和MATLAB來實現。首先，通過OpenCV庫實現圖像拼接，得到完整拼接圖像之后利用MATLAB中的Regionprops（Get the Properties of Region）函數識別質心并提取質心連通區域。Regionprops函數是MATLAB中用來度量圖像區域屬性的函數，可以用來測量標注矩陣中每一個標注區域的一系列屬性。利用該函數結合形態學處理得到被測點質心之后，再對每個質心連通區域都進行“值-高度”轉換，實現自動識別、定位和處理拼接圖像上所有的被測光點，最終還原得到物體表面的三維形貌。本文提出的圖像處理算法的流程如圖8所示。

圖8　圖像處理算法流程

311圖像拼接

圖像拼接流程如下：依次讀取圖像之后進行圖像預處理、掩膜摳圖、底片融合拼接等。

第一步，圖像預處理。由于相機接收端獲取的圖像像素和尺寸較大，且冗余的背景區域占據較大的處理空間，因此需進行預處理操作，即對所有待處理圖像進行批量旋轉、裁剪等方式來去除冗余的背景區域，只保留待處理的光點區域，以節省內存空間，提高處理效率，預處理前后的圖像如圖9所示。

第二步，掩膜摳圖。掩膜又稱為掩碼，相當于硬件系統中的濾光片。當使用掩膜參數時，操作只會在掩膜值為非空的像素點上執行，并將其他像素點的值置為0，從而可以提取所需要的光點目標像素，屏蔽冗余背景像素，直接生成呈行排列的圓形光點圖像。這里利用自制的掩膜摳取目標圖像，目的是避免圖像中不同位置的光點質量情況不一致而造成根據原圖生成的掩膜不夠準確，影響目標圖像的精度以及后續光點質心的識別。自制掩膜圖像以及利用掩膜摳取的圖像如圖10所示。

圖10　掩膜摳圖的相關圖像

第三步，底片融合。需要先根據并行彩色共聚焦測量得到的彩色圖像的數量和預處理后的尺寸設計一個合適的空白圖片，稱之為底片。設定底片的感興趣區域（Region of Interest， ROI），然后將步驟二中利用掩膜摳取出來的圖像一一按圖11所示的位置關系疊加到底片的ROI中。在圖11中，1，2，…，42分別代表光纖束的光纖序號（圖10中從左至右依次排列）；1，2，…，500分別代表按照時刻依次拍照得到的照片序號?，F將每張照片中每根光纖的位置按照圖11所示的位置關系布置，圖12為拼接完成的圖像，從圖像中可以看到拼接后輪廓清晰可見的字母“N”和“E”。

圖11　ROI中光點的位置關系

圖12　拼接后的“N”字和“E”字

312質心連通區域提取

對拼接好的圖像，需要得到每個被測光點質心的位置坐標以及質心連通區域。在對拼接圖像直接進行質心提取之前，需要對拼接后的字母進行形態學處理，主要涉及數學形態學中的開運算，即先將圖像腐蝕，再對腐蝕結果進行膨脹，從而去除圖像噪點，選取的局部拼接圖像如圖13（a）所示，對原圖進行二值化并取反后的圖像如13（b）所示。如果不經過形態學處理直接利用MATLAB 中的regionprops函數進行質心識別，圖像中的噪點會對質心識別產生一定的干擾，產生如圖13（c）中的圓圈所示的錯誤識別結果。經過形態學處理后的圖像如圖13（d）所示，圖像中的光點在去噪后更加圓滑，利用regionprops函數的屬性“Centroid”和“BoundingBox”可以更準確地提取出質心坐標及質心連通區域，如圖13（e）所示。

Regionprops函數的調用格式為STATS=regionprops（，properties），該函數可用來測量標注矩陣中每一個標注區域的一系列屬性。中不同的正整數元素對應不同的區域，例如：中等于整數1的元素對應區域1；中等于整數2的元素對應區域2；以此類推。返回值STATS是一個長度為max（（：））的結構數組，結構數組的相應域定義了每一個區域相應屬性Properties下的度量。本文中的Properties沒有指定，等于“basic”，即屬性：“Area”“Centroid”和“BoundingBox”。如表1所示，ndims（）是指圖像包含的相應區域的個數。

表1部分Properties屬性介紹

Tab.1　Description of partial properties

本例的各部分區域的“Centroid”（質心）和“BoundingBox”（質心連通區域）如圖13（e）所示。其中，光點圓心為光點質心，光點外部的矩形虛線輪廓為該光點的質心連通區域。依據圖13（e）為例，利用MATLAB中的regionprops函數將500×42個光點的質心位置及質心連通區域全部提取出來。

313二維差值擬合

在得到每個被測光點的質心及質心連通區域之后，將標定實驗得到的“值-高度”線性關系式和圖像中的各個質心連通區域相對應，通過計算每個質心連通區域的平均值，得到相應的高度值，再結合三維繪圖指令進行二維插值擬合。圖14為進行二維插值擬合前的“N”字原始圖像。

圖14　“N”字原始圖像

二維數據插值，即曲面插值。通過構造一個二元插值函數去近似插入更多的插值點，使得圖像更為精確和平滑。常用的幾種插值方法如下：雙線性插值、自然鄰域插值、最近鄰域插值和雙三次插值等。

圖15　“N”字三維重構

雙三次插值法不僅考慮到周圍4個直接相鄰像素點灰度值的影響，還考慮到它們灰度值變化率的影響，因此克服了前面3種方法的不足之處。如圖15（c）和15（b）所示，雙三次插值法能夠產生比雙線性插值更為平滑的邊緣，處理后的圖像質量最佳。

綜上所述，本文選擇雙三次插值作為插值擬合算法還原物體表面的三維形貌。插值擬合后的圖像如圖15（d）所示，圖中所有高度值均為物體的實際高度值。為了驗證雙三次插值算法的可行性，還對硬幣表面的“E”字進行了雙三次插值法處理，處理結果如圖16所示，可見利用雙三次插值法進行插值擬合有較好的三維還原結果。

圖16　“E”字三維重構圖

從還原結果可以看出，該并行彩色共聚焦測量系統具備較好的三維形貌恢復能力，且針對該系統研究的三維重構方法也具備較好的適用性。

3.2　不同算法的比較

傳統的三維重構方法處理流程如圖17所示。本文提出的三維重構方法的不同主要體現在圖像拼接和質心連通區域提取這兩個方面。

圖17　傳統三維重構方法流程

在圖像拼接方面，傳統的三維重構方法在處理三維形貌掃描測量得到的多張圖像時，主要是通過依次對單張圖像進行截圖和質心識別，提取三維物體的質心位置，并通過“值-高度”轉換得到對應質心位置的高度，從而得到被測物體的三維重構圖。與傳統的依次對單張圖像一一進行處理的三維重構方法相比，基于regionprops函數的并行彩色共聚焦測量系統三維重構方法的優勢在于：先利用OpenCV庫將圖像拼接，再對拼接圖像進行三維重構，從根本上避免了同時對多張圖像處理的耗時長和效率低，一定程度上提高了處理效率；在質心連通區域提取方面，傳統的三維重構方法主要是通過對每個質心區域進行二重循環，對軸和軸的數據進行遍歷，即找到每個質心區域的所有像素值對應的軸坐標和軸坐標，對它們進行平均值處理，從而求出質心位置，再對每一個質心區域進行以一定像素為半徑的圓形截取，即可得到每個光點對應的質心連通區域。而本文提出的三維重構方法應用MATLAB中的regionprops函數，可以直接快速地識別被測點質心及質心連通區域，比一般的質心提取算法效率更高。

實際結果表明，利用本文提出的三維重構方法進行物體表面三維形貌還原耗時20 min左右，處理效率提高了5～6倍。兩種方法的處理結果對比如表2所示。綜上，基于OpenCV庫的圖像拼接和MATLAB中regionprops函數的應用提高了并行彩色共聚焦測量的處理效率，利用該方法進行三維重構具有一定的可行性。

表2兩種處理方法結果對比

Tab.2　Comparison of results of two treatment methods

3.3　不同三維重構方法的比較

除了上述本文所提到的三維重構方法之外，這里將蔡司激光共聚焦顯微鏡LSM700和泰勒霍普森表面輪廓儀PGI1240作為參考，與本文所提的并行彩色共聚焦測量方法進行對比，結果如表3所示。

表3本文方法與商用儀器的耗時對比

Tab.3　Time-consuming of proposed method compared with commercial instrument

由表3可知，本文提出的并行彩色共聚焦三維測量系統在保證測量精度的前提下，具備耗時短、效率高的特點。

4 結　論

本文研究了一種基于regionprops函數的并行彩色共聚焦測量系統三維重構方法。該方法在光纖束并行彩色共聚焦原理的基礎上，首先對原始圖像進行圖像預處理，去除冗余背景區域，對預處理后的圖像借助OpenCV庫實現目標區域的摳取和圖像拼接，再利用MATLAB中的regionprops函數提取目標光點的質心及其連通區域，進行“值-高度”轉換，最后根據不同測量位置處的光點對應的不同高度值建立三維圖像，比較不同的插值算法的原理并選擇雙三次插值法進行插值擬合，優化物體表面三維形貌的還原結果。本文提出的算法避免了雜散光和離焦光所導致的圖像噪聲的影響，可以精確地提取出所需要處理的目標光點區域，提高了處理精度，精度在微米級別；同時，圖像拼接的應用也極大地縮短了處理時長，提高了處理效率。實驗結果表明，該算法對材料表面三維形貌的還原結果具備良好的應用和參考價值。

［1］ 馮國華. 基于光譜共焦的厚度檢測系統研究［D］. 杭州：浙江大學， 2020.

FENG G H.［D］. Hangzhou： Zhejiang University， 2020. （in Chinese）

［2］ BERKOVIC G， ZILBERMAN S， SHAFIR E，. Chromatic confocal displacement sensing at oblique incidence angles［J］.， 2020， 59（10）： 3183-3186.

［3］ 何寶鳳，丁思源，魏翠娥，等. 三維表面粗糙度測量方法綜述［J］. 光學精密工程， 2019， 27（1）： 78-93.

HE B F， DING S Y， WEI C E，. Review of measurement methods for areal surface roughness［J］.， 2019， 27（1）： 78-93. （in Chinese）

［4］ DU H L， ZHANG W H， JU B F，. A new method for detecting surface defects on curved reflective optics using normalized reflectivity［J］.， 2020， 91（3）： 036103.

［5］ LUO D， TAPHANEL M， CLAUS D，. Area scanning method for 3D surface profilometry based on an adaptive confocal microscope［J］.， 2020， 124： 105819.

［6］ CHUN B S， KIM K， GWEON D. Three-dimensional surface profile measurement using a beam scanning chromatic confocal microscope［J］.， 2009， 80（7）： 073706.

［7］ OLSOVSKY C， SHELTON R， CARRASCO-ZEVALLOS O，. Chromatic confocal microscopy for multi-depth imaging of epithelial tissue［J］.， 2013， 4（5）： 732-740.

［8］ 趙維謙，王龍肖，邱麗榮，等. 激光聚變靶丸內表面輪廓測量系統的研制［J］. 光學精密工程， 2019， 27（5）： 1013-1023.

ZHAO W Q， WANG L X， QIU L R，. Development of inner-surface profile measurement system for ICF capsule［J］.， 2019， 27（5）： 1013-1023. （in Chinese）

［9］ 張一，余卿，張昆，等. 基于數字微鏡器件的并行彩色共聚焦測量系統［J］. 光學精密工程， 2020， 28（4）： 859-866.

ZHANG Y， YU Q， ZHANG K，. Parallel chromatic confocal measurement system based on digital micromirror device［J］.， 2020， 28（4）： 859-866. （in Chinese）

［10］ HILLENBRAND M， WEISS R， ENDR?DY C，. Chromatic confocal matrix sensor with actuated pinhole arrays［J］.， 2015， 54（15）： 4927-4936.

［11］ 余卿，余曉芬，崔長彩，等. 并行共焦測量中的并行光源技術綜述［J］. 中國光學， 2013， 6（5）： 652-659.

YU Q， YU X F， CUI CH C，. Survey of parallel light source technology in parallel confocal measurement［J］.， 2013， 6（5）： 652-659. （in Chinese）

［12］ CHEN L C， NGUYEN D T， CHANG Y W. Precise optical surface profilometry using innovative chromatic differential confocal microscopy［J］.， 2016， 41（24）： 5660.

［13］ 李玉峰，李廣澤，谷紹湖，等. 基于區域分塊與尺度不變特征變換的圖像拼接算法［J］. 光學精密工程， 2016， 24（5）： 1197-1205.

LI Y F， LI G Z， GU SH H，. Image mosaic algorithm based on area blocking and SIFT［J］.， 2016， 24（5）： 1197-1205. （in Chinese）

［14］ 代少升，姚俐. 基于ROI的高精度紅外全景拼接算法研究［J］. 半導體光電， 2020， 41（4）： 572-577.

DAI SH SH， YAO L. Research on the method of infrared panoramic image mosaic based on ROI［J］.， 2020， 41（4）： 572-577. （in Chinese）

［15］ 王云艷，周志剛，羅冷坤. 基于Sobel算子濾波的圖像增強算法［J］. 計算機應用與軟件， 2019， 36（12）： 184-188.

WANG Y Y， ZHOU ZH G， LUO L K. Image enhancement algorithm based on sobel operator filtering［J］.， 2019， 36（12）： 184-188. （in Chinese）

［16］ 李波，董明利，張帆. 端面不透光的PDMS微柱陣列制備與圖像處理方法研究［J］. 紅外與激光工程， 2018， 47（12）： 380-387.

LI B， DONG M L， ZHANG F. Research of preparation and image processing method of PDMS micropost arrays with opaque top surfaces［J］.， 2018， 47（12）： 380-387. （in Chinese）

［17］ YANG S W， LIN C S， LIN S K，. Automatic defect recognition of TFT array process using gray level co-occurrence matrix［J］.， 2014， 125（11）： 2671-2676.

［18］ 張昆，余卿，邵尊桂，等. 基于彩色相機顏色轉換算法的彩色共聚焦測量方法［J］. 光學學報， 2019， 39（12）： 151-158.

ZHANG K， YU Q，SHAO Z G，. Chromatic confocal measurement method using color camera and color conversion algorithm［J］.， 2019， 39（12）： 151-158. （in Chinese）

［19］ 馬巖，張超子，劉也，等. 采用雙三次插值的空間目標偏振成像［J］. 光學精密工程， 2019， 27（12）： 2555-2563.

MA Y， ZHANG CH Z， LIU Y，. Polarization imaging of space target based on bicubic interpolation［J］.， 2019， 27（12）： 2555-2563. （in Chinese）

［20］ 龔道然，李思寧，姜鵬，等. 激光雷達三維距離像超分辨重構方法研究［J］. 紅外與激光工程， 2020， 49（8）： 60-66.

GONG D R， LI S N， JIANG P，. Research on super resolution reconstruction of laser radar range profile［J］.， 2020， 49（8）： 60-66. （in Chinese）

［21］ RUPRECHT A K， WIESENDANGER T F， TIZIANI H J. Chromatic confocal microscopy with a finite pinhole size［J］.， 2004， 29（18）： 2130-2132.

［22］ 崔長彩，李煌，余卿，等. 彩色共焦系統可調制色散物鏡設計［J］. 光學精密工程， 2017， 25（4）： 343-351.

CUI CH C， LI H， YU Q，. Design of adjustable dispersive objective lens for chromatic confocal system［J］.， 2017， 25（4）： 343-351. （in Chinese）

［23］ 張雅麗，余卿，程方，等. 光纖束并行彩色共聚焦測量系統及實驗研究［J］. 儀器儀表學報， 2020， 41（12）： 23-31.

ZHANG Y L， YU Q， CHENG F，. Parallel Chromatic confocal measurement system based on optical fiber bundle and its experimental study［J］.， 2020， 41（12）： 23-31. （in Chinese）

Three-dimensional reconstruction for parallel chromatic confocal measurement system based on regionprops function

ZHANG Yali，YU Qing*，CHENG Fang，WANG Chong，WANG Yin

（，，361021，），：

To solve the problems of poor centroid recognition and low processing efficiency in 3D reconstruction of parallel chromatic confocal measurement systems， a high efficiency and high precision 3D reconstruction method was proposed in this paper. In this algorithm， target extraction and image splicing were performed on all the experimental images to obtain spliced images. In addition， using the regionprops function in MATLAB， the centroid and its connected area of each measured point were extracted， and the-value and height relationship was constructed with the color conversion algorithm method. Finally， the interpolation fitting algorithm was used to reconstruct the 3D surface topography of the object. To verify the feasibility of the algorithm， the letter “N” and “E” on a one-yuan coin was measured in the author’s self-built parallel chromatic confocal system. The experimental results show that the axial measuring range of the system is 80 μm. Therefore， the measurement accuracy can reach the micron level， and this algorithm can quickly and effectively reconstruct the 3D surface topography of the sample. Compared with the conventional method， the processing efficiency is 5-6 times higher.

three-dimensional profile measurement； chromatic confocal measurement； parallel measurement； image processing

TH742

A

10.37188/OPE.20223001.0045

1004-924X（2022）01-0045-11

2021-04-26；

2021-05-13.

國家自然科學基金資助項目（No.52075190，51505162）；福建省科技計劃項目（No.2019I0013）；華僑大學中青年教師科研提升資助計劃項目（No.ZQN-PY604）

張雅麗（1997），女，安徽六安人，碩士研究生，2019年于山東科技大學獲得學士學位，主要從事光電檢測的研究。E-mail：1612737648@qq.com

余卿（1983），男，江西新余人，博士，副教授，2005年、2011年于合肥工業大學分別獲得學士、博士學位，主要從事光電檢測、精密機械設計等的研究。E-mail：yuqing@hqu.edu.cn