一種強反射表面高光去除方法

林剛 魏欣 呂哲 余志堅 胡思親

摘要：針對陶瓷、塑料和玻璃等材質在較為復雜的曲面形狀下容易產生多區域、大面積的過飽和高光反射以及光照不均等現象，傳統基于局部區域的高光去除方法存在工作量大且效果不佳的問題，難以達到預期目標。因此，本文提出一種基于多角度光源采集的多幅圖像，結合整體圖像融合和同態濾波方法，實現高光圖像整體去除，極大緩解光照不均的問題，提高圖像整體質量。為了驗證此方法的普適性和魯棒性，使用此方法分別對手機外殼、礦泉水瓶、塑料袋、金屬零件、玻璃瓶和陶瓷盤等六種不同材質或空間形狀進行高光去除實驗。實驗結果表明，本文提出的高光去除方法能有效去除圖像的所有高光區域，顯著緩解圖像光照不均問題，增強圖像對比度，特別是對存在大面積高光或暗影區域的圖像的質量改善具有顯著作用。

關鍵詞：高光去除；圖像融合；同態濾波

中圖分類號：TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2024）08-0020-04

開放科學（資源服務）標識碼（OSID）

0 引言

隨著科學技術的高速發展，機器視覺的理論和實踐也在不斷完善和走向成熟，在工業界也得到了越來越廣泛的應用。將機器視覺用于檢測金屬、玻璃、皮質、陶瓷等低紋理材料的曲率、尺寸、裂痕缺陷等，這些材料往往具有光滑曲面和無紋理的特性，并且經常需要被加工成各種復雜的曲面形狀，從而產生高光區域和光照不均現象，可能會覆蓋有效的紋理信息，甚至是導致局部紋理信息完全丟失。機器視覺用于檢測物體缺陷的第一步便是采集到對比度高、光照均勻的高質量圖像，這是機器視覺運用在工業檢測的起始點。因此，多年來，圖像的高光去除和光照不均的解決一直都是圖像處理領域的關鍵點和難點所在。

目前，基于高光去除的圖像修復技術按照輸入圖像數量分為單幅和多幅圖像處理方法兩大類。前者最早由Shafer[1]提出，他提出物體表面光線由鏡面反射和漫反射兩部分構成的雙色反射模型，奠定了基于光譜分析和顏色統計的高光去除方法的基礎。按照處理方法的不同，可以細分為顏色空間分析、像素空間領域分析和其他方法三大類，分離出圖像的高光反射分量（specular component） 和漫反射分量（diffuse component） 。在顏色空間分析方面，Klinker等[2]人根據漫反射像素和高光區域像素的T型分布規律，將顏色矢量進一步分離成物體表面本身和光源本身的顏色矢量，從而達到高光去除的目的。在像素空間領域分析方面，Tan等[3]利用高光區域周圍像素的顏色和紋理信息，基于補色理論去除高光區域。在其他方法方面，Pesal等[4]利用主成分分析法和直方圖均衡化實現高光去除。

另外一類是多幅圖像的處理方法，這里又可以細分為多光源法和多視角法兩種。在多光源法方面，Lin 等[5]通過不同角度光源采集的兩張圖像，并基于線性基底函數去除非透明物體表面高光；Feris 等[6]利用四個閃光燈獲取四張彩圖圖像，使用中值梯度圖來進行復原，弱化高光區域；Agrawal等[7]基于相干圖和梯度向量場復原圖像去除高光。在多視角法方面，Lee[8]最早在1992年通過對高光區域周圍的紋理特征的分析，對多幅不同視角圖像進行匹配融合處理，復原高光區域的同時，盡可能保留原始紋理信息，這也是基于多視角下高光去除方法主要理論指導；汪鋮杰[9]通過匹配融合不同視角塑料薄膜圖像的特征輪廓去除其高光區域；何嘉林[10]使用ORB方法進行特征點匹配，基于泊松融合的思想實現不同視角圖像的高光去除。

綜上所述，目前兩種高光去除方法在不同的方面存在一些問題。對于基于單幅圖片的方法，存在一些共同的局限性。1） 無法區分高光和白色物體表面。2） 物體表面材質必須滿足雙色反射模型。3） 只能解決不飽和高光區域。因此，這些方法對物體材質和光照條件都有著相當苛刻的要求。在多幅圖片的方法，多視角方法通常存在立體視覺匹配問題，基于SURF[11]特征描述子等方法，用于解決多幅圖像的坐標匹配問題，但對于陶瓷等物體來說，由于無紋理的客觀條件，導致特征匹配效果極差，甚至把不同視角的圖像中的高光區域進行錯誤的匹配，會嚴重影響后續的高光去除效果；而多光源方法，雖然不用考慮不同圖像之間的匹配問題，但是后續的高光區域的檢測和復原步驟中，則可能出現高光區域提取不準確、復原算法復雜、適應性較差等問題。針對以上兩種方法存在的問題，考慮到陶瓷胚盤等材質物體高光去除的特點和難點，本文基于多光源和多視角相結合的思想，采用多光源方法采集高光不重疊的多幅圖像，在對應位置最小灰度值方法取代多視角方法中較為復雜的圖像融合方法，然后將融合后的圖像從RGB空間變換到HSV空間中，使用同態濾波算法處理V通道圖像，將處理后的V通道圖像與之前的H和S通道圖像重新組合，最后重新轉換回到RGB空間。這種方法在保持圖像顏色信息的同時，解決了融合算法導致圖像整體偏暗、對比度偏低和光照不均勻等問題。

1 圖像采集

針對多幅圖像的配準和變換矩陣的問題，本文采用多光源方法，在特定位置分別布置多個光源（此處選取三個）達到獲取多幅圖像的目的，如圖1所示，詳細步驟如下：

1） 按圖1所示場景布置整個采集系統，固定相機和陶瓷產品的位置，并且整個采集系統使用黑布遮蓋。

2） 使三個光源相對于相機和物體分布在同一高度，三個光源各自相距120度，同時，保持同樣大小型號和功率的光源，并保持初始狀態下只有其中一個光源開啟，其他兩個光源處于閉合狀態。

3） 拍攝初始光源的圖像，然后關閉此光源，依次開啟和關閉其他兩個光源，得到另外兩張圖像，總共得到三張多光源圖像以進行后續流程。

4） 拍完第三張圖像之后，不關閉此光源，把此光源當作下一個物體的初始光源，讓2、3步驟依次反復進行，得到一系列所需的多幅圖像。

經過本文設計的圖像采集系統的步驟得到的3幅圖像，因為相機和物體固定的原因，就保證了3幅圖像的視角相同，焦距相同，前景目標的位置也相同，只有高光區域的位置不同。這樣就可以省去比較復雜的圖像配準得到變換矩陣的步驟，可以降低算法復雜度和提高整體的圖像處理效率。

2 MIF-HF方法高光去除

2.1 多光源圖像融合

多光源圖像融合方法通過分別開啟各角度光源，控制相機拍攝圖像。將光源開啟下所拍攝的多張灰度圖像利用具有某種準則的融合算法，合成一張新的圖像，從而避免因為鏡面反射等因素所造成的日用陶瓷成像不佳的問題，降低后續圖像處理的難度。為了降低拍攝系統的復雜性，本算法采用3個角度光源進行圖像融合。

考慮到陶瓷材質的強反射特性，在成像時，會產生較大面積和較為強烈的高光區域，高光去除難度較大。因此，在有了3幅高光區域不重疊圖像的前提下，使用基于最小灰度值的方法進行圖像融合。具體的計算公式如下：

[Inewu，v=minIRu，v，IGu，v，IBu，vu∈1，m;v∈1，n] （1）

式中，m和n分別為圖像的寬和高，[IRu，v，IGu，v，IBu，v]為采集的三張圖像分別在RGB三通道對應[u，v]坐標位置的灰度值，[Inewu，v]是融合后的新圖像。

根據上述融合算法公式，可以對采集的多光源圖像進行融合處理。融合后的圖像可以完全去除高光區域，高光去除前后的對比如圖2所示。

在圖2中，（a）、（b）、（c）和（e）、（f）、（g）分別為兩組高光去除前的圖像，（d）和（h）為去除高光后的圖像。通過對比，可以看出此圖像融合方法能夠很好地去除高光區域。然而，去除高光后圖像的亮度和對比度偏低，因此需要使用圖像增強技術進行調整。

2.2 同態濾波增強

針對前面高光去除算法帶來的亮度和對比度偏低的問題，可以采用同態濾波[12]方法進行圖像增強，同態濾波最大的優點在于可以消除不均勻照度的影響而又不過分損失圖像細節紋理信息。根據照射-反射模型[13]，一幅圖像[fx，y]可以表示為其照射分量[ix，y]和反射分量[rx，y]的乘積，反射模型為：

[fx，y=ix，y?rx，y]? （2）

式中，[f（x，y）]為原圖像; [i（x，y）]為照射分量；[r（x，y）]為反射分量。將公式（2）兩邊取對數，得到：

[fx，y=Inix，y+Inrx，y] （3）

將公式（3） 做傅立葉變換：

[Fx，y=Ix，y+Rx，y]? （4）

用頻域增強傳遞函數[H（x，y）]處理[F（x，y）]，得到：

[Fx，y?Hx，y=Ix，y?Hx，y+Rx，y?Hx，y]? （5）

式中，[H（x，y）]為同態濾波傳遞函數，這里取高頻增強濾波器，非常接近于高斯高通濾波器，公式為：

[Hx，y=H-L?1-exp-k?D2x，y2?D20+L]? （6）

式中，[H]為高頻增益，[L]為低頻增益，[D0]為截止頻率，[k]為銳化系數，以點 [（x0，y0）]為濾波中心的頻域距離計算公式為：

[Dx，y=x-x02+y-y0212]? （7）

將頻域增強后的圖像變換到空域中，得到：

[f*（x，y）=i*（x，y）*r*（x，y）]? ?（8）

將上式兩邊取指數進行還原，得到：

[expf*（x，y）=expi*（x，y）*expr*（x，y）]? （9）

通過如下公式：

[f**（x，y）=expf*（x，y）i**（x，y）=expi*（x，y）r**（x，y）=expr*（x，y）] （10）

可以得到：

[f**（x，y）=i**（x，y）*r**（x，y）] （11）

本文選取同態濾波系數中的H=2.5，L=0.5，k=1，D0=500，截止頻率D0為經驗值和反復調試后的結果。原始圖像[fx，y]經過上述步驟同態濾波處理后，得到亮度均衡且對比度較高的高質量增強圖像[f**（x，y）]。然而，同態濾波只能處理單通道圖像。如果將原始RGB三通道圖像轉換成灰度圖像進行同態濾波，最后得到的也是灰度圖像，會丟失原本豐富的顏色細節，若對RGB三通道圖像拆分后，分別進行同態濾波增強，最后重新合并后的三通道圖像效果很差。針對這兩種處理方法，筆者已經進行了多次嘗試，但存在一定問題。因此，本文采用將原始圖像從RGB空間轉換到HSV空間，HSV是一種比較直觀的顏色空間。在HSV空間中，H代表色調（Hue） ，S代表飽和度（Saturation） ，V代表明度（Value） ，我們可以改變明度，而不影響色調和飽和度，可以盡可能保留原始的顏色細節。這種特性剛好解決了本文的問題。只對明度通道進行同態濾波，色度和飽和度保持不變。再將同態濾波增強后的明度通道和原始的色度和飽和度合并，最后轉換到RGB顏色空間中，就能較好地解決此問題。

對陶瓷樣本進行同態濾波增強前后的圖像如圖3所示。

圖3中，（a）和（b）為同態濾波前的圖像，（c）和（d）為同態濾波后的圖像。可以看到，經過同態濾波后的圖像，亮度和對比度都明顯提高。

3 實驗及分析

本文實驗采用的硬件配置包括CPU 3.60 GHz （R） W-2133、RAM 64G、Windows 10 64位操作系統。編譯軟件為Python 3.6.0和OpenCV 3.4.2.16。采集設備為鋁合金制作的暗室，配備一臺大恒圖像的工業相機和三個LOTS樂視機環形光源。本文利用圖1中的圖像采集系統分別采集了其他6種不同材質的物品圖像，包括手機充電器、手機套背面、金屬套筒、玻璃燒杯、塑料袋和礦泉水瓶。具體實驗對象分布如表1所示，旨在驗證本文方法的通用性和適應性。

3.1 定性分析

定性分析是通過人眼主觀感受來觀察高光去除方法處理前后結果的直觀視覺效果，以判斷亮度是否更加均衡，圖像質量是否更高。本文選取了手機外殼、礦泉水瓶、塑料袋、金屬零件、玻璃瓶和日用陶瓷盤等6種不同材質和空間形狀的圖像作為實驗對象，圖4展示了同態濾波處理前后的效果。

從圖4中可以觀察到，同態濾波處理前的圖像雖然成功去除了高光區域，但整體偏暗，且在曲率較大的地方出現了光照不均勻的問題，紋理信息也不明顯。特別是金屬零件和玻璃瓶由于物體本身的空間形狀導致了較大面積的高光和暗影區域，影響了圖像的觀感和質量，也不利于后續的圖像處理操作。

而經過同態濾波處理后的圖像，則克服了上述問題，使得6種材質圖像的整體亮度適中，光照不均問題得到了緩解，紋理信息變得更加明顯。特別是金屬零件和玻璃瓶處理后的效果尤為顯著。本文方法處理后的圖像具有更好的視覺效果，亮度適中，對比度也顯著提高。

3.2 定量分析

在定量分析方面，通常使用常見的圖像評價指標參數，如峰值信噪比、信息熵、平均相似度等。然而，本文提出的方法不僅可以解決物體成像中較大面積高光和暗影區域的問題，還可以去除圖像的高光區域，同時調整圖像整體的對比度，使圖像的亮度更加均勻，是一種全局的圖像增強方法。這種方法不可避免地會較大程度地改變原始圖像的灰度值，導致這些評價指標很難完全反映本文方法的優越性和有效性。因此，在這里只使用對比度作為客觀評價指標。

對比度[14]是反映圖像紋理等特征清晰度的指標。對比度越大，表明圖像的紋理特征越清晰；相反，對比度越小，表明圖像的紋理越模糊。對比度的計算公式如下：

[C=δδ（i，j）2Pδ（i，j）] （12）

式中，[δi，j]為相鄰像素間的灰度差值，[Pδi，j]為相鄰像素間灰度差為[δ]的像素分布概率。

實驗結果如表1所示，我們可以看出，6種不同材質物體的實驗結果表明，所有實驗樣本圖像經過同態濾波處理后，平均亮度和對比度兩個指標都有了顯著的提高。

綜上所述，本文提出的方法不僅能有效去除圖像高光區域，同時還能極大地改善物體光照不均勻現象。通過定量和定性的觀察分析，結果表明本文提出的方法對高光圖像進行處理后，圖像紋理更加清晰，效果更好，質量更高。

4 結束語

為了解決光滑曲面材質形成的鏡面反射導致的高光和光照不均問題，本文提出了一種將圖像融合與同態濾波相結合的圖像處理方法。首先構建了不同光源角度下的多幅圖像采集裝置，確保不同角度下圖像高光區域位于不同位置。使用基于最小像素值方法對多幅圖像進行融合，徹底消除圖像的高光區域。融合后的圖像雖然去除了高光區域，但隨之而來的是圖像整體亮度偏低，對比度偏低的問題。為了解決這一問題，首先將融合后的圖像從傳統的RGB空間轉換到HSV空間，對亮度通道V進行同態濾波處理，調整其亮度值和對比度。然后將處理后的V通道圖像重新組合，重新轉換到RGB空間，完成整個高光去除過程，得到處理后的RGB三通道圖像。這種方法不僅去除了圖像的高光，還極大地改善了圖像的亮度不均等問題，顯著提高了圖像的整體質量，是一種全局的圖像處理方法。

在整個處理過程中，關于同態濾波算法中截止頻率的選擇，本文通過大量的實驗驗證，不同的截止頻率對實驗中的六種不同實驗組的影響非常小。最重要的是圖像采集過程，通過不同角度光源采集的多幅圖像，雖然設置了嚴格的實驗條件，如亮度相同、角度和高度均勻分布，但在實際操作中，往往無法確保圖像采集條件與理論情況完全一致。本文在實際的圖像采集階段也只能盡量確保實驗條件接近理想情況，并通過實驗驗證了本文提出的算法對實際圖像采集條件具有較大的適應性和通用性。唯一需要注意的是，要盡可能保證均勻分布的光源使得不同光源角度下的圖像光源位于不同的區域位置，才能更好地使用本文算法達到最理想的處理效果。

參考文獻：

[1] SHAFER S A.Using color to separate reflection components[J].Color Research & Application，1985，10（4）：210-218.

[2] KLINKER G J，SHAFER S A，KANADE T.The measurement of highlights in color images[J].International Journal of Computer Vision，1988，2（1）：7-32.

[3] TAN R T，IKEUCHI K.Separating reflection components of textured surfaces using a single image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（2）：178-193.

[4] Pesal K， Markku H K.， Jussi， P. Highlight removal from single image [J]. Advanced Concepts for Intelligent Vision Systems， 2009， 58（7）： 176-187..

[5] LIN S，SHUM H Y.Separation of diffuse and specular reflection in color images[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.CVPR 2001.Kauai，HI，USA.IEEE Comput.Soc，2001：341-346.

[6] FERIS R，RASKAR R，TAN K H，et al.Specular reflection reduction with multi-flash imaging[C]//Proceedings.17th Brazilian Symposium on Computer Graphics and Image Processing.Curitiba，Brazil.IEEE Comput.Soc，2004：316-321.

[7] AGRAWAL A，RASKAR R，NAYAR S K，et al.Removing photography artifacts using gradient projection and flash-exposure sampling[J].ACM Transactions on Graphics，2005，24（3）：828-835.

[8] LEE S W，BAJCSY R.Detection of specularity using color and multiple views[M].Computer Vision - ECCV'92.Berlin，Heidelberg：Springer Berlin Heidelberg，1992：99-114.

[9] 汪鋮杰.基于多視角的去高光技術及應用[D].上海：上海交通大學，2014.

[10] 何嘉林，唐露新，林永強.基于融合技術的圖像去高光方法[J].科學技術創新，2018（6）：90-92.

[11] SONG Z L，ZHANG J P.Remote sensing image registration based on retrofitted SURF algorithm and trajectories generated from lissajous figures[J].IEEE Geoscience and Remote Sensing Letters，2010，7（3）：491-495.

[12] 朱志勛，趙磊，李恒，等.基于改進的同態濾波與Canny算法的磁瓦表面缺陷檢測算法研究[J/OL].激光與光電子學展，2021：1-12.（2021-08-05）[2022-07-04].https：//kns.cnki.net/kcms/detail/31.1690.tn.20210804.1202.040.html.

[13] GONZALEZRC， WOODSRE. DIGITAL image processing[J]. Prentice Hall International ， 2008， 28（4）： 484-486

[14] 蔡文婷，趙書河，王亞梅，等.結合Sentinel-2光譜與紋理信息的冬小麥作物茬覆蓋度估算[J].遙感學報，2020，24（9）：1108-1119.

【通聯編輯：唐一東】