向志聰,張程瀟,白玉磊,賴文敬,王欽若,周延周
(廣東工業大學自動化學院,廣州510006)
隨著激光機器視覺技術在工業生產中的迅速發展,在3維自然紋理[1-2]立體印刷方面,物體表面3維輪廓測量技術應用廣泛。所謂3維自然紋理主要指各種木材紋理、皮革紋理、甚至是人工的油畫紋理。將這些3維紋理高保真地印刷在壁紙、墻紙、家具貼紙、瓷磚和紡織服裝制品上,就是立體印刷。作為平面印刷的升級產業,立體印刷的市場需求大,產業利潤高,是現代化的高精尖產業。由于立體印刷對豐富的細節要求更為嚴格,一般要求x,y方向的測量分辨率高(每英寸點數(dots per inch,DPI)大于1000)和z方向的測量精度高(小于±5μm),本實驗中系統采用的高精度相機鏡頭,并減少鏡頭視場范圍至23mm,x和y方向的測量分辨率可高達到1700DPI。因此本文中實驗系統的3維數據采集精度很高,進行3維數據采集時,難免會存在一些噪聲信息,這時就需要對3維圖像進行濾波處理。傳統的濾波方法有很多,如中值濾波、均值濾波、小波變換降噪等[3-4],雖然這些方法也能有效地去除噪點,但是往往也會去除有用的3維圖像細節信息,使得3維圖像失真。
3維圖像表示圖像中每個像素點都包含空間里3個維度的信息,而3維圖像則表示每個像素點只包含空間里兩個維度的信息。以3維灰度圖像和2維灰度圖像為例,普遍意義下,圖像中都包含x和y方向的信息,主要的區別在于3維灰度圖像中像素點的灰度值則表示被測點z方向的信息,而2維灰度圖像中像素點的灰度值不表示被測點z方向的信息,因此3維灰度圖像和2維灰度圖像存在一定差異,圖像降噪方法也有所差異。
近年來,傳統的濾波算法也有較大的改進,出現了如自適應小波變換降噪[5]、非局部均值降噪[6-7]等濾波算法,但這些算法運用到立體印刷行業上也難以滿足印刷精度的需求。針對立體印刷行業高分辨率3維圖像的濾波問題,本文中提出一種基于空間域的高保真自適應降噪算法,該算法既能保留高分辨率圖像的邊緣、細節等信息[8-9],也能有效去除3維圖像的噪點。因為3維灰度圖像和2維灰度圖像中的邊緣信息和噪聲信息的空間域表現形式大致相同,所以本文中降噪算法可通用。因此,本文中提出的高保真自適應降噪算法在自然紋理樣品的掃描方面具有廣闊的應用前景。
本文中所使用的線激光實驗系統構成如下:線寬為10μm的線激光激光器、SICK公司的Ranger Studio D50 3維相機(連續拍攝速度為1000次/s)、直線步進電機(行程0mm~450mm,重復定位精度5μm)、計算機、運動控制器組成。該線激光實驗系統采集的高分辨率3維圖像具有x和y方向像素點陣分辨率高,3維測量的z方向測量精度高,3維圖像細節豐富等優點。實驗系統結構如圖1所示。其中相機為互補金屬氧化物半導體(complementary metal-oxide semiconductor,CMOS)相機。

Fig.1 System configuration
實驗中系統所采用的是基于線激光與3維相機組成的三角測量高度方法[10-11]。三角法測量高度原理就是當一束線激光投射在被測樣品表面,原來平直的線激光被物體表面輪廓高低所改變,最終在3維相機的像平面上的成像也發生相應的位移。通過計算3維相機成像位移的大小,可以得出物體表面的實際高度信息,激光器和3維相機組成的測量結構如圖2所示。

Fig.2 Triangulation measurement of laser
假設線激光中某一光點在CMOS相機像平面上的成像位移為x,由下式可計算出被測樣品表面上該點的實際高度差:

式中,a為3維相機物距;b為3維相機像距;θ為激光器中軸與相機中軸之間的夾角。
在現實工業生產中,因受到成像裝置和外部環境的干擾,如3維相機曝光時間、光照強度等因素影響,3維圖像會含有一定的噪聲信息。這些噪聲干擾信息會造成3維圖像的成像質量下降,影響人們對3維圖像的觀察和應用。因此,需要把噪聲信息從3維圖像有效圖像信息中分離出來,這就稱為圖像降噪。圖像降噪的主要目的在于盡可能多地檢測圖像的細節、邊緣,保留原始圖像的細節、邊緣等具體信息的同時,去除圖像中的噪聲信息,還原物體的真實面貌。本文中以花草自然紋理皮革材料為被測物,實物圖如圖3所示。實驗中測量皮革材料的表面輪廓數據所得的部分噪點圖像,如圖4所示。

Fig.3 Natural texture of leather material of flowers
在完成高分辨率的3維圖像數據采集后,必須在保存3維圖像邊緣、細節部分的條件下,去除3維圖像中的噪聲信息。實驗中所得到3維圖像是灰度圖像,Z表示z方向的灰度大小,3維圖像的灰度從黑到白分為0~255,即當灰度值為0時,在圖像中呈黑色,表示z方向最小值,當灰度值為255時,在圖像中呈白色,表示z方向最大值。

Fig.4 Noisy point
一般情況下,在3維測量過程中容易產生兩種噪點:一種是Z值極大的點,在圖像上呈白色,產生的原因是相機曝光時間過大,使COMS相機由于內部電路產生的噪聲點顯現出來;另一種是Z值極小的點,在圖像上呈深黑色,產生的原因是曝光時間不足或者光路被物體所遮蓋所致。
搜索噪聲主要采用循環的動態閾值比較法,即噪聲搜索窗口循環調整窗口階數,并對噪聲進行搜索。本文中3維圖像以像素點為考察對象,不同的灰度值對應著不同的z方向數值,即表示該點高度值。首先對3維圖像預處理,去除毛刺噪聲,可建立一個與3維圖像矩陣大小一致的零矩陣,記為M,用于記錄噪點的位置。然后求取3維圖像z方向數據的平均值Zm,若像素點的Z值減去這個均值Zm后,所得結果的絕對值大于設定的閾值V,則將對應像素點判定為壞點,M矩陣相應的位置的元素置1。
3維圖像預處理后,循環使用不同階數的搜索窗口對3維圖像的各像素點進行噪點判斷搜索,搜索3維圖像的噪點位置,噪點判斷的方法是根據不同階數搜索窗口的動態閾值[12-13],若某一像素點的灰度值與搜索窗口內均值的差值大于該動態閾值,則將該像素點判斷為噪點,則在M矩陣相應的位置的元素置1,M矩陣已置1的像素點則不進行上述處理。
在本文實驗中,所測量的樣本為3維自然紋理的皮革材料,假設3維皮革圖片的灰度值標準差為σ,則3維圖像預處理的毛刺噪聲閾值V設定為3σ。掃描整幅3維圖片,若某一像素的灰度值與圖像灰度均值的差值大于此閾值V,則判定此點為噪點,M矩陣相應的位置的元素置1,預處理的噪點判定公式如下:

式中,Z(xi,yj)表示某一像素點的灰度值,Zm表示圖像灰度均值。
完成上述步驟后,此時m階動態窗口由3×3變化到15×15,對3維圖像循環使用不同階數的窗口進行噪點搜索。搜索窗口搜索噪點的方法是使用搜索窗口中心點的值與窗口里其它點的值進行比較,若比較值大于某一閾值,則將該點判定為R點,否則為S點,設窗口內除去中心點后的標準差為σ,則此搜索窗口的動態閾值Vb為3σ,則R點判定由下式可得:

若R點數量大于S點數量,則將此搜索窗口的中心點判定為噪點,M矩陣相應的位置的元素置1,對M矩陣已置1的像素點不進行上述處理。
假設邊緣點R的數量NR,邊緣點S的數量NS,以3階搜索窗口為例,如圖5所示。

Fig.5 Third-order search window
由圖5可得,3階窗口邊緣點R的數量NR=5,邊緣點S的數量NS=3,則窗口中心點A的噪聲判定可由下式可得:

單次m階動態搜索窗口循環搜索后,搜索窗口由左至右,由上至下逐步移動,每次移動一列(行)像素,移動后繼續進行上述比較,繼續進行上述噪聲比較,M矩陣已置1的像素點不進行上述處理。最后可得到M矩陣,M矩陣中置1元素則對應著3維圖像的噪聲位置。
傳統濾波方法中,以空間域的均值濾波、中值濾波最為經典,但是空間域濾波方法對窗口的選用存在很大的依賴性,若濾波窗口較小,則窗口內噪點較多,不利于濾波處理,若濾波窗口較大,濾波處理后的值與噪聲真實值存在較大差異。
作者提出的噪聲濾波方法是一種自適應的均值濾波方法,即濾波窗口可自動調整窗口階數大小,并對采用最佳的濾波窗口對窗口內的中心噪聲進行均值濾波處理。具體的噪聲濾波方法是:得到M矩陣后,M矩陣中置1元素則對應著3維圖像的噪聲位置,然后m階動態濾波窗口由3×3變化到15×15,若搜索窗口內的正常像素數量大于噪點像素數量時,則使用該濾波窗口對該窗口的中心噪點進行均值濾波處理,否則濾波窗口階數增加,再進行上述判斷,直至窗口內的正常像素數量大于噪點像素數量,再使用該濾波窗口對該窗口的中心噪點進行均值濾波處理。以3階濾波處理為例,如圖6所示。

Fig.6 Third-order filter window
在圖6中,在以噪點為中心的3×3濾波窗口內,在邊緣的8個像素點中,標記的像素點為噪點,其數量Nn=4,未標記的像素點為正常像素點,其數量Na=4。因為窗口內的正常像素數量不大于噪點像素數量,所以不能使用3×3濾波窗口對該窗口的中心噪點進行濾波處理。此時,濾波窗口階數增加,變為5×5濾波窗口,如圖7所示。

Fig.7 Fifth-order filter window
在圖7中,在以噪點為中心的5×5濾波窗口內,在邊緣的24個像素點中,標記的像素點為噪點,其數量Nn=4,未標記的像素點為正常像素點,其數量Na=20,因為窗口內的正常像素數量大于噪點像素數量,所以能使用5×5濾波窗口對該窗口的中心噪點進行濾波處理。對濾波窗口邊緣的正常像素點的灰度求均值,然后將所求得的值替代中心的噪點值,正常值不變,如果邊緣點也有噪點,則將此噪點的灰度值取零,濾波后的噪點灰度值為:

式中,m為濾波窗口階數,Nn為邊緣噪點數。本例中m=5,Nn=4,Z(x(m+1)/2,y(m+1)/2)為噪點的高度值。
因此,作者提出的自適應均值降噪算法,能循環變化噪點搜索窗口的階數,并采用動態閾值法對噪聲搜索,也能自動調整濾波窗口階數,并采用最佳的濾波窗口對窗口中心噪聲點進行均值濾波。對比傳統的均值濾波,本文中提出的自適應降噪算法克服了對窗口階數的依賴,是一種較好的濾波方法。
在實驗中,以3維紋理的皮革材料為被測物體,通過拍攝測量兩組皮革材料不同部位的表面輪廓數據,以作者提出的高保真自適應降噪算法對實驗所得的高分辨率圖片(大于1700DPI)進行濾波處理,并與傳統的均值降噪、小波變換降噪的降噪效果進行對比,得到如圖8所示的實驗效果圖,其中圖8a~圖8d為第1組,圖8e~圖8h為第2組。
通過本文中的降噪算法與均值降噪算法、小波降噪算法進行對比。圖8中區域A表示3維圖像噪點區域,可明顯看出,均值降噪(見圖8b和圖8f)和本文中自適應降噪(見圖8d和圖8h)的區域A中,降噪效果相當,平滑效果較好;小波降噪效果(見圖8c和圖8g)次之,仍存在部分噪聲。區域B表示3維圖像邊緣區域。均值降噪效果圖中(見圖8b和圖8f),由于均值濾波造成圖像邊緣鈍化,細節模糊不清;小波降噪效果圖中(見圖8c和圖8g),圖像細節得以保存,邊緣效果較好;自適應降噪效果圖中(見圖8d和圖8h),更多圖像細節部分得以保存,邊緣效果最好。從實驗結果來看,本文中提出的自適應降噪算法降噪效果比較好,對噪點濾波明顯,平滑效果較好,也能較好保留圖像的邊緣、細節等信息,能滿足立體印刷精度的要求。

Fig.8 Partial denoising effect of natural texture of flowers leather
提出了一種針對高分辨率3維圖像的自適應濾波方法。該方法利用動態搜索窗口,根據該動態搜索窗口的閾值,尋找圖像中的噪點,并自動選擇最佳的濾波窗口對噪點進行均值濾波。最后對該濾波方法進行檢驗,并將本文中提出的降噪算法的降噪效果與均值降噪算法、小波降噪算法的降噪效果進行對比,對比結果中發現,本文中提出的降噪算法既可保存圖像的邊緣、細節部分信息,也可在噪點處實現平滑處理,對圖像的降噪效果較好,高分辨率圖像不失真,從而很好解決了立體印刷行業對3維立體掃描數據的高精度要求這一大難題。
[1] OJALA T,PIETIKAINEN M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Pattern Analysis and Machine Intelligence,2002,24(7):971-987.
[2] HE F Q,WANG W,CHEN Z C.Automatic visual inspection for leather manufacture[J].Key Engineering Materials,2006,326/328:469-472.
[3] GUPTA G.Algorithm for image processing using improved median filter and comparison of mean,median and improved median filter[J].International Journal of Soft Computing and Engineering,2011,1(5):2231-2307.
[4] BULTHEEL A.Empirical Bayes approach to improve wavelet thresholding for image noise reduction[J].Journal of the American Statistical Association,2001,96(454):629-639.
[5] CHANG S G,YU B,VETTERLI M.Adaptive wavelet thresholding for image denoising and compression[J].IEEE Image Processing,2000,9(9):1532-1546.
[6] LIU Y L,WANG J,CHEN X,et al.A robust and fast non-local means algorithm for image denoising[J].Journal of Computer Science and Technology,2008,23(2):270-279.
[7] SALMON J.Two parameters for denoising with non-local means[J].IEEE Signal Processing Letters,2010,17(3):269-272.
[8] RAGHAVAN U N,ALBERT R,KUMARA S.Near linear time algorithm to detect community structures in large-scale networks[J].Physical Review,2007,E76(3):036106.
[9] MARTIN D R,FOWLKES C C,MALIK J.Learning to detect natural image boundaries using local brightness,color,and texture cues[J].IEEE Pattern Analysis and Machine Intelligence,2004,26(5):530-549.
[10] WANG Ch,ZHAO B.Research of thin plate thickness measurement based on single lens laser triangulation [J].Laser Technology,2013,37(1):6-10(in Chinese).
[11] ZHANG H X.Study on building modeling based on 3-D laser scanning technology[J].Laser Technology,2014,38(3):431-434(in Chinese).
[12] GAL Y,MEHNERT A J H,BRADLEY A P,et al.Denoising of dynamic contrast-enhanced MR images using dynamic nonlocal means[J].IEEE Medical Imaging,2010,29(2):302-310.
[13] CAI T,ZHU J.Adaptive selection of optimal decomposition level in threshold de-noising algorithm based on wavelet[J].Control and Decision,2006,21(2):217.