劉升云,徐業(yè)民,譚曉東,徐力巖,曹江浩
(1.大連交通大學(xué) 電氣信息工程學(xué)院,大連116028;2.中車齊齊哈爾車輛有限公司鑄鋼分廠,齊齊哈爾161000;3.大連交通大學(xué) 機械工程學(xué)院,大連116028)
如今,清理車鉤主要是利用人力進行清理工作,大量的粉塵使得人們的健康出現(xiàn)問題以及整個作業(yè)的難度加大,即耗時又有害健康,因此利用機器人進行清理工作獲得廣泛研究,這需要利用視覺檢測方法將鑄件的特征信息傳輸給機器人進行操作[1]。
在實際惡劣鑄件生產(chǎn)環(huán)境中,由于視覺系統(tǒng)獲取到的圖像可能會受到粉塵和光照不均等影響,所以原來的圖像不能夠直接用來實驗,要對圖片進行預(yù)處理來淡化背景、消除噪聲以及突出鑄件的整體特征。圖像預(yù)處理主要是對比度增強-圖像增強和圖像的平滑處理[2]。
圖像增強的目的是采用一系列的技術(shù)改善圖像的視覺效果或是將圖像轉(zhuǎn)換為人或者機器更適于理解或者分析處理的方式,有選擇的突出對人或機器分析有意義的信息,抑制無用的信息,提高圖像的使用價值[3]。
對比度的增強主要是灰度變換法和直方圖調(diào)整法,其中灰度變換法包括線性變換、對數(shù)變換和指數(shù)變換。 當(dāng)圖像成像過程中可能由于曝光不足或者過度,設(shè)備的非線性及圖像記錄設(shè)備動態(tài)范圍太窄等因素,會產(chǎn)生對比度不足的問題,使得圖像的某些細節(jié)分辨不清,這時需要將圖像的灰度范圍進行線性的擴展[4]。 函數(shù)表達式為設(shè)f(x,y)的灰度范圍在[a,b],而g(x,y)灰度范圍在[c,d],則有:

另一種直方圖調(diào)整法是間接對比度增強法,包括直方圖拉伸和直方圖均衡化兩種增強方法。 下面是關(guān)于直方圖的計算,圖像的灰度統(tǒng)計直方圖是1-D 的離散函數(shù):

式中:sk是圖形f(x,y)的第k 級灰度值;nk是圖形f(x,y)的第k 級灰度值的個數(shù);n 是圖像像素總數(shù);p(sk)是灰度值概率估計。 當(dāng)直方圖顯示灰度分布狀況, 也就意味著給出了圖像的灰度值整體情況描述。 表達式為

式中:ps(sk)為原來圖像的第k 個灰度級的概率;nk為自變量,得到的曲線為直方圖。 增強函數(shù)還需要滿足以下2 個條件:
(1)EH(s)在0≤s≤L-1 范圍內(nèi)是單增函數(shù);
(2)對0≤s≤L-1 有0≤EH(s)≤L-1。
累積分布函數(shù)(CDF)滿足上面的2 個條件之后,能夠使s 分布轉(zhuǎn)為t 均勻分布, 其實s 的CDF 就是原來圖像的累積直方圖,基于這種情況有:

由上面的公式可以說明,原圖像直方圖可以直接算出直方圖均衡化后各個像素的灰度值,實際情況需要對tk取整以達到數(shù)字圖像的要求。
通過以上的方法介紹,應(yīng)用到實際當(dāng)中進行處理,得到原鑄件圖像與增強后圖像的對比(如圖1)。其中直方圖的橫坐標(biāo)表示像素的值域,而縱坐標(biāo)表示直方圖范圍。 從下面幾幅圖片中,可見在改用增強算法能夠使得圖像的均衡化直方圖舒展開來。

圖1 原始圖像與增強圖像的對比Fig.1 Contrast between original image and enhanced image
圖像平滑處理是一類局部預(yù)處理方法,主要用于抑制圖像噪聲,利用了圖像數(shù)據(jù)的冗余性,處理的方法一般有高斯濾波、均值濾波和中值濾波等[5]。
均值濾波(如圖2)是當(dāng)前像素點周圍N×N 個像素值的均值代替當(dāng)前的像素值,它屬于線性濾波器。 假設(shè)圖像f(x,y)由N×N 個像素點組成,且平滑后的圖像為g(x,y),則表達式為

在上式中,x 和y 的取值范圍為[0,N-1],設(shè)S為(x,y)鄰域中點集合,將他們的每一行相加之后求均值, 得到的值即為當(dāng)前均值濾波后的像素值,它是每一個像素值求均值。

圖2 均值濾波圖Fig.2 Mean filter graph
高斯濾波將中心點的權(quán)重放大,遠離中心點的權(quán)重就會變小,在這個基礎(chǔ)上計算各不同的權(quán)重的和。 閾值處理是指剔除圖像中高于某個值或者是低于某個值的像素點。
中值濾波(如圖3)不需要通過加權(quán)求平均值的方法濾波,只需要對當(dāng)前像素點及其周邊的鄰近的像素點的像素值,將它們進行排序位于中間值的像素值代替當(dāng)前像素點的像素值。

圖3 原始圖像與高斯濾波圖像的對比Fig.3 Comparison of original image with Gauss filter image
在實際處理當(dāng)中,常常是比較復(fù)雜的,Ostu 方法可以根據(jù)目前的圖像給出一個最佳的類間分割閾值,通過cv2.threshhold()中type 類型傳遞一個參數(shù)為“cv2.THRESH_OSTU”,即實現(xiàn)Ostu 方法分割。
經(jīng)過以上方法介紹, 運用于實際中進行處理,得到原圖像與高斯濾波圖像的對比(如圖4)。 經(jīng)過對比之后,明顯高斯濾波的效果比較好。

圖4 中值濾波圖與閾值圖Fig.4 Median filter graph and threshold graph
Canny 邊緣檢測(如圖5)是一種使用多級邊緣檢測算法檢測邊緣的方法。 1986年,John.Canny 發(fā)表了著名論文《A Computational Approach to Edge Detection》, 在這篇論文中詳細地介紹了如何進行邊緣檢測。 主要分為以下幾個步驟:第一步,進行去噪,因為噪聲會影響邊緣檢測的準(zhǔn)確性,需要把有噪聲的部分去掉;第二步,計算梯度的幅度和方向[6];第三步,非極大值抑制的過程,使得邊緣“變細”;第四步,確定邊緣,利用雙閾值的算法處理邊緣信息[7]。

圖5 彩色邊緣檢測圖與邊緣檢測圖Fig.5 Color edge detection map and edge eetection map
梯度的方向與邊緣的方向是垂直的關(guān)系,設(shè)邊緣檢測算子返回水平方向Gx和垂直方向Gy,梯度的幅度為G 和方向為θ,則有:

式中:atan2()代表2 個參數(shù)的arctan 函數(shù)。
在得到幅度和梯度方向之后,去除所有非邊緣的部分,判別當(dāng)前的點是否是周邊像素點在梯度方向上最大的值,根據(jù)結(jié)果判斷是否抑制該點[8]。 如果這一點在相反梯度方向上都是最大值則保留,如若不是則抑制。 完成上述過程后,強的圖像就會在當(dāng)前的圖像內(nèi)部,同時虛的邊緣也可能會在圖像中,可能是真實的圖像反映出來的或是有噪聲干擾造成的,將由噪聲干擾的部分徹底的清除,如圖6 所示。

圖6 去噪彩色邊緣檢測圖與邊緣檢測圖Fig.6 Denoised color edge detection image and edge detection image
一個輪廓是由一系列的點組成,而這些點會以某種形式來表示圖像的一條曲線。 首先要生成一個二值測試圖像,檢測所有圖像的輪廓,最后繪制出圖像的輪廓并通過參數(shù)可以繪制各種樣式的輪廓。經(jīng)過處理之后,查找到外部的輪廓并繪制出車鉤鑄件圖(如圖7)。

圖7 車鉤輪廓圖Fig.7 Black hat operational detection
在未發(fā)現(xiàn)凸包的情況下, 將大冒口進行切除,分階段處理車鉤的輪廓,擬合外部形狀形成最優(yōu)輪廓結(jié)構(gòu),如圖8 所示。 去除冒口之后分3 個階段進行處理,第一階段是切除冒口之后的原圖進行輪廓的擬合,第二階段是將切除冒口之后的圖片進行濾波處理,再擬合輪廓,最后是經(jīng)過前2 個步驟之后,擬合出最佳的輪廓圖。

圖8 車鉤最優(yōu)輪廓分析Fig.8 Optimal contour analysis of couple
不管物體位置如何變化,但輪廓的面積、周長等信息不變,考慮到平移的不變性和縮放后的一致性,能夠得到一組穩(wěn)定的數(shù)據(jù)信息(如圖9)。根據(jù)計算帶有細沙的物體表面的輪廓特征和不帶有細沙的物體表面輪廓特征,即在這兩方面之間的部分為細沙存在的部分,根據(jù)機器視覺將其清除。


圖9 車鉤外部特征分析Fig.9 Analysis of external characteristics of couplers
傳統(tǒng)的人力清砂即耗時又費力,而且清砂環(huán)境極其惡劣, 因此利用機器人結(jié)合視覺處理清砂問題。 本文介紹了視覺處理車鉤表面細沙,首先對于鑄件來說,由于表面的細沙與鑄件本身的顏色幾乎相近,需要找到物體的最優(yōu)外部輪廓并計算物體的特征值。 最后將帶有細沙的物體與不帶有細沙的物體作比較,從而找到需要清除的部分。