基于色彩感知的車載導光板黃化缺陷檢測①

羅志航,李俊峰

(浙江理工大學 機械與自動控制學院,杭州 310018)

導光板(Light Guide Plate,LGP)是液晶顯示屏背光模組的主要組成部分,具有發光效率高、功耗低、導光均勻、性價比高等優點,廣泛應用在LCD 背光源、超薄廣告燈箱、攝影及醫療看片器等場合.

導光板生產過程中,由于加工工藝與原料成分的影響,不可避免的會出現黃化等各種缺陷.雖然黃化缺陷出現的概率較低,但會使導光板透明度降低,光色偏黃,嚴重影響用戶使用,故黃化缺陷檢測在生產過程中十分必要.目前,對導光板的黃化缺陷檢測仍依靠人工方式進行,由于黃化現象人眼極難發覺,且檢測需要在強光環境下,對工人精神以及眼睛傷害很大.另一方面,工人勞動強度大時,檢測效率低、質量不穩定,成本較高.

快速發展的機器視覺技術,為導光板的黃化缺陷檢測帶來了更加高效、便捷的檢測手段.機器視覺,即用計算機代替人的大腦,用相機代替人的眼睛,對獲取的圖像信息進行分析處理[1-4].目前國內外學者對此展開了大量研究,一些算法和成果已經成功應用在LCD、磁瓦、玻璃等表面缺陷,但對導光板的缺陷檢測則研究較少.由于導光板是LCD 中的重要組件,其缺陷檢測可以參考LCD的研究成果.Gan 等[5]提出了一種局部二進制擬合模型,對初始輪廓提取缺陷邊界,對表面均勻的LCD 適應性很好,但對于較不均勻的導光板圖像容易出現誤判.李俊峰等[6,7]設計使用多方向Gabor及高斯導數濾波器,利用形態學區域膨脹操作完成線段連接,可有效檢測劃傷和亮點缺陷,但對成像較暗的一些缺陷效果較差.Li 等[8]提出了基于Hough 變換的方法來識別不均勻照明條件下圖像中的低對比度缺陷,對線條和其他缺陷的邊緣提取效果良好,但該方法對光照環境依賴性強,適應性差.肖敏等[9]將Hough 變換與最小二乘法結合,實現了對液晶屏與外殼的直線邊緣精確提取,但對于干擾較多、直線特征不明顯的圖像表現欠佳.Sümer 等[10]提出了一種基于閾值的自適應像素缺陷檢測方法檢測LCD的像素缺陷,具有較高的效率和檢測性能.張亞洲等[11]提出了一種基于改進相干增強擴散與紋理能量測度和高斯混合模型的導光板表面缺陷檢測方法,可有效檢測出LCD 導光板表面劃痕、異物、臟污和壓傷等類型的缺陷,但漏檢率和誤檢率較高.錢基德等[12]針對液晶屏中的Mura 缺陷區域的有關特點,通過單幀圖像背景建模和背景差分,基于MSER 提出Mura 缺陷自適應閾值缺陷分割方法,可以有效對Mura 缺陷進行分割定位.Kong 等[13]針對手機LCD 屏幕提出了一種檢測水漬缺陷的有效算法,利用帶通濾波器增強檢測特征,通過Sobel 邊緣檢測算子對異常缺陷邊緣增強,分塊定位后采用SVM 對缺陷分類,可較高精度完成水漬缺陷檢測.郭波等[14]過Gabor 濾波算法去除紋理背景,對傳統OTSU 閾值提取函數進行優化,并利用改進的OTSU 算法較好地提取出LCD 圖像中的點缺陷,提高了檢測準確率.Ma 等[15]針對LCD 上的Mura 缺陷提出了一種有效的檢測方法,使用Gabor 濾波器降低圖像噪聲,估算屏幕上的亮度分布后重構屏幕背景,并與原圖像做差,通過伽瑪校正和閾值分割后檢測Mura 缺陷,有效縮短了算法執行時間.李海霞等[16]使用面陣CCD 采集液晶模組圖像,對圖像進行Gabor 濾波、雙閾值二值化等預處理,采用二維直方圖斜分法定位圖形邊緣區域,提高了缺陷檢測識別率,但對于輪廓比較模糊的圖像不能做到自適應精確邊緣提取.Le 等[17]提出了一種基于機器視覺的光學薄膜缺陷檢測與分類系統,利用基于自適應的局部交叉投影檢測光學薄膜缺陷并分類,但對照明環境的要求較高.

本文以車載導光板為研究對象,根據其光學特征、黃化缺陷特征以及檢測要求,利用高分辨率彩色工業相機獲取高精度導光板側面圖像,提出了一種基于機器視覺的車載導光板黃化缺陷檢測方法.首先,圖像灰度轉換后,采用雙邊濾波器對導光板圖像平滑處理;其次,利用鄰域差值凸顯導光板邊緣特征,設計自適應的閾值填充算法,識別導光板輪廓,將不同導光板分割;最后,生成矩形區域,構建特征向量,建立并訓練SVM 模型.實驗結果表明,該算法運行效率高,魯棒性強,在訓練樣本較少的情況下仍有較高的檢測精度.

1 導光板黃化特征與原因

具有黃化缺陷的導光板透明度差,發出的光亮度低且顏色偏黃,會嚴重影響使用效果.正常導光板與發黃導光板特征如圖1所示.

圖1 正常導光板與黃化導光板

圖1中對比可知,正常導光板圖像偏藍色,而有黃化缺陷的導光板圖像偏黃色,具有不同的顏色特征,但并不明顯.

導光板變色主要有以下3 個方面原因:

(1)流道內塑膠在高溫下長時間燒膠,發黃在導光板的表面而且每模發黃位置不固定;

(2)剪切熱使熱流道熱嘴頭部溫度急劇拉高,導致塑膠變質發黃.發黃位置在澆口附近,而且每模位置都固定;

(3)模具本身因困氣導致在注塑過程中將模腔內局部溫度拉高導致塑膠變質,發黃位置在導光板角落,而且位置固定.

考慮到黃化缺陷不易觀測,且在導光板側面黃化特征更明顯,本文采用高分辨率彩色工業相機進行導光板側面圖像采集,獲得高精度導光板側面圖像,以顯現和分辨導光板上的細微缺陷.

2 導光板黃化缺陷檢測方法

機器視覺的核心在于圖像處理算法,獲得目標圖像后,需對圖像的特點進行分析,匹配針對性算法[6].本文根據黃化導光板的缺陷特征,設計、構建了一套準確高效的檢測算法,具體流程如圖2所示.

圖2 基于SVM的導光板黃化檢測算法流程圖

利用高分辨率彩色工業相機進行導光板側面圖像采集后,首先,將圖像灰度轉換,采用雙邊濾波器平滑圖像,消除噪聲影響;其次,對像素點鄰域差值,凸顯導光板輪廓特征;進而,每幅圖像自適應閾值填充后,提取導光板邊緣,完成導光板識別與圖像分割;最后,對每個導光板生成矩形區域,構建特征向量,建立并訓練SVM 模型,輸出黃化缺陷檢測結果.

2.1 車載導光板黃化自動檢測裝置設計

設計一種車載導航導光板黃化自動檢測裝置,原理圖如圖3所示,圖4為現場裝置圖.包括固定裝置、傳送裝置、定位裝置、檢測裝置、吸盤調節裝置等.吸盤調節裝置中的吸盤可通過檢測裝置調節空間位置.而待測導光板在空間中的橫向位置由行程塊調節,導光板的縱向位置由檢測裝置中的縱向伸縮軸調節,由此使待測導光板可二自由度移動.

圖3 裝置原理圖

圖4 裝置實體圖

本裝置可適用于不同導光板的高質量圖像采集.檢測設備中含相機、光源,當相機采集到待測導光板時,將其側面與提前放置好的基板進行比較,根據本文算法判斷是否有黃化缺陷.若為正常導光板,則檢測裝置將其放置在傳送帶上,繼續下一步工序;若為黃化導光板,則將其移走做進一步處理.導光板圖像采集裝置實現了自動化操作,與本文檢測算法相配合,提高了導光板的生產效率,降低了人工成本.

2.2 導光板圖像采集

在導光板生產線末端的圖像采集裝置中,預先裝有一塊正常導光板和一塊有黃化缺陷的導光板,二者疊放在一起,黃化導光板在上,正常導光板在下,如圖5所示.這兩塊預先裝設的導光板稱為基板,可與待測板對比,共同完成識別模型建立.在模型訓練時,將一塊待測導光板疊放在基板上,由高分辨率彩色工業相機進行圖像采集,經過大量不同的黃化導光板和正常導光板的訓練后,就可得到一系列的黃化數據集和正常導光板數據集.

圖5 導光板疊放

2.3 導光板邊緣提取與分割

(1)灰度轉換

為減小圖像原始數據量、提高算法運行效率,將圖像進行灰度變換.一幅彩色圖像的每個像素值中,有RGB 三個基色分量,每個基色分量直接決定顯示設備的基色強度.彩色圖像轉換為灰度圖像時,需要計算圖像中每個像素有效的亮度值.利用如下線性變換公式計算亮度,將彩色圖像轉變為灰度圖像:

其中,Y為計算獲得的亮度值,R、G、B分別為每個像素的RGB 三個基色分量.灰度轉換后的圖像如圖6所示.

圖6 導光板灰度圖像

(2)雙邊濾波器構建

直接灰度轉化后的圖像可能存在比較大的噪聲,需對圖像進行濾波.常見的濾波方式有高斯濾波、中值濾波、雙邊濾波等.高斯函數在各個方向的平滑程度相同,平滑圖像的同時會模糊導光板輪廓邊緣;中值濾波可以很好的過濾椒鹽噪聲,但容易造成圖像的不連續性.

為保持圖像良好的邊緣特性,降低濾波對導光板邊緣的模糊影響,本文采用非線性的雙邊濾波器[18].雙邊濾波采用加權平均的方法,用周邊像素亮度值的加權平均代表某個像素的強度,所用權值基于高斯分布,不僅考慮了像素的歐氏距離,還考慮了像素范圍域中的輻射差異,在計算中心像素的時候同時考慮這兩個權重.設圖像I在P=(x,y)點灰度值為IP,處理后所得的圖像RI在P處的灰度值為RIP,按如下公式對灰度圖像進行平滑處理:

其中,q=(u,v)為目標點P的領域點,S為鄰域點的集合,Wp為歸一化因子,Gσs為空間鄰近度因子;Gσr為灰度相似度因子.且上述公式存在以下關系:

上式中,σs為距離標準差;σr為灰度標準差,兩者決定了空間域濾波核函數與灰度濾波核函數的影響區域.

從上述公式可以看到,雙邊濾波的核函數是空間域核與像素范圍域核的綜合結果:在圖像的平坦區域,像素值變化很小,對應的像素范圍域權重接近于1,此時空間域權重起主要作用,相當于進行高斯模糊;在圖像的邊緣區域,像素值變化很大,則像素范圍域權重變大,模糊效果降低,從而保持了邊緣的信息.高斯濾波、中值濾波與雙邊濾波的濾波效果對比如圖7所示.

圖7 不同濾波效果對比

(3)圖像增強

此時導光板的輪廓邊緣并不清晰,將不利于后面導光板輪廓的提取以及特征向量的構建.本文采用鄰域坐標差值法[19]提高圖像分辨率與對比度,凸顯導光板邊緣.

設序列M[i,j] 表示中心點m×m鄰域中的坐標,Px(i.j)與Py(i.j)代表序列中每個點沿著x,y兩個方向的偏導數.采用m×m鄰域中具有的m2?1個像素點來對序列M[i,j]中的點進行依次差值,并將差值結果與目標點值設置為零;選用 0～45?、1 35?～180?偏水平方向和45?～90?、90?～135?偏垂直方向的梯度向量.靠近水平方向時,權重為Py(i.j)/Px(i.j)的絕對值;靠近豎直方向時,權重為Px(i.j)/Py(i.j)的絕對值.差值前后的圖像如圖8所示.(4)自適應閾值填充與邊緣獲取

經上述步驟得到的圖像已經有了明顯的導光板邊緣輪廓,現需對導光板的疑似邊緣進行提取,以完成導光板識別與分割.

設高閾值和低閾值分別為highThresh和lowThresh,利用梯度直方圖原理自適應地獲取高、低閾值.高閾值highThresh選取原則為,差值處理后的圖像中,設邊緣上點的數量所占影像像素數的比值為Hration,根據梯度直方圖直接從大到小逐步累積圖像點的數目,若累積數目與圖像總數目和Hration的乘積值相等,可以認為相應的梯度幅值為高閾值.低閾值可根據高閾值確定,設比例因子為ThresholdRatio,則低閾值為:

對每個像素點,若點的邊緣強度值比高閾值大,則將該點作為邊緣點記錄下來;若比低閾值小,則將其作為非邊緣點記錄下來;若處于低閾值和高閾值之間,則計算該像素點是否與之前得到的邊緣點八連通,如果連通,就將該像素點標記為邊緣點,不連通則將該點作為非邊緣點.把不閉合的邊緣連接成輪廓,從而得到導光板疑似邊緣的圖像,即由線段組成的導光板邊緣的近似輪廓.導光板疑似邊緣提取如圖9所示.

圖9 導光板疑似邊緣提取

導光板疑似邊緣為多線段組成的近似輪廓.將上下距離小于45的相鄰兩條線段的上面那條線段去除,即得到導光板的最終輪廓圖像.利用式(7)進行篩選:

式中,Row[index]、Row[index+1]分別指代相鄰兩條線段中心的行坐標,high為兩相鄰線段的行距,當滿足條件abs(high)>45時,則可選取該直線.該步驟可以完成導光板的最終輪廓邊緣提取,對3 塊導光板實現識別與分割.導光板邊緣提取結果如圖10所示.

圖10 最終邊緣提取

2.4 構建特征向量及SVM 模型

識別出圖像中的導光板后,對每個導光板建立9 個矩形區域,這些矩形區域即代表了導光板的顏色特征.每個矩形區域建立3 維特征向量,實現特征提取.

(1)生成矩形區域

矩形區域是每塊導光板的特征提取區域.根據每塊導光板的中心坐標,每隔相同的距離創建一個矩形區域.每個矩形區域的中心點坐標如下:

其中,Row1[index1]是每個矩形區域,同時是每塊導光板中心點的行坐標;index2×0.1Width+40是依次生成的每個矩形區域中心點的列坐標.index1為圖中3 塊導光板的索引編號,index2為每個導光板中9 個矩形區域的索引編號,Width是導光板的寬度.最終,每個導光板創建9 個矩形區域,每幅圖像上共27 個矩形區域.

9 個矩形區域的特征代表了對應導光板的顏色特征.以基板中的正常導光板為例,生成的9 個矩形如圖11所示.

圖11 1 塊導光板上的9 個矩形區域

(2)構建特征向量

為降低光照因素對圖像信息的干擾,將獲得的RGB 三通道彩色圖像轉換為HSV 彩色圖像,并賦予不同的權值,轉化公式如下:

式中,F為輸入的RGB 彩色圖像,H、S、V分別指代色度、飽和度、亮度,a、b、c分別為賦予H、S、V的權重值,本文中a=0.45,b=0.45,c=0.1.由此,可以獲得多維向量作為SVM 模型的輸入參數.對于每一個矩形,參量H,S,V分別代表色度、飽和度和亮度.

顯然,對于一個矩形區域,共有3 個參量,即需要用3 維向量進行描述.對于一幅圖像,共生成27 個矩形區域,因此可用81 維向量作為SVM 模型的輸入參數:

(3)SVM 模型

SVM是由Vapnik 等提出的一種基于統計學習理論的機器學習方法,是建立在VC 維理論和結構風險最小原理基礎上,根據有限的樣本信息在模型的復雜性和學習能力之間尋求最佳折中.SVM 將低維原始空間映射到高維特征空間,將原始空間的非線性問題轉化成為特征空間中的高維線性問題,并引入核函數方法簡化運算,非常適用于小樣本的學習問題.

由于SVM 在檢測分類方面的良好表現,本文采用SVM 并利用LIBSVM 工具包構建黃化缺陷檢測模型,具有以下相關參數與功能:核函數使用徑向基函數[20],其附加參數決定了支持向量對其周圍環境的影響程度,值越小對環境影響越大;正則化參數決定訓練誤差個數的漸近上界和支持向量個數的漸近下界,合理的參數值可使數據更便于計算,獲得更加泛化的結果;本文輸出結果只有兩類,可采用“一對一”分類模式,使訓練和測試速度更快;對特征向量預處理,可以省略特征向量中噪聲分量的變換特征,而保留大部分有效信息,有效縮短分類時間.具體參數見表1.

表1 SVM 模型參數

3 實驗結果分析

3.1 參數分析

(1)雙邊濾波器參數σs、σr

對于雙邊濾波器來講,距離標準差 σs定義了濾波器掩模的大小,并與傳統高斯濾波器的標準偏差相對應,其數值越大,濾波器的影響面積越大,濾噪效果越明顯,但保留的圖像細節越少;灰度標準差 σr決定了濾波時的對比度閾值,只有在邊緣較弱的區域,對比度低于 σr的像素才會進行平滑處理,所以適當的σr可以有效地保留圖像邊緣.圖12為不同 σs、σr時的濾波圖像.通過大量實驗對比,取σS=10,σr=20.

(2)鄰域差值參數m

不同的m值決定了差值鄰域的大小,同時確定了差值的像素點數目.用m2?1個像素點來點進行依次差值,不同m取值后的圖像如圖13所示.通過大量實驗,發現在m=11 時的差值效果良好,并且此時運算量比較小,適用于工業生產.

(3)SVM 模型訓練

首先,通過高分辨率工業相機采集300 份導光板圖像樣本作為訓練集和測試集,并分別按照70%/30%、60%/40%、50%/50%、40%/60%、30%/70%的比例進行分配,以檢驗算法的魯棒性.其次,構建訓練集時,對每個采集到的導光板圖像手動添加標簽,沒有缺陷的導光板圖像設置標簽為0,含有黃化缺陷的導光板圖像設置標簽為1.最后,將每幅圖像的81 維向量和設置好的標簽作為一份訓練樣本,輸入到SVM 模型中進行訓練.

圖12 不同σs、σr 雙邊濾波圖像

圖13 不同m 值的差值對比

本文的訓練目標要求漏檢率、誤檢率均小于1%,檢測準確率在95%以上.設m,n分別為正常圖像與黃化圖像的實際個數,m1,n1分別為檢測出的正常圖像和黃化圖像個數,則漏檢率、誤檢率與準確率的定義與計算公式如下:

其中,Or為漏檢率,Er為誤檢率,Ar為準確率.如不滿足訓練目標,則調整參數,重新將導光板圖像、標簽和81 維向量輸入到SVM 模型中進行訓練.不斷循環上述步驟,直至漏檢率與誤檢率均達到要求,并存儲訓練好的SVM 模型.

3.2 實驗結果分析

實驗軟件部分采用 Visual Studio 2015 聯合Halcon18.11 作為開發平臺,采用C++編程語言來編寫算法,進行圖像處理與分析.實驗采用平臺的軟硬件配置如表2所示.

表2 實驗平臺軟硬件配置

將采集的300 份導光板圖像樣本分別按照70%/30%、60%/40%、50%/50%、40%/60%、30%/70%的比例分配為訓練集和測試集,檢測本文算法準確率、漏檢率、誤檢率和魯棒性.測試結果如表3所示.此外,本文同時也采用傳統的顏色識別算法,直接根據導光板顏色進行黃化缺陷檢測,識別結果如表4所示.

表3 不同比例樣本檢測結果

表4 對比實驗的測試結果

由表3和表4數據可知,隨著訓練集占比的降低,檢測精度略有下降.在50%/50%的比例下,檢測結果仍可以達到100%的檢測準確率,以及零誤檢率、漏檢率;而且在40%/60%比例時,其準確率、誤檢率及漏檢率仍優于傳統顏色識別算法.可見,本文算法對黃化缺陷檢測效果良好,且魯棒性較高,符合生產要求.

4 總結

針對目前工廠導光板黃化缺陷檢測效率低下的問題,本文對導光板本身光學特性及其黃化缺陷進行了分析與研究,提出了一種基于機器視覺的導光板黃化缺陷檢測算法.首先對圖像灰度變換、雙邊濾波、圖像增強操作,完成導光板邊緣提取與分割;對每個導光板生成9 個矩形區域,完成特征提取;通過每幅圖像生成的81 維特征向量,完成SVM 模型的構建.實驗結果表明,該算法的運行效率高,魯棒性強,在訓練樣本較少的情況下仍有較高的檢測精度.