機器視覺在COB LED顯示模組墨色采集、分類、排序中的應用

李百松，曹 慧*，徐子程，程宏斌,2，汪 洋,2，鄭喜鳳,2

(1.長春希達電子技術有限公司，吉林 長春 130103；2.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

1 引 言

LED顯示屏通用規范SJ/T 11141-2017中規定最高對比度為：在一定環境照度下，LED顯示屏最大亮度和背景亮度的比。因此為了提高對比度，行業內針對LED顯示屏的底色通常采用多種工藝處理，使黑屏狀態時顯示為黑色，即墨色。常規的一面集成封裝(Chip on Board，COB)LED顯示屏是由多塊同一生產批次的COB LED顯示模組拼裝而成，由于原材料和生產工藝不能做到絕對的一致性，會造成COB LED顯示模組間墨色不一致的現象。進一步研究發現，陣列模組的墨色一致性是由印刷線路板(Printed circuit board，PCB)的鍍金厚度、鍍層均勻性、內層線路映射、阻焊層墨色以及后續LED顯示模組銑平面、模壓封裝及封裝層摻雜材料等交叉影響造成的。

續 表

在發射中心、指揮大廳等高端應用場所，對COB LED顯示屏的質量和主觀感受要求很高，因此確保一面COB LED顯示屏的墨色效果非常重要。根據COB LED陣列模組產生墨色不均勻的原因，在提出產品高對比度的設計方案與工藝技術的有效控制方案，降低陣列模組黑場時表面亮度的同時，需要提高陣列模組表面顏色的一致性。

2 墨色采集、分類、排序的原理

COB LED顯示模組的墨色并非單一顏色而是多種材料或者工藝影響的混合顏色，如果分離出墨色中各種肉眼清晰分辨的單一顏色，即可通過不同COB LED顯示模組之間對應單一顏色的濃度差異表示墨色差異。單一顏色在混合顏色中的占比稱為顏色濃度。而通過利用單一顏色物質只能反射對應顏色的原理，即可分離出單一顏色濃度值。

如圖1所示，通過不同顏色光源進行打光反射至相機采集，即可分離出COB LED顯示模組內墨色的各種單一顏色濃度。根據多種單一顏色的濃度進一步進行顯示模組墨色分類或者排序，通過這種原理進行墨色采集可有效實現墨色的分析與處理。

圖1 墨色采集原理示意圖Fig.1 Schematic diagram of ink collection principle

一維墨色的分類原理為：將同一墨色檔次的COB LED顯示模組分為同一類，這樣進行搭建COB LED顯示屏即可實現墨色無差異，均保持同一檔次。經過實際測驗，同一生產批次的COB LED顯示模組的墨色分類等級較多，不能達到充分利用的效果，會造成較多的產品庫存積壓，因此需要一種方法可以充分使用所有COB LED顯示模組。本文采用二維墨色排序算法，其原理為：根據視覺的漸變性，即相鄰的兩個COB LED顯示模組墨色如果差異不大即不影響視覺直觀感受，需在二維的COB LED顯示屏上建立坐標系，將所有模塊進行橫縱排序，使其具備二維漸變效果，這樣整個COB LED顯示屏的墨色可以符合人眼視覺的直觀感受。圖2、圖3分別是墨色排序前和排序后示意圖。

圖2 墨色排序前示意圖Fig.2 Schematic diagram of ink colors before sorting

圖3 墨色排序后示意圖Fig.3 Schematic diagram of ink colors after sorting

3 系統應用設計

墨色采集、分類、排序方案設計如圖4所示，由相機模塊、光源模塊、算法處理模塊構成。按照順序切換不同顏色的光源，操作相機進行采集，返回相應顏色濃度的數值，將所有采集到的顏色濃度值通過算法處理轉換為墨色，再通過排序或者分類算法處理輸出不同等級墨色的COB LED顯示模組的對應安裝位置，即可實現安裝符合視覺感受的COB LED顯示屏。

圖4 系統方案設計Fig.4 Design of system scheme

3.1 硬件設計

由于如單一純白光源等無法采集顯示模組表面多個顏色濃度值，因此本文采用具備8個光譜的環形光源。環形光源光照更均勻，能夠更好地突出特征值以便數據處理及分析。采用8 bit的Basler黑白相機，光源與相機的物理安裝關系如圖5所示，采用中心法線重合的安裝方式。

圖5 光源與相機安裝示意圖Fig.5 Diagram of light source and camera installation

機器視覺技術是通過光學非接觸的傳感器自動獲取并解釋處理一個真實物體的圖像，以獲取所需信息用于控制機器運動[1]。本文采用機器視覺技術，通過相機采集圖像。圖像儲存在相機的RAM空間緩存區中，通過提取緩存區數據獲得COB LED顯示模組的墨色信息[2]。

本方法中采用的鏡頭為16 mm鏡頭，采集區域為30 mm×30 mm。所以為了保證視場，相機與被測COB LED顯示模組的最佳距離為100 mm，光源距離被測模組的最佳距離為70 mm。為了減少采集噪聲，需要降低光源與COB LED顯示模組的距離，因此采用常規的低角度光源，LED燈珠的軸心與水平面夾角為30°。在該距離下觀測清晰，特征顯著，噪聲較小[3-4]。

多光譜光源的波長直接影響采集到的墨色準確性。因為墨色肉眼可見，所以選取波長大約在400～700 nm之間。目前市場上能找到光譜最多的光源只有8個光譜，選擇8光譜的光源波長如表1所示。

表1 光的波長及參數表Tab.1 Wavelength and parameters of light

3.2 軟件設計

軟件設計主要分為兩部分：第一部分為圖像采集模塊，實現與相機通訊，控制相機曝光時間及曝光，通過訪問相機RAM存儲區獲取數據流，將數據流轉變為可處理的8 bit整數數組，控制多光譜光源，調節光源亮度，切換光源顏色。第二部分為算法處理模塊，包括將數據流轉換的8 bit數組進行數據分割，提取替換異常索引值，通過文件存儲進行數據永久性保存[5]。滿足觸發條件之后觸發算法處理模塊，生成COB LED顯示模組序號，實現墨色排序、分類操作。墨色采集及計算流程如圖6所示。

圖6 程序運行流程圖Fig.6 Flow chart of program operation

根據程序運行流程，相機啟動程序配置作為啟動引導程序，相機硬件接口分為TCP、USB、cameraLink接口等，分別對應不同調用方法。本文使用TCP接口(預先設置計算機網絡巨型幀)通過Labview軟件開發平臺驅動相機。

多光譜光源的調用接口也分為TCP接口與RS232串口。本文采用RS232串口作為接口，通過Labview軟件開發平臺設計串口驅動程序。串口編輯流程如圖7所示，相關調用SDK指令描述文件如表2所示。

圖7 RS232串口編輯流程Fig.7 RS232 serial port editing process

表2 多光譜光源SDK描述文件相關指令Tab.2 Relative instructions of SDK description file for multispectral light source

在使用該接口時，通過如圖8可以看出通訊數據是由1 bit的起始位、8 bit的數據位和1 bit的停止位構成。RS232數據傳輸時序圖如圖8所示。

圖8 RS232數據傳輸時序圖Fig.8 Diagram of RS232 data transmission sequence

通過8個光譜的光源，得到的采集同批次COB LED模組的8種單一顏色濃度，大概率無法實現工程化墨色分類，因此采用加權平均的方式對8種顏色濃度進行歸一化處理，處理后的墨色值表示每個模組的顏色濃度[6-7]。通過實驗總結墨色差異化的范圍區間為5，兩塊COB LED模組的墨色值相差在5以內可以歸類為一類墨色，相差在5以上不歸為一類。按照切換一種顏色采集一張圖片的順序可以獲得多張圖片數據，在采集同時將圖片數據流提取轉換為8 bit二維數組，根據公式(1)計算出單一光譜光源照射下采集到數組均值L，其中m、n為數組寬度，i、j為數組索引值。

.

(1)

LED顯示屏應用在不同的環境光下，顯示表面反射的光特征值不同，因此采用在8種不同環境光照情況下的加權平均方法，如公式(2)所示。在得出單一顏色下數組均值L后，計算出8種顏色加權后的均值P，墨色分類后按照均值二維排序方法將墨色相近的模塊安裝一起，即可實現同一類別的COB LED顯示模組無明顯色差[8-9]。

(2)

其中:ωi為在不同光譜下顯示模塊的加權權值，Li是不同光譜下的墨色均值，i=1,2,…,8。

墨色采集、分類后，采用二維排序方法對同一類墨色的顯示模組進行二維排序。具體算法流程為：

(1)提取亮度值，設有F個亮度值P1,P2,…PF；

(2)設矩陣A為1×F的矩陣，將F個亮度值P1,P2,…PF按順序放入矩陣A中，則有公式(3)：

A=[P1,P2,…PF].

(3)

(3)設公式(4)中矩陣B為m×n的空矩陣，其中m×n=F，則有：

.

(4)

(4)將公式(4)中矩陣B分為m+n-1個一維矩陣C(i)，其中i=1,2,…m+n-1。

(5)將公式(4)中矩陣B中元素位置的行列數之和相等的元素位置信息分別放入不同的公式(5)的一維矩陣C中，且滿足：

C(i)=[B(j,k)]，

(5)

其中:j=1,2,…,m,k=1,2,…,n,j+k=i+1。

(6)將公式(5)中各個C中的元素按照公式(4)中B的行數遞增的順序排列，則有公式(6)：

(6)

(7)將公式(6)中所有的一維矩陣C(i)按照i從小到大的順序放入新的矩陣D中，則有公式(7)：

D=[B(1,1),B(1,2),B(2,1)…B(m,n)].

(7)

(8)將公式(3)中A中元素與公式(7)和公式(4)中B矩陣的位置信息一一對應，將公式(3)中A矩陣的所有元素填入公式(4)中的B矩陣中，完成公式(3)中一維矩陣A斜向排入公式(4)中B矩陣，即：

(8)

通過公式(2)～(8)即可完成所有亮度值從左上角位置橫向向右、縱向向下、斜向向右下均勻遞增的排序。通過該種算法可以實現所有COB LED顯示模組能夠被充分利用，并可達到人眼視覺墨色一致性較好的顯示效果。當同一批次的COB LED顯示模組墨色差異不大時，漸變效果不明顯；但是當同一批次的COB LED顯示模組墨色差異較大時，先分類再二維排序，整屏漸變效果會比較明顯，分類少時在顯示屏局部會出現階梯漸變線[10]。

通過Labview軟件開發的相機、光源控制及圖像采集程序模塊如圖9所示，墨色排序算法程序模塊如圖10所示。

圖9 相機、光源控制及圖像采集程序模塊。Fig.9 Program of camera,light source control and image acquisition.

圖10 墨色排序算法程序模塊Fig.10 Program of black sorting algorithm

4 測試分析結果

在照度小于5 lx的暗室環境下，準備100塊同一生產批次、外型尺寸為152.4 mm×114.3 mm、點間距為1.27 mm的COB LED顯示模組。分別將100塊模組進行0～100編號，此編號與軟件編號對應，即表示每個模組都有唯一的墨色值。將模組固定在快速安裝夾具上面，此夾具平行于光源與相機，此時對設備進行供電，通過軟件檢測相機、光源是否正常啟動。打開軟件進行預覽，檢測成像清晰程度及圖像是否有大量超過飽和的像素點，如果成像不清晰適當調節焦距。光源的亮度越高則溫度越高，當亮度設定值恒定時，隨著時間的變化，溫度逐漸升高，影響光源的亮度，所以為了保證光源亮度的穩定性，需要將光源亮度最大程度地降低，當光源亮度低時，通過調節光圈增加近光量來保證圖像的亮度。本實驗采用的是8 bit灰白相機，為了減少噪聲的同時提高特征值，需要調節光圈和光源，以保證每種顏色打光相機采集的最高灰度值為200～210。完成準備工作后，開始進行墨色采集，單擊采集按鈕，可以觀測到光源開始順序切換，切換的同時進行快速拍攝，當所有光源切換完成及拍攝完成，即對此塊COB LED顯示模組完成墨色采集及記錄，換下一塊模塊，繼續采集記錄。

圖11 COB LED顯示模組墨色采集平臺(包含相機、光源)Fig.11 Platform of COB LED display module ink collection (including camera and light source)

圖12 COB LED顯示模組墨色采集及排序平臺軟件Fig.12 Software of COB LED display module ink collection platform

當完成所有模組的采集，操作軟件完成自動排序，該排序完成的二維數組具有對角線漸變的結果，即二維數組順序，如表3所示。

表3 墨色排序部分圖表Tab.3 Chart of ink sorting

按照編號進行COB LED顯示屏安裝，可發現整屏墨色效果顯著提升，如圖13、圖14所示。

圖13 COB LED顯示模組排序前效果Fig.13 Effect of COB LED display module before sorting

圖14 COB LED顯示模組二維排序后效果Fig.14 Installation results of COB LED display module after sorting

5 結 論

在目前LED顯示屏像素密度越來越高、拼接面積越來越大的情況下，保證墨色一致性難度極大。本文介紹了COB LED顯示模組的墨色采集、分類、排序的原理、設計、及測試結果，提出了一種行業內全新的保證墨色一致性的方法，既保證了墨色的一致性又避免了因墨色問題造成的產品庫存積壓，同時可以自動采集、分類、排序，滿足了生產制造中自動化流水線的要求。該設計方法靈活方便，節約人工成本、生產制造成本，易于操作，在實際COB LED產品墨色提升上有很大的應用價值。