濾光片表面缺陷視覺檢測系統(tǒng)多處理器調(diào)度優(yōu)化

黃 堅，劉桂雄，王小輝

（1.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640；2.廣州市光機(jī)電技術(shù)研究院，廣東 廣州 510663）

濾光片表面缺陷視覺檢測系統(tǒng)多處理器調(diào)度優(yōu)化

黃 堅1，劉桂雄1，王小輝2

（1.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640；2.廣州市光機(jī)電技術(shù)研究院，廣東 廣州 510663）

針對濾光片表面缺陷視覺檢測系統(tǒng)中在線檢測實時性需求對檢測速度要求較高，研究一種有效利用可用硬件資源并行處理實時工作提高處理速度的調(diào)度優(yōu)化策略。基于AOE圖對濾光片表面缺陷視覺檢測系統(tǒng)進(jìn)行任務(wù)級分析，優(yōu)化事件、活動拓?fù)潢P(guān)系與任務(wù)間冗余的數(shù)據(jù)相關(guān)性、資源相關(guān)性，建立并行任務(wù)模型；采用關(guān)聯(lián)處理器調(diào)度算法（arbitrary processor affinities，APAs)進(jìn)行并行多處理器調(diào)度，指定任務(wù)只能被某個處理器集合執(zhí)行，將期限緊迫、緩存敏感的任務(wù)限制在單一處理器，提高資源利用率，改進(jìn)檢測系統(tǒng)實時性。試驗結(jié)果表明：在尺寸為1.20mm×1.20mm、26×28個濾光片組成濾光片面板上，采用多處理器調(diào)度可使檢測速度極大提升，采用APAs調(diào)度算法后，平均缺陷識別完成時間為常規(guī)檢測系統(tǒng)時間的36.5%，可以滿足在線實時要求，證明應(yīng)用多處理器調(diào)度方法，可以極大提升檢測儀器實時性能的有效性。

模式識別與裝置；多處理器系統(tǒng)；視覺檢測系統(tǒng)；關(guān)聯(lián)處理器調(diào)度算法

0 引 言

濾光片是通信平臺關(guān)鍵部件，其表面缺陷對通信質(zhì)量影響極大。目前濾光片表面缺陷檢測主要采用人工目視，但存在檢驗質(zhì)量不穩(wěn)定（受檢測人員的熟練因素、責(zé)任程度影響較大)、效率低的問題[1]，將視覺檢測技術(shù)應(yīng)用于濾光片檢測是技術(shù)趨勢與熱點，其主要難點在于濾光片產(chǎn)品尺寸小、成批生產(chǎn)、缺陷種類多。國內(nèi)外學(xué)者提出各種檢測方案，如可自動識別灰度值的濾光片表面缺陷檢測算法[2-5]，并輸出濾光片各表面缺陷的類型、位置、面積，分類準(zhǔn)確度達(dá)99.2%，檢測速度為800～3 000片/h，但濾光片產(chǎn)品一板至少600片，檢測線要達(dá)到9000片/h才能滿足目前生產(chǎn)在線應(yīng)用需求。結(jié)合檢測任務(wù)采用多任務(wù)多處理器調(diào)度的趨勢，文獻(xiàn)[6]采用共享或單獨隊列，使單一處理器擴(kuò)展到多處理器模型；文獻(xiàn)[7]研究嵌入式系統(tǒng)中的啟發(fā)式多處理器任務(wù)調(diào)度，實時性順序處理機(jī)有較大提升；文獻(xiàn)[8]采用全局多處理器瞬時利用率 （instantaneous utilization factor，I UF)調(diào)度優(yōu)化實時系統(tǒng)，有實質(zhì)性改進(jìn)。本文在檢測流程基礎(chǔ)上引入多任務(wù)多處理器調(diào)度，探索提高視覺檢測實時性方法。

1 濾光片表面缺陷視覺檢測機(jī)理與時序分析

濾光片通過在基材上鍍膜，再切割為成品，其表面缺陷包括點、印、劃痕、崩邊、面型偏差5種。基材大小決定成品大小，一塊基材可制造500～10000片濾光片，故可選用面陣相機(jī)、二軸機(jī)械手的組合來獲取濾光片表面缺陷信息。圖1、圖2分別為濾光片成品實物與采集圖像，設(shè)獲取的圖像中有k個完整濾光片，利用機(jī)器視覺，計算濾光片位置，獲取k個濾光片的圖像，分別獲取k個濾光片中缺陷尺寸、位置、面積，識別缺陷類型，計算二軸機(jī)械手的移動坐標(biāo)，移動工作臺，獲取下一幅圖像，圖3為常規(guī)濾光片表面缺陷視覺檢測流程框圖[9]。

基于視覺檢測流程框圖，建立如圖4所示的常規(guī)濾光片表面缺陷視覺檢測系統(tǒng)AOE（activity on edge network)圖，AOE圖用頂點表示事件、箭頭表示活動（實線為軟件活動、虛線為硬件活動)、弧上權(quán)值表示活動持續(xù)時間（單位為0.1s)。

圖1 濾光片成品實物圖像

圖2 使用面陣相機(jī)采集的產(chǎn)品圖像

圖3 常規(guī)濾光片表面缺陷視覺檢測流程框圖

提高計算機(jī)處理速度可采用空間并行方法，構(gòu)建出多處理器系統(tǒng)[10]。為使檢測任務(wù)轉(zhuǎn)變?yōu)槎嗵幚砥飨到y(tǒng)并行處理，通過分析檢測任務(wù)中拓?fù)潢P(guān)系與資源相關(guān)性，去除冗余數(shù)據(jù)。在獲取位置信息（Ti)后，即可定位工作臺（bi+1)，獲取下一張圖像(Pi+1)；在獲取濾光片圖像（Ii)后，獲取各個濾光片中缺陷信息（di)間數(shù)據(jù)無關(guān)，可分別進(jìn)行，即di={di-1，di-2，…，di-k}；同理缺陷分類（ri)有ri={ri-1，ri-2，…，ri-k}，可得到如表1所示檢測流程事件與活動優(yōu)化關(guān)系表。其對應(yīng)AOE圖如圖5所示。

圖4 常規(guī)視覺檢測流程AOE圖

2 濾光片表面缺陷視覺檢測系統(tǒng)多處理器調(diào)度優(yōu)化

圖5中bi、pi為臨界路徑（源點到匯點最長路徑)上關(guān)鍵活動，優(yōu)先級應(yīng)最高，以保證檢測任務(wù)盡早完成。在Ii事件后，將出現(xiàn)k個di、ri活動并發(fā)。若采用純局部調(diào)度將難以充分利用核剩余處理能力，應(yīng)該采用全局調(diào)度。設(shè)活動x最壞運(yùn)行時間為t（x)，為使任務(wù)不頻繁遷移，則處理器β[11]應(yīng)滿足：

表1 檢測流程事件、活動拓?fù)潢P(guān)系表（i=1，2，3，…，j）

圖5 視覺檢測優(yōu)化流程AOE圖

則處理器個數(shù)為0.5k（k為圖像中完整濾光片數(shù))時，處理器至少為8，這時采用全局調(diào)度活動不會在處理器間頻繁遷移。那么采用目前主流計算機(jī)4核CPU，對于該活動集，局部與全局調(diào)度方法效果難以達(dá)到預(yù)想效果。

為此，嘗試采用處理器關(guān)聯(lián)性調(diào)度算法（arbitrary processor affinity scheduling，APAs)，將期限緊迫、緩存敏感的任務(wù)限制在某一處理器集合中[12]。設(shè)t時刻時，Act（t)為處理器集合αb中任意處理器上被調(diào)度的活動集，z為活動集Act（t)中活動，y為αb中待處理活動，優(yōu)先級為prio（y)，則APAs調(diào)度不變式為

表2為檢測系統(tǒng)進(jìn)一步采用在多處理器系統(tǒng)中的APAs調(diào)度策略，其中Πn為處理器n，這樣用4核CPU即可完成處理。

表2 優(yōu)化后檢測系統(tǒng)在多處理器系統(tǒng)中的APAs調(diào)度策略

3 試驗與結(jié)果分析

3.1 試驗平臺

圖6 試驗平臺原理與系統(tǒng)實物圖

選用PointGrey FL2G-13S2M-C面陣相機(jī)（像元尺寸1/3″CCD、分辨率為1288×964)；視清科技WWL05-150A鏡頭（放大倍率0.5、工作距離150 mm)；45°環(huán)狀光源OPT-RI150455-2；工作臺選用FUJISAN SS130-130二軸機(jī)械手（行程范圍為0～400 mm、重復(fù)準(zhǔn)確度為±0.02 mm)；上位機(jī)CPU為I7-4770（主頻為3.5GHz、4核心、8線程)，上位機(jī)內(nèi)存為8GB 1 600 MHz DDR3，構(gòu)建試驗平臺，圖6為試驗平臺原理與系統(tǒng)實物圖。

3.2 試驗結(jié)果與分析

試驗樣品為缺陷率50%的728個、26行×28列的濾光片成品，采用常規(guī)視覺檢測流程、視覺檢測優(yōu)化流程+全局調(diào)度算法、視覺檢測優(yōu)化流程+APAs調(diào)度算法對試驗樣品進(jìn)行多次檢測，記錄檢測時間，表3為檢測系統(tǒng)優(yōu)化前后檢測時間對比表。

表3 檢測系統(tǒng)優(yōu)化前后檢測時間對比

可以看出，采用多處理器調(diào)度可使檢測速度極大提升，采用APAs調(diào)度算法后，平均缺陷識別完成時間為92.46s，是常規(guī)檢測系統(tǒng)時間的36.5%，可以滿足在線實時要求。

4 結(jié)束語

本文提出濾光片表面缺陷視覺檢測系統(tǒng)多處理器調(diào)度方法，主要創(chuàng)新之處在于對濾光片表面缺陷視覺檢測系統(tǒng)進(jìn)行作業(yè)級分析，采用全局、APAs調(diào)度算法對視覺檢測系統(tǒng)進(jìn)行多處理器調(diào)度，并將期限緊迫、緩存敏感的任務(wù)限制在單一處理器，提高資源利用率，應(yīng)用多處理器調(diào)度方法，極大提升檢測儀器實時性能的有效性。以后工作將優(yōu)化整個檢測系統(tǒng)與儀器的多處理器調(diào)度方法，進(jìn)一步提高儀器的實時性。

[1]Liu Y，Yu F H.Automatic inspection system of surface defects on optical IR-CUT filter based on machine vision[J].Optics and Lasers in Engineering，2014，55（1)：243-257.

[2]Nippolainen E，Sidorov I，Kamshilin A A.Detection of surface defects by means of dynamic speckles[C]∥Proc. SPIE 8413，Speckle 2012：V International Conference on Speckle Metrology.SPIE，2012.

[3]Tsapaev，Alexei P，Kretinin，et al.Image segmentation methods in problems of surface defect detection[J]. Computer Optics，2012，36（3)：448-452.

[4]Wang X H，Wu J F，Liu G X.Feature selection of surface defects in optical Filter[C]∥Proceedings of 2014 International Conference on Computer Science and Applications，2014.

[5]衛(wèi)紅，曹一鳴，王小輝，等.光通信濾光片外觀特性及缺陷的視覺檢測[J].中國測試，2014（4)：30-32.

[6]Jaghoori，Mohammad M.From nonpreemptive to preemptive scheduling:From single-processor to multi-processor[C]∥Proceedings of the ACM Symposium on Applied Computing.SAC，2011.

[7]Salamy H，Ramanujam J.A framework for task scheduling and memory partitioning for multi-processor systemon-chip[C]∥High Performance Embedded Architectures and Compilers-Fourth International Conference.Berlin：Springer，2009.

[8]Lele A，Kumar A，Rohith H M，et al.Exact schedulability analysis of global multi-processor IUF scheduling using symbolic model checking[C]∥5th International Conference on Industrial and Information Systems.IEEE，2010.

[9]付夢瑤.基于聯(lián)合信息熵特征選擇的濾光片外觀缺陷檢測研究[D].廣州：華南理工大學(xué)，2014.

[10]吳俊芳，劉桂雄.圖像邊緣過渡區(qū)的數(shù)學(xué)表征方法研究[C]∥中國儀器儀表學(xué)會.2010中國儀器儀表學(xué)術(shù)、產(chǎn)業(yè)大會（論文集1).中國儀器儀表學(xué)會，2010.

[11]Milanez T，Collange S.Thread scheduling and memory coalescing for dynamic vectorization of SPMD workloads [J].Parallel Computing，2014，40（9)：548-558.

[12]Gujarati A，Cerqueira F，Brandenburg B.Multiprocessor real-time scheduling with arbitrary processor affinities：from practice to theory[J].Real-Time Systems，2015，51（4)；440-483.

Multi-processor scheduling of vision detecting system for filter surface defect

HUANG Jian1，LIU Guixiong1，WANG Xiaohui2
（1.School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China；2.Guangzhou Research Institute of O-M-E Technology，Guangzhou 510663，China）

Online real-time detection is required in vision detecting system for filter surface defect.This paper discusses about a scheduling optimization strategy for utilizing available hardware resources to process real-time work in parallel so as to improve the processing.An AOE graph was used to perform task-level analysis on the abovementioned vision detecting system，optimize the data and resource dependency between events，topological relation of activities and inter-task redundancy，and establish a parallel task model.An arbitrary processor affinities（APAs）was employed for parallel multiprocessor scheduling.The designated task could only be executed by a processor set，i.e.，the tasks with imminent deadline and sensitive caches were confined on a single processorto enhance the level of resourcesutilization and improve the timelinessof detecting system.The results show that，on the panel with 26×28 optical filters（1.20mm×1.20mm），multiprocessor scheduling can greatly increase the detection speed.With the APAs algorithm，the average time in identifying defects is 36.5% that of the routine detection system.It has been proven thatthe multiprocessorscheduling can largely enhance the effectivenessfreal-time performance of testing instruments.

pattern recognition and instrument；multi-processing system；vision detecting system；APAs

A

：1674-5124（2015）10-0090-04

10.11857/j.issn.1674-5124.2015.10.020

2015-02-10；

：2015-04-29

廣東省產(chǎn)學(xué)研項目（01562080172294053)

黃 堅（1990-)，男，廣東揭陽市人，碩士研究生，專業(yè)方向為先進(jìn)傳感器技術(shù)與應(yīng)用。

劉桂雄（1968-），男，廣東揭陽市人，教授，博導(dǎo)，主要從事先進(jìn)傳感與儀器研究。