基于分布式的玻璃缺陷檢測技術研究及性能優化

(中北大學 信息與通信工程學院，太原 030051)

0 引言

隨著數字圖像檢測技術在生產領域的廣泛應用，很多應用需要及時地分析當前的生產狀況，傳統的數字圖像檢測系統難以滿足工業生產的需求。以玻璃生產加工業為例，在原料加工、制備、熔化、澄清和冷卻等各種生產環節中，由于工藝制度的破壞或操作過程的差錯，從退火窯出來的玻璃帶往往帶有不同類型和大小的缺陷。缺陷檢測系統需要及時的控制橫切機將包含缺陷過多、不符合國家標準規定的部分切除，從而達到提高整條玻璃生產線玻璃質量的效果。由于玻璃帶傳輸速度的加快，缺陷檢測系統短時間會采集大量高分辨率缺陷圖像數據，要實現生產線上玻璃帶缺陷的及時檢測，需要采用與生產速度匹配的，及時不間斷的在線檢測系統[1]。

MapReduce應用于大規模計算機集群處理海量數據的并行計算中，是一種基于鍵/值對的數據處理模型[2]。該模型將復雜的分布式計算過程分為Map與Reduce兩個階段。總任務提前被分割成若干個小任務，每個劃分的小任務由一個Map任務來計算，Map任務計算完成之后將中間結果傳遞給Reduce任務，進行全局的結果匯總并計算出最終的結果。

MapReduce的出現在一定程度上緩解了大數據處理的難題。MapReduce由于最初只定義了基于文本的數據類型，在默認設置中無法支持圖像數據類型的處理。要實現對大量圖像文件的分布式并行化處理，需要實現圖像數據到MapReduce分布式計算框架所默認的數據類型轉換。目前許多學者針對基于MapReduce實現圖像并行化處理做了深入研究。文獻[3]利用MapReduce所提供的讀寫接口來設計所需要的圖像數據類型，由此來實現將圖像序列化為MapReduce可進行處理的數據類型，達到圖像并行化處理的效果。但這種方法存在的缺陷是當面臨大量小文件存儲的問題，會導致Map任務數量過多，造成系統處理效率低的問題。文獻[4]提出了一種新型的圖像數據并行處理模型。利用MapReduce模型適合處理大規模文本數據的特性，選擇將存儲了圖像路徑的文本文件代替圖像數據進行輸入，從而避免了設計圖像數據類型的麻煩，但同樣會面臨大量小文件存儲導致的存儲效率低下的問題。

其次，隨著數據處理需求的提高，也暴露出MapReduce這種分布式計算框架一些缺陷。MapReduce有其性能瓶頸：在Map和Reduce之間，隱形設有中間處理部分，比如為了讓不同結果分發到對應的處理節點上，需要把所有結果匯總到每個節點上再進行排序，每個節點截取對應區間內的數據[5]。該過程是MapReduce之所以能夠正確運算的關鍵所在，但是其影響了系統處理的速度。

為解決此問題，文獻[6]提出本地增強負載均衡算法將MapReduce的流程擴展到，減少與shuffle重疊的計算并充分利用CPU和I/O資源,但開發難度較大且不易于擴展。文獻[7]中提出了一種本地感知的reduce任務調度策略,考慮分區的位置和大小,采用默認的hash partitioner使reduce任務盡量本地化,以減少shuffle數據量,提高 MapReduce 的性能，但對大規模數據集性能提升不大。文獻[8]提出基于數據本地化和負載均衡的任務分配策略，既減少了Shuffle階段數據的傳輸量，同時也避免出現任務分配不均衡的情況。文獻[9]中針對shuffle處理策略的不足,采取管道策略,將map生成的數據通過管道直接傳輸到Reduce,降低了I/O代價,提高了效率，但缺少shuffle會導致計算準確率嚴重下降，不適用于大規模圖像處理。

基于上述背景，本課題以MapReduce并行計算框架為研究基礎，針對大量小文件的存儲問題進行了存儲結構的改進，通過添加流式數據處理模塊和數據劃分模塊，使得計算與存儲本地化，加快數據處理的實時性。并以在線所采集的大量玻璃圖像為測試對象,通過改進MapReduce計算框架實現對各種玻璃缺陷及時準確的檢測。

1 系統檢測方案

對玻璃帶進行缺陷的在線檢測，文獻[10]提出一種基于數字光柵投影的浮法玻璃缺陷檢測方案，此方法利用位于玻璃帶上方的高速CCD相機采集玻璃帶表面呈現的圖像,再由檢測系統的對采集到的缺陷圖像進行缺陷檢測。由于單位時間內線陣CCD相機獲得數據量十分巨大，目前無法采用單一的硬件和軟件系統實現，由此本文設計了基于Hadoop集群的多路并行處理的玻璃帶缺陷檢測方案，如圖1所示。

圖1 玻璃缺陷在線檢測總體方案

該系統由光源、編碼器、高速線陣CCD相機、圖像處理器和Hadoop集群處理器組成。具體檢測方法是由多路獨立的圖像采集單元和由Hadoop集群構成的圖像處理單元組成，采用正透視的背光照射方式的檢測光路[11]，通過多路高速線陣CCD相機并行采集玻璃表面的光強信號，整個CCD線陣都與Hadoop集群相連接。高速數據采集卡通過雙DMA模式連續采集光強度信號，將其轉換為灰度圖像數據并傳輸到上位機。任務由客戶端提交給資源管理器，CCD攝像機收集的數據傳輸到Hadoop集群的Master。Master將每路CCD相機數據分配給對應的Slave。然后，運行分配任務的Slave完成分割算法。最后，處理結果返回給Master。一旦缺陷過多，由系統控制的橫切機將切除具有缺陷的部分。

2 缺陷圖像的分布式處理

2.1 圖像存儲結構的設計

在缺陷圖像處理之前，首先要解決圖像數據的存儲問題。本文默認的數據塊大小為128M，玻璃缺陷圖像數據大小遠小于默認的數據塊大小，直接存儲會在NameNode中存儲大量文件名稱信息，從而嚴重降低集群的運算性能。同時訪問大量小圖像回頻繁調用I/O接口，也會增加文件尋址時間。因此本文針對圖像分片利用HIPI接口的HipiImageBundle類，將本地圖片通過文件遍歷方法上傳，圖像分片組成一個包含數據和索引的hib文件存儲結構，生成glass.hib和glass.hib.dat。hib文件存儲位移及索引信息，hib.dat文件存儲圖像數據。通過對HIPI接口的調用，減少了大量圖像分片對Hadoop性能的影響。

其次，由于MapReduce運算模型的性質，在圖像處理過程中會將圖像數據隨機分塊。如果不對圖像數據進行預處理，而是由Map任務直接分塊處理，在最后的聚合階段無法將分塊后的圖像數據進行準確的聚合，從而無法還原到處理之前完整的原始圖像。因此，在Map任務進行分塊前，本文對玻璃缺陷圖像進行預處理，提前將圖像處理前的分塊順序和圖像分塊相對于原始圖像的位置坐標存儲在數據塊的元信息中。在Map任務完成之后，可以將分塊后的圖像數據與提前存儲的元信息進行比對，依照原信息中存儲的數據塊坐標位置即可快速完成分塊圖像的準確聚合。本文所采取的圖像存儲結構如圖2所示。

圖2 圖像存儲結構的設計

2.2 MapReduce功能的設計

MapReduce缺陷檢測實現過程可分為如下3個階段：首先，圖像序列中每個圖像被分割成多個小的圖像分片，并將圖像分片分配到Hadoop的數據節點上。接著，數據節點上的每個Map過程獨自完成圖像分片的缺陷分割任務。最后，在Reduce過程中將檢測后的圖像分片聚合，獲得最終檢測結果。MapReduce的工作流程如圖3所示。

圖3 MapReduce圖像處理流程

在Map階段，通過ImageInputFormat接口讀入圖像分片，ImageRecordReader函數負責輸入以及對記錄進行讀取操作，得到分割記錄和產生輸入分片[12]。MapReduce程序將輸入的對輸送給 map完成程序執行，采用閾值分割的方法完成每塊圖像的缺陷檢測。map任務結束后，將檢測結果以的鍵值對形式輸出，結果發送到reduce任務，圖像分片元信息中像素的索引號和坐標號保存在key中，value則保存該圖像分片的缺陷檢測結果。

在Reduce階段，針對key中保存的元數據信息和value中的檢測結果，按照元數據中存儲的索引號和像素坐標等信息，將檢測結果歸并，并將檢測結果保存到HDFS中的不同文件夾中。在對圖片調用執行完畢，再啟動reduce程序把執行處理后圖像進行合并操作。

3 缺陷檢測算法優化

Map階段數據節點產生的中間數據需要經過網絡傳輸到Reduce階段的計算節點作為其輸入數據，這個中間階段稱為Shuffle[13]。Shuffle階段的數據傳輸和Reduce階段數據存儲非常耗時，所以如何減少Map階段不必要的網絡帶寬占用，成為提升MapReduce作業執行效率的關鍵。而Map階段性能與數據本地化相關，所以提升數據本地化可以有效提升MapReduce作業的執行效率。

Hadoop[14]數據本地化是指數據集無冗余地劃分至每個節點，通過劃分數據集來并行化數據的處理。如圖4所示，在任務調度過程中，如果不考慮數據本地化，就會使得本可以直接從本地讀取輸入數據的任務需要跨機架通過網絡訪問來遠程讀取數據，增加了任務的執行時間。在改進的MapReduce計算模型中，數據本地化使系統能夠感知機架。通過數據定位，數據分配可以提高系統的并行度，從而提高系統的處理效率。在本文中，數據塊分區被提前到Map階段，當map完成后，所有數據都被發送到相應的Reduce節點，然后進入Shuffle階段，這個過程在簡化繁瑣的中間排序過程的同時也能很好保證運算的準確性，提高了傳統MapReduce框架的效率。

圖4 MapReduce本地化機制

4 實驗

本實驗是在局域網內，實驗搭建Hadoop集群由一個主節點和4個從節點組成。 Hadoop集群安裝在虛擬機上，軟件配置和硬件設置如表1，表2所示。實驗選取在線采集玻璃缺陷圖像作為實驗對象，缺陷圖像的平均大小約212KB。由于實驗在分布式集群上進行，實驗中數據塊的副本數設置為3，同時集群中默認的數據塊大小為128M，MapReduce中Reduce的數目設置為1，實驗環境的軟件和硬件配置如表1和表2所示。

表1 實驗環境軟件配置

表2 實驗環境硬件配置

在實驗環境搭建完成之后，對在線所采集的玻璃缺陷圖像進行基于MapReduce的分布式缺陷檢測實驗，結果如圖5所示。圖5(a)是一幅含有疥瘤的玻璃缺陷圖像，圖5(b)是在MapReduce上進行分塊缺陷檢測的中間結果，圖5(c)是將中間結果聚合后，得到的最終檢測結果。

將原玻璃缺陷圖像和檢測后的結果進行對比，如圖6所示，分別展現出了劃痕、夾雜、污點和疥瘤的閾值分割結果。通過多次的測試可以看出，本文所采取的圖像分割算法可以有效完成不同種類玻璃缺陷圖像的分割。

圖5 MapReduce疥瘤缺陷檢測結果

圖6 MapReduce圖像分割結果

為了驗證本文改進的MapReduce框架處理效率和運算性能的提升，將改進的MapReduce框架與原來的運算框架分別運行在三節點和四節點的Hadoop集群，測試所采取的圖像數據量分別在200 M、400 M、600 M、800 M和1 000 M的條件下檢測兩種框架運算的效率。通過圖7和圖8發現，不同節點Hadoop集群下，隨著圖像數據量的不斷提高，處理時間顯著加快，基本呈線性增長。對比三節點和四節點集群的處理時間，圖9和圖10分別展現出了不同節點下運算性能改進的加速比，從圖9和圖10的加速比變化可以看出，伴隨著節點數的增多，MapReduce的運行效率會有所提高，加速比大約從1.1提高到1.24。集群節點數越多，加速比會適當提高，這體現出改進的算法在多節點集群上加速效果更明顯，也可以說明本文改進的算法在數據調度和本地化數據方面改進顯著。總之，改進的MapReduce架構改善了數據運算性能，因此本文所做的改進相對于傳統的MapReduc框架在性能上有所提高，可以很好的應用于玻璃缺陷圖像檢測系統中。

圖7 三節點Hadoop集群處理結果

圖8 四節點Hadoop集群處理結果

圖9 三節點Hadoop集群加速比

圖10 四節點Hadoop集群加速比

5 結論

本文針對目前玻璃檢測系統無法滿足及時性的問題，將MapReduce分布式計算框架應用于海量玻璃缺陷圖像檢測中。通過對存儲結構的改進，解決大量小文件存儲導致效率低下的問題，完成基于MapReduce的并行化玻璃缺陷圖像閾值分割算法。此外，在原有的MapReduce計算框架基礎上，對中間處理過程Shuffle做了進一步改進，通過數據本地化改善運算性能。實驗表明，改進的MapReduce并行計算框架數據處理速度得到顯著提高，保證了系統的準確性和及時性，為玻璃缺陷檢測后續的打標和切割工序提供了有效信息。