一種基于Spark 的公路裂縫圖像處理方法*

李楊 劉慶華 劉東華 黃凱楓 賈敘文

（江蘇科技大學 鎮江 212000）

1 引言

我國公路里程規模位列世界前列，受車輛承載過重和自然環境侵蝕的影響，公路破損現象頻現。公路養護不及時導致破損加重，裂縫是破損的前期表現，對于車輛交通安全存在隱患。自動化裂縫檢測系統［1］面臨圖像處理負荷過重和路面復雜環境的干擾。針對目前提出的裂縫圖像處理［2］方法，結合大數據處理，使得路面裂縫方法更加快速、高效，對提高公路裂縫自動化檢測技術有重要意義。

隨著云計算技術的發展，解決處理大規模裂縫圖像數據的速度問題成為了可能。目前，對于裂縫圖像數據，傳統的方法只適用于小規模數據集，不適用于現在的大數據環境。以局部自適應閾值算法為例，雖然理論上可以處理任意大小的數據集，但對于需要大規模處理的裂縫圖像，需要預留更多的空間來進行存儲圖像處理完成的圖像文件數據、變量和灰度級。本文提出了一種基于Spark的公路裂縫圖像處理方法，將Spark 與局部自適應閾值分割算法結合，實現并行處理圖像。通過圖像處理接口進行一系列圖像的預處理轉化操作［3］，經過Spark 集群后存入HDFS。利用傳遞函數實現圖像分割算法與Spark 的整合［4］，可滿足各類的圖像處理算法接入平臺。相比傳統圖像分割算法，本文利用大數據處理平臺Spark提高了圖像分割處理的效率，通過對局部自適應閾值算法的應用，保留其算法的分割準確率高的優勢，并解決了大數據圖像處理時間過長的問題。

2 相關工作

2.1 裂縫檢測

路面裂縫是公路病害的初期表現，對其進行修復，減少后期的維護費用和維護道路安全。裂縫圖像分割是從圖像中提取需要的裂縫目標區域［5］的過程。對于裂縫分割，目前一些主流方法［6］包括：Li L［7］等提出一種利用Sobel邊緣檢測的算法，該模型可以得到路面裂縫分割的結果，處理多種病害交織的路面仍存在誤判。唐磊［8］等對路面裂縫構建三維路面模型，利用空間檢測算子來獲取曲面中的裂縫。這類邊緣檢測算法檢測圖像中灰度突變來完成分割，若噪聲過多時，易出現邊緣不連續。

基于閾值的分割從全局閾值、局部閾值兩方面考慮，是依據灰度閾值將圖像進行分類。全局閾值分割是對整個圖像計算確定閾值，獲取了整體圖像的閾值之后，然后對其進行分割。局部閾值分割是在每個圖像切分的子區域之中計算得到對應的閾值。

Kieschke［9］等提出了基于直方圖的閾值分割方法，先將路面圖像分為不重疊的子塊，根據子塊的直方圖圖像來判斷是否存在裂縫。孫波成［10］等提出一種全局閾值和動態閾值結合的最大類內、類間距閾值分割，來得到加權全局閾值之后，再獲取動態閾值，將其兩者結合得到新的閾值，但存在單獨的噪點和不連續的裂縫。

一些學者提出新的分割算法，在證實后被應用。任炳蘭［11］提出一種基于形態學的多尺度的裂縫分割算法，對抗噪聲膨脹腐蝕邊緣檢測進行改進，但結構元素的選擇易出現問題，導致處理時間較長。Huang和Tasi［12］提出一種基于動態規劃的分割算法，通過對與處理的圖像進行分割，將其分成多個網格，對裂縫多尺度特征分析，利用多尺度單元格中的連通元進行分割，

本文針對以上幾點問題，根據裂縫圖像數據特點和大數據時代背景，以裂縫檢測和Spark 相結合的方式對傳統算法改進。

2.2 Spark平臺

Spark 是由加州大學伯克利分校的AMPLab 開發，著重考慮處理速度、復雜計算分析、易用性這三個方面，利用RDD 作為內存來實現計算和存儲的功能，定義了不同的操作指令來實現轉換和動作，來實現高效的數據處理。基于迭代優化的設計，Spark并行處理在處理大規模數據時更加快速。

Spark的核心是一種新的彈性分布式內存數據結構（RDD）［13］，可以將迭代運算常用的數據放至于內存，也將數據存儲到磁盤中，來進行數據的分區管理。為了優化迭代速度，Spark 將中間的臨時數據存放在內存，RDD 作為內存抽象，大量減少磁盤IO，便于進行迭代優化。RDD 有兩種操作類型，即轉換（Transformation）和動作（Action）。轉換操作是惰性求值，將RDD 封裝為一系列具有血緣關系的RDD即有向無環圖（DAG），在末尾遇到Action算子才觸發RDD的運行結果。

Spark簡單認為由驅動器程序、集群管理程序、執行器程序構成。驅動程序初始化應用，定義彈性分布式數據集，連接集群，進行任務調度和資源分配［14］。集群管理程序有1 個Master 節點和多個Slave節點，Master是集群的核心，管理Slave并維持集群的正常運行，Slave 節點進行任務計算，定期向Master 節點匯報自身狀態信息。Spark 中的任務運行流程如圖1所示。

圖1 Spark任務運行流程

3 關鍵實現

3.1 算法描述

基于Spark的公路圖像并行處理作為一種通用的并行處理方法，在Spark中利用圖像處理算法，實現并行處理。本文在圖片處理接口上添加了局部自適應閾值分割算法［15］，局部指圖像中逐像素滑動的小窗口，自適應閾值指算法計算出匹配每幅圖像對應的閾值。其流程如下：

如公式所示，預設像素大小的窗口進行逐像素滑動，遍歷整個圖像。預設的窗口匹配的是圖像分割后的子區域，窗口內所有像素的像素值之和sum，sum 大于或等于閾值，定義窗口正中間的值為1，反之定義窗口正中間的值為0。0為背景，1為目標。

遍歷圖像作為算法中需要時間占比最多的，需要的存儲空間也是相應的圖像大小，時間復雜度為T(n)=O(n2)和空間復雜度S(n)=O(n2)。

本方法對裂縫圖像進行分割，開始形成若干小窗口，然后對小窗口進行逐像素滑動，來進行小窗口的像素值判斷，若干的小窗口與周圍環境進行交互。隨著邊緣部分的灰度級是發生變化，其像素值也隨之發生“梯度”變化的規律。當開始閾值判斷時，如果只對單個像素點來判斷會導致錯誤的分析，此時我們需要對小窗口中的數值進行計算，對應的數值為所有像素的灰度級總和，通過總和來進行判斷。這樣才能根據圖像的數據進行統計，得到最后的結構。結合多個小窗口判斷，減少對目標誤判的可能性，適應性較好，抗噪聲能力較強。在圖像分割的過程中，同時對圖像進行了二值化，降低了后期處理的計算工作量，不會占用大量的存儲資源。

為了解決拍攝裂縫時由于光照不均勻所造成的路面有陰影遮蓋的狀況，可以先通過計算圖像中的像素點領域像素值的大小，再根據值的大小由此得出這些像素鄰域的自適應閾值。接著采用局部自適應閾值分割，取局部鄰域為m×m，將處于這個范圍內的鄰域像素做高斯加權平均處理，可以獲得此時的局部自適應閾值。為了進一步取得完整的裂縫區域，可取當前與鄰域高斯加權平均值的差值數值為20。利用圖像中連通域的行蹤和面積特征，得到處理后的裂縫圖像，再分別提取裂縫區域和噪聲區域。經過以上處理之后，進一步提取圖像中的連通域輪廓，再計算提取到的輪廓的圓形度和面積，從而裂縫區域，具體流程如圖2所示。

圖2 裂縫分割處理流程

3.2 裂縫圖像并行處理方法

3.2.1 圖像的預處理與轉換

Spark無法直接識別DRI、JPG 等照片常用的圖片格式，由于Spark支持文本文件讀入處理，可以將圖像進行預處理轉換［16］，以便于工作節點訪問數據，進行Spark 的處理。將路面裂縫圖像進行隊列化，通過Spark 在圖像處理接口處對圖像隊列進行轉換操作，將圖像轉化為對應的二進制文本文件進行存儲到HDFS分布式文件系統。

Spark 對二進制文本文件提供文本接口，然后開始讀取文本文件，將其生成為彈性分布式數據集，這樣圖像便有了對應的RDD，對圖像的處理就變成簡單的RDD 轉換操作。RDD 轉換操作可以視為運用某種計算方法的數值組合的轉換操作，然后通過傳遞函數，將局部自適應閾值算法導入Spark的圖像處理接口，實現對RDD 實例的轉換操作，結合不同的路面裂縫圖像算法與大數據平臺的結合。具體實現如圖3所示。

圖3 函數傳遞過程

3.2.2 裂縫圖像并行處理的實現

基于Spark的裂縫圖像并行處理由分布式文件系統（HDFS）、Spark 集群、圖像處理接口方面組成，并行處理流程如圖4所示。

1）分布式文件系統（HDFS）：將預處理轉換的圖像和信息存儲，為了確保讀寫速度和存儲容量，在圖像規模增長過程中，適當增加存儲節點。

2）Spark集群：將轉化后的圖像文件讀入，然后多個執行節點并行處理，在主節點與從節點之間協調集群作業調度及資源分配。

3）圖像處理接口：負責圖像預處理、轉換，將圖像處理算法至Spark驅動程序結合。

HDFS通過圖像處理接口存儲預處理轉換后的圖像，然后Spark 讀取HDFS 的數據過程中，為對象創建各自的RDD。對RDD 進行轉換操作，同時整合傳遞函數傳入的圖像處理算法，觸發動作操作，返回結果，并行處理結束后，將處理后的結果輸入到HDFS。處理流程如圖4所示。

圖4 并行處理流程

對圖像裂縫處理算法進行封裝，通過傳遞函數將大數據平臺和局部自適應閾值算法整合，從而使Spark 適用各類圖像裂縫處理算法，實現了通用性。RDD 轉換操作執行后，返回動作操作，操作完成。Spark開始處理傳入圖像，查看數據量規模，進行任務的分配。考慮到集群的節點數量，適當地將任務合理分區，分配到工作節點。工作節點計算完成，返回數據到HDFS。將圖像數據與任務之間合理分配，減少讀取數據時間。

3.2.3 并行圖像處理的通用方法

大規模圖像數據需要分布式存儲和計算時，不再需要將圖像處理算法轉換為需要匹配MapReduce 模型的并行算法，避免了代碼轉換的時間，減少代碼轉換時的編寫成本，使得基于Spark 的并行圖像處理方法具有通用性［17］。采用Python 編寫的圖像處理算法，利用Python 豐富的圖像算法庫，實現各種裂縫圖像處理。Python 面向對象、可移植的特點，被應用到各類圖像處理的領域，縮短了代碼的任務編寫量。首先將編寫的算法添加到圖像處理接口，然后利用傳遞函數的方式，最后實現圖像處理算法與Spark驅動程序的結合。

因此，基于Spark 的圖像并行處理將是一種具有快速且通用性的圖像處理方法，減少了圖像處理的時間，提升了處理效率，為大規模數據處理的實現提供了可能，為實現路面裂縫圖像快速處理提供了一種有效的方案。

4 實驗與討論

4.1 實驗環境及數據來源

本文的實驗集群主要針對基于Spark 的裂縫圖像并行處理。實驗集群選取1 個主節點為Master，4 個從節點為Worker。操作系統均為Centos7，硬件配位為Inter Core（TM）i5-8300H CPU@2.30GHz，2GB 內存。所有節點都已經配置好Spark的相關環境，Python3.0以及關于Python的圖像處理包，如Numpy、PIL 等。通過Python 接口編寫程序，實現Spark 驅動程序以及路面圖像處理方法。Spark Standalong 模式進行任務部署。考慮到確定的規模數據處理負載能力，選擇局域網內網，分別定義各臺主機的節點名，形成內網IP 映射，實現無密碼互傳文件。集群的搭建如表1所示。

表1 集群配置

本文中采用的圖像數據均來自個人采集的路面裂縫圖像。裂縫圖像來源于手機拍攝采取的裂縫圖像，采取簡單的增強方法［18］翻轉、平移、旋轉、縮放，獲取更多數據集，采集的圖像以JPG 格式存儲，圖像大小在3M左右。在本文中，通過對一萬張圖像庫中存在的裂縫圖像處理。

4.2 實驗設計與內容

實驗采用局部自適應閾值分割方法處理裂縫圖像的Python實現算法，針對實驗需要完成圖像處理快速性和有效性的要求，選取若干的裂縫圖像作為數據集測試。

4.2.1 與傳統方法的性能比較

將傳統方法與本文的并行處理方式比較，本研究方法采用5 個節點，1 個主節點，4 個從節點。采用確定的圖像數據規模分別為2000 張、4000 張、6000 張，8000 張實驗，進行分割裂縫，提取裂縫的同時，查看兩者方法處理圖像需要的時間，將反映處理裂縫圖像的時間與數量之間的關系，如圖5 所示。

圖5 傳統處理方法與并行處理方法實驗結果

圖5 反映出基于Spark 的并行處理方法相較于傳統處理方法，在處理100 張裂縫圖像時，兩種方法時間消耗差距不大。但隨著圖像數據規模增加至2000 張時，基于Spark 的并行處理方法利用多節點計算的時間只有傳統處理方法的30%，傳統處理方法需要的時間更長。可以看到，在選擇6000 張和8000 張圖像時，并行處理方法時間開始緩慢增長，只有傳統的方法的16.5%，可進行大規模圖片數據的快速處理。

4.2.2 多節點的處理速度

在拍攝的路面裂縫圖像數據集中，選擇1000張、3000 張、5000 張圖像進行實驗，然后改變集群的工作節點數量，查看節點增加的情況下，節點與時間［19］的關系，基于Spark 的路面裂縫并行處理方法實驗結果如圖5所示。

圖6 不同節點數目的處理時間

從圖5 得知，對于5000 張裂縫圖像數據，在單個工作節點處理的情況下，需要5.7h 的處理時間，然后增加至4 個節點，所需時間大幅度減少，僅需要1.9h的處理時間。在選擇的1000張和3000張圖像數據下，4 個節點運行速度沒有明顯加快，處理時間較為接近。當數據上升到5000張圖像時，4個節點的優勢就可以體現出來，時間降低的速度和處理時間都更加具有優勢。在處理5000 張圖像數據下，逐步增加節點數量，4 個節點下運行速度更快，最快情況下比3個節點的處理時間減少17.8%。采用確定范圍的節點數量與圖像數量，比較處理時間與節點數的關系。

4.2.3 加速比評估

加速比［20］是指同一任務在單個節點與多個節點執行任務所需要的時間之比，加速比是測試并行處理系統性能的重要參考指數。加速比公式為Sp=T1/Tp，T1指單個計算節點完成處理的時間，Tp指P 個計算節點完成處理的時間。理想加速比指在一定的圖像規模和節點數量范圍內，加速比指數會隨著節點數增加而增加，且加速比與節點數的比率趨近于1。選取表2 中的1000 張，3000 張，5000 張裂縫圖片進行加速比值實驗，結果如圖7所示。

圖7 加速比測試

從圖7 可以看出，并行處理圖像時，分別在1000 張、3000 張、5000 張圖像數據確定規模前提下，隨著工作節點數量的增加，加速比在線性增長。實驗中加速比與節點數的比率都不是理想加速比，節點數量的增長，可見比率在一直趨近于1。當加速比與節點數的比率超過0.5，并行處理系統可以達到較優性能。在一定的數據規模和確定的節點下，這個加速比評估證明了基于Spark 的路面裂縫圖像并行處理方法可以實行較好的集群擴展，在一定范圍內增加節點，來完成大規模的路面裂縫圖像處理。

現有的圖像分割大多采用準確率衡量圖像分割算法的性能，定義了一組指標來進行裂縫分割算法的比較。Pr為準確率，TP為正確檢測的對象數量，FP為誤檢的對象數量。Pr=TP/(TP+FP)。裂縫圖像分割的對應準確率的參數如表2所示。

表2 裂縫圖像分割的準確率比較

由表2 可以看出，在準確率上，本研究方法局部自適應閾值算法可以達到86.3%，比其他傳統算法提升顯著，可以較好地提取裂縫結果。

5 結語

基于Spark 的并行路面裂縫圖像處理，將各類路面裂縫圖像分割算法與Spark 大數據框架結合，實現對大規模路面裂縫圖像的快速通用處理。在一定范圍內，通過增加節點的方式，能夠提升處理速度，適應更大的圖像處理規模。通過對處理的圖像進行轉化為二進制文本文件，再進行存儲，實現圖像可以讀入到Spark 平臺。利用圖像處理接口，對圖像裂縫處理算法進行封裝，通過傳遞函數將大數據平臺和局部自適應閾值算法整合，從而使Spark 適用各類圖像裂縫處理算法。由實驗得出，本研究方法可添加通用的處理算法實現并行處理，且滿足大規模數據處理的需要。在確定千余張圖像數據規模時，雙節點比單節點處理時間更少，最多減少了20.4%。在圖像分割的準確率方面，已經由之前方法的47.5%提高到了86.3%。這表明本文的方法對數千張圖像數據進行處理時，利用Spark通過增加節點的方式可以有效提高圖像分割的效率，而且在準確率方面相比傳統分割方法有明顯提高。但是，本文算法在分割時的準確率仍有需要完善提高的空間，后續工作將著重于如何提升在處理大規模圖像分割時的準確率。