構建適用于深度學習的海浪樣本數據集的并行算法實現及性能優化

鄒國良 陳長吉 郝劍波

(上海海洋大學信息學院 上海 201306)

構建適用于深度學習的海浪樣本數據集的并行算法實現及性能優化

鄒國良 陳長吉 郝劍波

(上海海洋大學信息學院 上海 201306)

采用深度學習算法來實現海浪等級的劃分，數據來源于洋山港視頻監測及同步海浪測量。針對近岸海浪識別系統中，構建海浪樣本數據集中圖像處理部分計算量超大的問題，設計一種海浪樣本數據集圖像處理的并行化運算方案。構建海浪樣本數據集時，主要將視頻進行關鍵幀提取，經過加權均值濾波去噪，生成與海浪等級對應標簽，實現了海浪樣本數據集的構建。在多核計算機上采用OpenMP對海浪樣本數據集圖像處理過程進行并行算法仿真，同時完善相關代碼的性能優化。實驗結果表明，設計的并行算法比串行算法大大地提高運算速度和多核利用率，當優化后線程K=8時，加速比可以達到24.29。該算法具有擴展性好、性能高、使用簡單方便、價格低廉的優點，具有良好的實用價值。

深度學習 海浪樣本數據集 關鍵幀 加權均值濾波 并行優化 OpenMP

0 引 言

2006年以來，機器學習領域取得了突破性的成功，伴隨著計算機技術的長足進步，以及分布式云計算和大數據的興起，人工智能迎來了春天。而深度學習便是實現云計算對大數據處理的核心算法。深度學習就是模仿人類大腦的學習過程，對外界大數據進行挖掘，找到其內在的聯系。近年來，深度學習快速的發展并有著廣泛的應用領域[1-2]：主要在語音識別與分類領域、圖像識別領域、自然語言理解等。盡管在語音分類、圖像識別領域，深度學習展示了驚人的優勢，但在海洋領域，很少有人研究，相關成果也少之又少。現有的深度學習算法，基于的數據集太過單一，大部分都是針對特定的數據集開展，如人臉[3]、手寫字體庫[4]等。因此以洋山港視頻監測數據為樣本及同步海浪測量數據為依據，采用深度學習算法來實現海浪等級的劃分。來構建適用于深度學習的海洋海浪視頻數據集具有一定的理論意義。

隨著多核計算機的普及和并行計算的快速發展，為了充分利用多核處理器資源，基于多核平臺上采用并行計算的思維設計程序算法已成為當今多核的發展趨勢[5]。而深度學習主要是通過訓練大數據樣本來提高其識別精度，訓練大數據樣本對計算資源有著巨大的需求，是高性能典型應用之一[6]。為了能快速地完成波浪數據集樣本的計算任務，需要對串行的波浪數據集程序進行并行化設計，在多核計算機平臺上利用OpenMP編程語言實現波浪數據集程序并行算法設計，并進行相關代碼的優化。實驗結果表明，文中設計的并行算法比串行算法大大地提高運算速度和多核利用率，為采用并行計算處理大數據樣本波浪集提供一種高效、經濟的實施方案。

本文利用深度學習的優勢，基于上海海洋大學建設的洋山港海洋監控系統的實驗條件，應用到海洋視頻監測系統領域，構建了適合深度學習的海洋海浪樣本數據集，提出了一種構建適合深度學習的海浪樣本數據集圖像預處理的并行化運算方案。所研究的內容可以實現洋山港監控系統業務化，為洋山港碼頭保駕護航，為上海市海洋業務起了積極的推進作用，更為以后申請上海市和國家海洋局重點海洋項目奠定了扎實的基礎。

1 并行編程簡介

在并行編程領域，OpenMP是一種基于共享主存技術的并行應用編程接口[7]，通過在串行程序中添加編譯指導語句，運行時庫函數和環境變量等產生相應的可執行并行代碼。OpenMP目前已成為并行程序設計的主流模型之一，只支持C/C++和 Fortran 語言，它具有易用性好、支持增量并行和數據并行等優點[8]。

1.1 并行編程模型

OpenMP是基于線程的并行編程模型，執行模式遵循了Fork-Join(派生/連接)[9],OpenMP并行程序的運行過程如圖1所示。首先將程序劃分為并行區和串行區，進程中的主線程負責執行串行代碼，直到進入并行區 ( parallel region) 開始多線程并行執行并行區代碼;主線程就立刻派生出一些子線程來并發執行程序的并行部分。當重新執行到程序的串行部分時，這些子線程將終止。運行在不同處理器上的線程之間可通過共享變量來實現數據的交換。如圖1所示，OpenMP并行程序運行過程圖。

圖1 OpenMP并行程序的運行過程

1.2 OpenMP編譯指導語句

OpenMP語句指令都是用一個特殊的標識符來標識的Fortran注釋[10]，必須在編譯時加上OpenMP并行參數才能使其生效，不加編譯參數，編譯的程序仍舊是串行程序。在 C/C++ 程序中，OpenMP的所有編譯制導語句均以#PRAGMA OMP開始來標識一段并行程序塊，該標識后面可以跟具體的功能指令。！＄OMP PARALLEL NUM_THREADS()和！＄OMP END PARALLEL這兩條并行指令指明并行區，指令！＄OMP PARALLEL NUM_THREADS()是設定并行區線程數。！＄OMP DO和！＄OMP END DO是一組對循環執行并行指令的語句，但每個循環必須是無相關性的。！＄OMP sections是開啟塊并行區，指令！＄OMP section在每個并行塊之前加上的并行塊結構語句等[11]。

2 構建海浪樣本數據集

文中的實驗數據均來自上海洋山港實驗基地，采用高清攝像頭24小時全天候攝錄，然后將數據拷貝出來，這樣就得到了海浪的部分視頻數據。所采集的海浪數據集，依托海浪同步視頻序列，人工挑選特征明顯的視頻，由于視頻里的聲音格式無法在Microsoft Visual Studio 2010里讀取，使用HIKVISION格式轉換工具將聲音格式轉換為mp4格式，將格式轉換后采用OpenMP進行預處理，包括以下幾個步驟：

由于監控視頻連續的特性，在一段連續變化的視頻序列中，連續的前后視頻幀存在的特征值是漸變的，即相鄰幀的圖像信息值變化不大[12]。視頻讀取使用VideoCaptur函數來實現，基本流程是用ViderCapture函數建立一個obj，使用get函數得到整個視頻的總的幀數。將格式轉換后的視頻進行關鍵幀提取，關鍵幀可以代表一段視頻的主要內容，圖像熵包含了圖像信息量的內容，本文就將圖像熵引入關鍵幀提取中[13]，將選取圖像的信息熵最大幀作為視頻關鍵幀。圖像熵公式定義為：

(1)

式中：xi代表像素(x，y)的灰度值，f(xi)為整個圖像像素值在xi中出現的概率。再使用for循環函數，圖片命名是連接字符串的strcat函數，得到原始圖像分辨率為1 920×1 080。由于海浪的波形具有周期性，所以用OpenMP把得到原始分辨率1 920×1 080圖像按照一個波形周期截取分辨率為300×300的一個小塊圖像。

當高清攝像頭全天候攝錄海浪圖像時，由于受光照、大氣、雨水和溫度的影響，會使攝取到的視頻圖像中存在大量噪聲，從而會對海浪圖像進行準確識別有一定的影響，對含有噪聲的海浪圖像進行去噪是非常重要。

均值濾波處理就是將圖像局部窗口像素進行平均求值，而使圖像邊緣變得模糊化，將對海浪圖像進行提取識別有一定的影響，本文使用加權均值濾波來代替均值濾波。加權均值濾波就是由窗口內各像素樣本點的灰度值將濾波窗口中心點的灰度值加權平均獲得，權值大小根據像素點與中心像素點相關性的大小而設定。離窗口中心點像素相關性越強的點，所得權值就越大，而處于窗口中心的像素點比其他位置的像素點的權值大，隨著離窗口中心位置的像素點距離增加，權值反而要減少，在一定程度上可以使用加權均值處理來減少圖像模糊化[14]。其加權均值濾波表達式如下：

(2)

式中：xj(x,y)表示濾波窗口中心點(x,y)領域內像素灰度值，wj(x,y)為濾波窗口中xj(x,y)對應的權重，g(x,y)為中心像素點濾波后的灰度值。本文使用的加權均值化處理，經過加權均值化處理所得圖像特征明顯，能夠有效地抑制噪聲像素對其鄰域象素的影響，改進了圖像邊緣信號，極大地改善了濾波效果。但無效的特征信息也存在，然后進行統一處理，把他們的灰度值固定在一定的范圍內，然后給其加上與海浪等級所對應的標簽。到此為止，海浪等級的一個樣本便生成了。重復以上步驟，為了加快訓練速度，再把圖像縮小至100×100的分辨率，構建對應的標簽數據來完成適用于深度學習的近岸海浪識別樣本數據集，再輸入到CNN網絡運行。

根據上海洋山港條件以及國家海洋環境預報中心通用海浪等級標準，劃分為3個海浪等級，即一級、二級和三級，每個等級分別選取500幅、1 000幅、1 500幅三類樣本圖像，為分別構建了1 500、3 000、4 500樣本訓練集和對應的標簽數據，當前已收集到的海浪等級圖像經過預處理圖像如圖2所示。

圖2 海浪圖像預處理對應等級

3 海浪樣本數據集并行化處理

深度學習主要是通過訓練大數據樣本來提高其識別精度，不足之處是計算量非常龐大。本文主要針對深度學習的近岸海浪識別系統，構建適用于深度學習的海洋樣本數據集，對大量的海浪圖片進行處理的時間花費很大。要急需提高計算效率，而并行算法是解決大數據量計算時間問題的主要手段之一。并行化實現模式是根據圖像數據具有的數據量大、相關性高、規律性強等特點以及圖像處理算法具有的領域性、分層性、順序性、一致性的特征，依據并行化算法特征可分為全局可并行算法、局部可并行算法、不可并行算法三類[15]。

通過構建海浪圖像樣本數據集實驗流程圖，如圖3所示，本文所使用的區域分解算法，每一張海浪圖像處理過程是相互獨立的，不存在數據之間的依賴性，因此可以實現對現有的算法進行并行化處理，中心思想就是將背景網格[16]區域中海浪圖像分解成子圖像，再分配到不同的處理器上同時運行。本文采用多尺度任務劃分，實現多核并行模式，處理流程是把一個大型的任務分解為每個大小一樣的子任務并分配給子線程，對數據進行按行劃分，本文劃分的依據根據海浪特征進行劃分，以波浪一個周期為一個子任務，可以減少冗余，縮短時間，再分配給不同的處理器。由于每個子任務相互獨立互不影響，并行進行數據塊的處理，每個子線程處理結束后向主線程發回最終的結果。文中采用分塊并行化處理主要基于兩方面因素考慮：一是面對大數據量的波浪影像，要是不進行分模塊處理，效率極低以及無法處理，關鍵是效果也難以得到保證；二是分塊處理有助于發揮多核、集群等計算資源的高性能優勢，進一步提高計算效率。構建適用于深度學習的海浪樣本數據集圖像處理并行化實現過程如圖3所示。

圖3 海浪預處理并行化流程圖

并行程序算法結構如下：

#include

main(){

Omp_set_num_threads(K);

#pragma omp parallel for //啟動K個線程

VideoCapture導入視頻；

get獲取總的幀數；

for(i=1;i< streamNumber;i++){//視頻處理循環

分幀處理；

關鍵幀提取；

}

A=[ ]; //定義一個空矩陣；

for(i=1;i

進行加權均值化濾波處理;

生成標簽；

構建數據集;

}

}

4 并行算法性能優化

本文主要采用并行域的擴展與合并和負載均衡這兩種主要優化方法對構建適用于深度學習的海浪樣本數據集圖像處理的程序進行并行優化。

4.1 并行域的擴展與合并

并行域的擴展和合并[17]就是利用程序相鄰的并行域區間重構來盡可能合并多個并行域，從而可以縮小程序并行區域的數目，讓串行程序與并行程序之間切換減少不必要開銷。以本文海浪預處理并行化設計為例，將多個并行域區間進行合并成整個程序大的并行域，分別如圖4和圖5所示并行域合并前后線程結構的對比。

圖4 并行域合并前的線程結構

圖5 并行域合并后的線程結構

4.2 負載均衡

負載均衡[18]是導致OpenMP多線程程序性能的重要因素之一，由于區域分塊方法，每一個子線程計算區域不同，容易造成負載不平衡，優化效果不明顯，存在并行開銷問題。為了要保證系統中節點之間負載均衡，采用自適應背景網格方法，一段時間背景網格被自動重新定義，這樣可以避免劃分不均勻的問題，減弱負載的不平衡，達到程序性能最優化[19]。

5 實驗結果與分析

5.1 實驗環境

在調試和性能分析時，本次試驗是基于四核處理器上采用Intel(R) Core(TM) i7—4800MQ CPU @ 2.7 GHz處理器，內存16 GB，操作系統為Win7-64 bit企業版，顯卡為Intel(R) HD Graphics Family，編程工具為Microsoft Visual Studio 2010。

5.2 實驗結果分析

本實驗基于OpenMP編程平臺對構建深度學習的海浪樣本數據集圖像預處理并行化研究。文中的實驗數據均來自上海洋山港實驗基地，采用高清攝像頭24小時全天候攝錄，然后將數據拷貝出來，這樣就得到了海浪的部分視頻數據。構建海浪樣本數據集的處理部分主要分為兩部分，第一部分是把視頻進行關鍵幀提取，由于洋山港地理水文條件的限制，根據上文海浪劃分為3個等級，在每個等級海浪視頻上分別選取500幅、1 000幅、1 500幅的特征明顯圖片來進行實驗將為下一步對海浪圖像進行加權均值化處理去噪，實現標簽完成樣本數據集。第一步處理完成后，進行實驗第二步把處理好了海浪圖片打包成樣本數據集，用于深度學習的近岸海浪識別的訓練。實驗分別對1 500幅、3 000幅、4 500幅特征明顯的海浪圖片打包成數據集進行并行處理，生成.mat數據文件。

實驗流程如圖3所示，實驗分成兩組，第一組實驗分成三組數據進行測試，先使用串行算法進行測試，在把串行改成并行算法，再對并行程序算法進行性能優化(如表1、表2所示)。第二組實驗采用同第一組實驗相同的數據集，OpenMP與MPI、TBB進行對比實驗(表3)。MPI是基于消息傳遞的并行程序，可以輕松支持分布式內存存儲和共享式內存存儲拓撲結構。廣泛支持多種編程語言、操作系統以及硬件平臺等[20-21]，本文對比采用最新的MPICH[22]；TBB是Intel開發的線程構建模板，是基于C++模板庫的面向任務的并行編程模式[23-24]，本文采用類似文獻[25]中的算法。為了保證測試結果的穩定性，計算結果分別取10次的平均值，后面保留兩位小數點，以秒為時間單位。

表1 優化前樣本數據集的串并行時間對比

表2 優化后樣本數據集的串并行時間對比

完成構建海浪圖像樣本數據集圖像處理優化前串并行運算時間對比如表1所示，進行程序優化后串、并行運算時間對比如表2所示，隨著大量的圖片打包成數據集時，串行方法明顯需要更多的運行時間，反觀并行處理的性能提升倍數也隨之明顯增大。并行方法的優勢就是提高計算速度，節約時間。并行計算的性能主要由加速比和并行效率兩個方面衡量。

并行算法的加速比定義為：

Sk=Ts/Tk

(3)

并行算法的并行效率定義為：

Ek=Sk/K

(4)

式中，Ts為串行算法運行時間，Tk為并行算法運行時間，K為并行運行的線程數。如圖所示圖6為加速比對比曲線圖，圖7為并行效率對比曲線圖。

圖6 加速比對比曲線圖

圖7 并行效率對比曲線圖

從圖6加速比對比曲線圖上顯示是優化前后對比，在優化前線程K=2時，加速比最低值處于(4+)，在程序優化后線程K=2時，加速比增加到(5+)，并隨著數據量不斷的增加擴大，加速比也在不斷增加但增加緩慢。但隨著線程的增加K=8時，加速比增加趨勢變大，以優化前數據量為4 500張海浪圖片打包成數據集時，加速比可以達到23.45，而經過程序優化后，加速比增加到24.29。從圖上數據的趨勢觀察看，具有一定的擴展性，可以根據實際應用需求來增加線程數，提高并行處理的性能優化。從圖7并行效率對比曲線圖上可得，當優化前數據量為1 500時，隨著并行線程從2增加到8時，并行效率不增反而從2.41降到1.44，優化后并行效率從2.99降到1.80。當優化前數據量從1 500增加到4 500時，當K=2時，并行效率從2.41增加到5.24，當K=8時，并行效率從1.44增加到2.93,優化后，當K=2時，并行效率從2.99增加到5.45，當K=8時，并行效率從1.80增加到3.04。說明當數據量在一定范圍內時，系統的額外開銷增加會影響并行效率，反之隨著數據量不斷增大時，這些因素的影響比重會逐步減少，并行效率也會明顯提高。但隨著波浪數據集樣本的數據量越來越多時，所花費的運行時間也在不斷的增加。從圖6可知，隨著并行線程數的增加，運行的時間在不斷減少但減少的趨勢比較緩慢。

第二組實驗在同一數據上進行(以4 500張數據為例)，OpenMP性能程序優化后時間，分別與分布式編程MPI和線程構建模板TBB進行試驗對比，試驗結果如表3所示。

表3 OpenMP、MPI、TBB運行時間對比

表3表明，針對現有的海洋海浪圖像數據，本文利用三種并行算法實驗數據可得，隨著線程個數增加并行運算效率將逐漸下降，當K=2到K=8時，OpenMP運算時間小于TBB運算時間和MPI運算時間。而當K=2到K=4時，MPI并行運算時間小于TBB并行運算時間。分析其主要原因，MPI主要是分布式機器之間數據傳輸，不易增量開發串行程序的并行性，它更適用于集群方面。在多核單機運行環境中，MPI的時間開銷大于OpenMP，運算效率較低。由MPI測得時間數據可得，隨著線程個數增加，MPI并行運算時間間隔不斷的減小，因此MPI并行運算性能將逐漸下降。TBB是專用于編寫高層抽象的C++程序，只針對任務編程，并行編程復雜，不支持動態線程負載平衡功能，相比OpenMP而言性能效果稍有不足。因此本文OpenMP并行算法在實際多核應用中具有使用簡單方便、可擴展性好、性能高。

6 結 語

文中主要針對構建適用于深度學習的海浪樣本數據集圖像處理計算量超大的問題，設計了一種構建適用于深度學習的海浪樣本數據集圖像處理的并行化算法，并在多核計算機上采用OpenMP對并行算法進行編程實現。文中給出了實驗處理的主要工作，在OpenMP多核平臺上采用任務分解的并行模型編程，并在OpenMP平臺上進行性能優化測試與結果分析。實驗結果表明，文中設計的并行算法在OpenMP多核平臺上經過程序性能優化加速比從23.45增加到24.29，最少可以在28.56 s對1 500張樣本數據集構建成功。相對于其他并行算法模式，該算法具有擴展性好、性能高、使用簡單方便，相比采用硬件提速花銷基本無，具有良好的實用價值，可以運用到其他對實時性要求高的方面。

[1] Lee H,Yan L,Pham P,et al.Unsupervised feature learning for audio classification using convolutional deep belief networks[C]//International Conference on Neural Information Processing Systems.Curran Associates Inc.2009:1096-1104.

[2] Krizhevsky A,Sutskever I,Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks[J].Advances in Neural Information Processing Systems,2012,25(2):1097-1105.

[3] Phillips P J,Moon H,Rizvi S A,et al.The FERET Evaluation Methodology for Face-Recognition Algorithms[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,22(10):1090-1104.

[4] Lecun Y,Cortes C.The mnist database of handwritten digits[OL].The Courant Institute of Mathematical Sciences,1998.http://yann.lecun.com/exdb/mnist/.

[5] 張維琪,樊斐.自適應SSDA圖像匹配并行算法設計與實現[J].計算機工程與應用,2014,50(20):64-67.

[6] 白明澤,程麗.基于OpenMP的分子動力學并行算法的性能分析與優化[J].計算機應用,2012,32(1):163-166.

[7] 吳俊杰,楊學軍.面向OpenMP和OpenTM應用的并行數據重用理論[J].軟件學報,2010,21(12):3011-3028.

[8] Chapman B,Jost G,van der PAS R.Using OpenMP:Portable Shared Memory Parallel Programming[M].Cambridge:MIT Press,2007:23-34.

[9] 羅秋明,明仲,劉剛,等.OpenMP編譯原理及實現技術[M].北京:清華大學出版社,2012:28-31.

[10] Liu Y,Li Y,Teng B,et al.Total horizontal and vertical forces of irregular waves on partially perforated caisson breakwaters[J].Coastal Engineering,2008,55(6):537-552.

[11] 李提來,徐學軍.OpenMP在水動力數學模型并行計算中的應用[J].海洋工程,2010,28(3):112-117.

[12] 周兵,郝偉偉.一種適合于監控視頻內容檢索的關鍵幀提取新方法[J].鄭州大學學報(工學版),2013,34(3):102-105.

[13] Ren L,Qu Z,Niu W,et al.Key frame extraction based on information entropy and edge matching rate[C]//International Conference on Future Computer and Communication.IEEE,2010:V3-91-V3-94.

[14] 趙娜娜.視頻圖像預處理關鍵技術研究[D].杭州:杭州電子科技大學,2012.

[15] 杜根遠,張火林,苗放.一種基于MPI和OpenMP的剖分遙感影像并行分割方法[J].計算機應用與軟件,2016,33(9):180-183,207.

[16] 張雁,吳保國,王曉輝,等.基于網格環境的遙感圖像并行分類[J].計算機應用與軟件,2015,32(2):194-197,219.

[17] 游左勇.OpenMP并行編程模型與性能優化方法的研究及應用[D].四川:成都理工大學,2011.

[18] 張志遠,周宇峰,劉利,等.MASNUM海浪模式的性能特點分析與并行優化[J].計算機研究與發展,2015,52(4):851-860.

[19] 黃鵬,張雄,馬上,等.基于OpenMP的三維顯式物質點法并行化研究[J].計算力學學報,2010,27(1):21-27.

[20] 劉志強,宋君強,盧風順,等.基于線程的MPI通信加速器技術研究[J].計算機學報,2011,34(1):154-164.

[21] 王海濤,劉淑芬.基于Linux集群的并行計算[J].計算機工程,2010,36(1):64-66.

[22] 剡公孝,申衛昌,劉驪,等.一種基于MPICH的高效矩陣相乘并行算法[J].計算機工程與應用,2009,45(26):72-73.

[23] Intel Corporation Intel threading building blocks(TBB)[EB/OL].[2010-06-30].http//www.threading building blocks org.

[24] 胡斌,袁道華.TBB多核編程及其混合編程模型的研究[J].計算機技術與發展,2009,19(2):98-101.

[25] 鄭曉薇,張建強.基于TBB任務調度器的N皇后多核并行算法[J].計算機工程與設計,2010,31(15):3423-3426.

PARALLELIMPLEMENTATIONOFWAVESAMPLEDATASETFORDEEPLEARNINGALGORITHMANDITSPERFORMANCEOPTIMIZATION

Zou Guoliang Chen Changji Hao Jianbo

(InstituteofInformation,ShanghaiOceanUniversity,Shanghai201306,China)

The deep learning algorithm is used to achieve the classification of ocean waves, data from Yang Shan Port video monitoring and synchronous wave measurement. Aiming at the problem that the construction of the wave sample data set in the image processing part has large computation in the offshore wave recognition system, a parallel computing scheme for image processing of ocean wave sample dataset is designed. When building a wave sample dataset, the key frame was extracted from the video, and the weighted mean filter denoising was used to generate a corresponding label of the wave level. Hence, the construction of the ocean wave sample data set was realized. We adopted OpenMP to perform parallel algorithm simulation for wave sample data set image preprocessing, and improve the performance optimization of related code. Experimental results show that the proposed parallel algorithm greatly improves preprocessing speed and utilization ratio of multi-core over a serial algorithm. Its speedup ratio can reach 24.29 as the thread is increased toK=8. We conclude that the algorithm has good scalability, high performance, convenient use, inexpensiveness and good practical value.

Deep learning Wave sample data set Key frames Weighted mean filtering Parallel optimization OpenMP

TP391

A

10.3969/j.issn.1000-386x.2017.09.012

2016-11-15。國家自然科學基金項目(11402142)。鄒國良，教授，主研領域：海洋信息處理及應用。陳長吉，碩士生。郝劍波，碩士生。