基于MapReduce框架的實時大數據圖像分類研究

申妙芳

（廣州涉外經濟職業技術學院，廣東 廣州 510540）

最近幾年，隨著社會經濟水平的不斷提高和大數據技術的不斷發展，我國逐漸進入了大數據時代，在這樣的背景下，MapReduce框架應運而生。該框架憑借著自身高準確性、強靈活性等特征被廣泛地應用于實時大數據圖像分類領域中，不僅保證了圖像分類的精確性和高效性，還提高了人臉圖像識別效率和效果，為滿足大數據實時計算需求發揮了重要作用。因此，在MapReduce框架的應用背景下，如何科學分類實時大數據圖像是技術人員必須思考和解決的問題。

1 MapReduce并行化計算框架

MapReduce框架屬于一種常用的并行計算框架，在實時大數據圖像分類領域中取得了良好的應用效果，該框架主要運行在分布式文件系統中。MapReduce框架內部數據結構主要包含兩種類型，一種是key數據結構[1]，另一種是value數據結構。同時，該框架的運行階段有兩種，分別是map運行階段和reduce運行階段。其中，map運行階段在MapReduce框架的整個應用流程中所承擔的計算工作量最大，同時各個計算節點均要與運算過程進行有效結合，以保證最終計算結果的真實性、準確性和完整性[2]。而reduce運行階段在MapReduce框架應用過程中所承擔的計算工作量相對較少，因此所提到的POSELM算法和OSELM算法在實際的運行中，主要集中在map運行階段[3]。此外，在MapReduce框架的應用背景下，技術人員要根據數據分布特征，在充分結合程序設計特點的基礎上，利用分布式文件系統，以64MB為數據劃分單位，完成對相關數據結構的劃分[4]。在此基礎上，采用計算節點備份的方式，將相同的數據結構進行匯總和并用，以最大限度地提高數據的存儲量。這樣一來，可以有效地避免因部分節點出現異常而影響最終計算結果的準確性和有效性[5]。另外，計算系統在實際的運行中，往往需要采用平衡分布的方式，對所有數據塊進行集中化處理，一旦發現某一節點計算能力比較高時，則會讓該節點承擔更多的計算任務，為進一步提高計算操作的效率和效果打下堅實的基礎。最后，為了進一步地提高大數據文件傳輸的可靠性和安全性，技術人員要利用MapReduce框架，將本地數據轉化為相應的算法[6]，并將其傳輸到相應的工作節點內，然后在保證計算結果真實性、準確性和完整性的基礎上，盡可能地提高計算效率。

2 拓展于MapReduce框架的OSELM算法

在MapReduce框架的應用背景下，OSELM算法主要運行在大數據環境中，其數據維度遠遠小于樣本數量，因此該算法所涉及到的計算工作量相對較高。為了充分發揮和利用MapReduce框架的應用優勢，技術人員要借助該框架，完成對相關模型的構建，并從以下幾個方面入手，不斷修改、優化和完善POSELM算法訓練過程，為后期更好地應用POSELM算法提高人臉圖像分類效率和效果創造良好的條件：（1）在map運行階段中，技術人員要將該算法的訓練數據輸入到分布式文件系統中，由分布式文件系統自動控制和調整各個數據的位置偏移量，以保證每行訓練數據的精確性、真實性和完整性，為后期更好地優化POSELM算法提供重要的依據和參考；（2）在reduce運行階段中，技術人員需要采用分類測試集的方式，將最終的計算結果準確、無誤地保存到相應的數據庫中，便于其他工作人員的查看和調用，為進一步提高數據的利用率發揮重要作用。

3 實驗

3.1 實驗中大數據來源

在實驗中，為了更好地測試POSELM算法在人臉圖像識別和分類中的應用效果，技術人員要從以下不同的數據庫中選出合適的數據庫，開展實驗：（1）經典人臉數據庫。該數據庫又被稱為“FERET人臉數據庫”。該數據庫主要是由美國科技公司面部識別計劃中演變而成的，同時也是現階段人臉識別領域中常用的一種數據庫。FERET人臉數據庫包含的不同姿態的灰度人臉圖像達到了14051幅；（2）PIE人臉數據庫。該數據庫主要由美國卡耐基梅隆大學創建和研發[7]。PIE人臉數據庫包含的不同姿態的灰度人臉圖像達到了41368幅，這些人臉圖像具有多樣化和豐富化的特征。目前，該數據庫被廣泛地應用于人臉識別領域中，并取得了良好的應用效果；（3）MITCBCL人臉數據庫。該數據庫主要由麻省理工大學媒體實驗室創建和研發。MITCBCL人臉數據庫包含的不同姿態的灰度人臉圖像達到了2592幅。上述的三種圖像數據庫被視為“經典人臉數據庫”，在人臉識別領域中取得了良好的應用效果。但是，這些數據庫內部的數據量異常龐大，在使用這些人臉數據庫時，部分研究者利用相應的經典算法對這些圖像進行裁剪縮放，造成圖像嚴重失真，使得人臉數量不斷減少。為了解決這一問題，技術人員要利用以上人臉數據庫，對OSELM算法和POSELM算法的有效性和可靠性進行一一驗證，并得到如表1所示的所有實驗數據。

表1 實驗中的數據

3.2 實驗結果與分析

在實驗中，所用到的數據集群是由27個節點組成的，其中主節點、調度節點和備份節點各1個，數據計算節點為24個。此外，每個節點硬件內安裝和配置了相應的雙核CPU，頻率為2.5Ghz，內存達到了8GB，計算機軟件的配置信息為Hadoop0.23.0.為了更好地分析和驗證實驗結果的可靠性，技術人員要對POSELM算法和OSELM算法的實際使用效果進行比較和研究，得出了如表2所示的兩種算法性能對比結果。從表中的數據可以看出，當數據庫逐漸增大時，POSELM算法在運行效率上表現出比較顯著的優勢。同時，在對算法運行時間進行測試時發現，OSELM算法的測試時間較長，而POSELM算法的測試時間完全符合實時大數據圖像分類相關標準和要求。為了更好地驗證POSELM算法和OSELM算法的正確性和有效性，技術人員要采用PSVM并行算法的方式，對這兩種算法的人臉圖像識別正確率進行統計和比較。統計結果表明，POSELM算法所對應的數據庫比較固定，難以動態化向數據庫中新增其他信息數據，嚴重影響了人臉圖像識別效率和效果。而POSELM算法所對應的數據庫比較靈活，允許操作人員手動添加新的信息數據，極大地提高了數據庫的數據全面性和完整性，為進一步提高人臉圖像識別效率和效果產生積極的影響。

表2 兩種算法性能對比

4 結束語

綜上所述，為了進一步提高人臉圖像分類的效率和效果，技術人員要借助MapReduce框架，采用并行計算的方式，對人臉圖像進行快速、精確地識別和分類，然后根據數據庫內人臉數據，對最終的識別和分類結果進行驗證。結果發現，人臉圖像識別與分類取得了良好的成果。由此可見，在MapReduce框架的應用背景下，不僅可以實現對人臉圖像的實時監督，還能進一步提高人臉圖像分類效率和效果，為更好地普及和推廣MapReduce框架，提高實時大數據圖像分類的科學性和合理性提供有力的保障。