大數(shù)據(jù)圖像處理技術在智能電網(wǎng)的應用分析

胡新+黃佳彬+章波

【摘要】 隨著互聯(lián)網(wǎng)、移動通訊技術的不斷發(fā)展，特別是電商、社交、即時通訊平臺的活躍，以及企業(yè)信息化、智慧城市、智能電網(wǎng)的快速建設，近幾年來，視頻、圖像數(shù)據(jù)呈現(xiàn)爆炸式增長，與此同時，圖像處理技術也得到快速發(fā)展，特別是大數(shù)據(jù)技術的應用為大規(guī)模圖像處理提供了技術可行性。本文就圖像技術的現(xiàn)狀、大數(shù)據(jù)體系、大數(shù)據(jù)圖像處理技術進行分析論述，并結(jié)合智能電網(wǎng)應用場景進行了思考與分析。

【關鍵詞】 圖像技術 大數(shù)據(jù) Hadoop 智能電網(wǎng)

引言

當前，大數(shù)據(jù)分析已經(jīng)成為各行業(yè)的一個重要決策支撐手段，大數(shù)據(jù)技術能夠簡化處理海量數(shù)據(jù)，其大規(guī)模集群數(shù)據(jù)處理開源軟件框架Apache Hadoop，可以可靠地依靠成千上萬規(guī)模節(jié)點處理PB級數(shù)據(jù)。利用大數(shù)據(jù)技術實現(xiàn)圖像處理，能夠突破傳統(tǒng)圖像處理技術瓶頸，快速實現(xiàn)大規(guī)模圖像數(shù)據(jù)的處理計算，給企業(yè)帶來巨大價值。

一、圖像技術現(xiàn)狀分析

1.1存儲技術現(xiàn)狀

目前國內(nèi)外圖像存儲解決方案有兩種，分別是圖像存儲至數(shù)據(jù)庫和圖像存儲至硬盤。在海量圖像規(guī)模下，傳統(tǒng)數(shù)據(jù)庫承載太多圖像會導致數(shù)據(jù)庫容量和效率成為極大的瓶頸，常見做法是圖像存儲在硬盤，圖像路徑存儲至數(shù)據(jù)庫。存儲容量方面常采用增加專業(yè)的磁盤陣列，磁盤柜或者高級的光纖盤陣、局域網(wǎng)盤陣等方式解決，而提升訪問效率方面常采用squid緩存和鏡像方法。

1.2應用技術現(xiàn)狀

圖像應用技術隨著互聯(lián)網(wǎng)浪潮不斷發(fā)展，按應用領域不同可歸納為物理設備應用、基礎軟件應用、智能分析應用、智慧分析應用四個應用層次，其技術實現(xiàn)難度逐層增加。物理設備應用、基礎軟件應用是當前主流應用技術，智能分析應用、智慧分析應用是未來圖像應用的演進方向。

物理設備應用。物理設備應用是基于視頻采集設備的基礎應用，表現(xiàn)為基于各類型攝像頭的監(jiān)控應用。當前視頻監(jiān)控數(shù)據(jù)保存周期有限，監(jiān)控識別過程多為人工。目前市面上部分廠家將帶有特定算法的智能芯片集成到物理設備中，實現(xiàn)特定的分析功能，如：智能家居安防攝像頭，能夠監(jiān)測視頻畫面中的物體移動實現(xiàn)遠程預警；智能車庫解決方案，通過車牌識別算法實現(xiàn)車牌的快速識別。

基礎軟件應用層。以社交網(wǎng)站、視頻網(wǎng)站為典型代表。主要實現(xiàn)圖像信息、視頻信息的海量存儲、快速讀取、分享交互。根據(jù)業(yè)務的不同需求，可靈活采用傳統(tǒng)圖像處理架構(gòu)或分布式圖像處理架構(gòu)，圖像信息的檢索主要以文字搜索為主。

智能分析應用。智能分析應用包括圖像智能分析，圖像檢索，視頻切片分析等高級應用。目前淘寶、京東等電商企業(yè)圖像智能分析技術領先。如淘寶“拍立淘”功能便是圖像智能分析（以圖搜圖）的典型應用，通過類目預測，主體檢測，圖像特征提取，檢索索引和排序5層算法框架、利用大數(shù)據(jù)、云計算、機器學習等先進的信息技術實現(xiàn)用戶購物方式的顛覆。

智慧分析應用。智慧分析應用是指對圖像信息處理的實時計算、深度學習和智慧決策。典型應用為Google公司無人駕駛技術的應用研究，實時對攝像傳感器采集的視頻信息進行計算分析，實時決策。

二、Hadoop體系結(jié)構(gòu)

HDFS和MapReduce是Hadoop的兩大核心。而整個Hadoop的體系結(jié)構(gòu)主要是通過HDFS來實現(xiàn)對分布式存儲的底層支持的，通過MapReduce來實現(xiàn)對分布式并行任務處理的程序支持，HBase是Hadoop體系下基于Bigtable的分布式數(shù)據(jù)庫，其為大數(shù)據(jù)的存儲和應用提供很好的底層支持。

HDFS

HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型，一個HDFS集群是由一個NameNode和若干個DataNode組成的。其中NameNode作為主服務器，管理文件系統(tǒng)的命名空間和客戶端對文件的訪問操作；DataNode管理存儲的數(shù)據(jù)。HDFS允許用戶以文件的形式存儲數(shù)據(jù)。從內(nèi)部來看，文件被分成若干個數(shù)據(jù)塊，而且這若干個數(shù)據(jù)塊存放在一組DataNode上。NameNode執(zhí)行文件系統(tǒng)的命名空間操作，比如打開、關閉、重命名文件或目錄等，負責數(shù)據(jù)塊到具體DataNode的映射。DataNode負責處理文件系統(tǒng)客戶端的文件讀寫請求，并在NameNode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復制工作。HDFS體系結(jié)構(gòu)如下：

MAPREDUCE

MapReduce是一種并行編程模式，這種模式使得軟件開發(fā)者可以輕松地編寫出分布式并行程序。在Hadoop的體系結(jié)構(gòu)中，MapReduce是一個簡單易用的軟件框架，基于它可以將任務分發(fā)到由上千臺商用機器組成的集群上，并以一種高容錯的方式并行處理大量的數(shù)據(jù)集，實現(xiàn)Hadoop的并行任務處理功能。MapReduce框架是由一個單獨運行在主節(jié)點上的JobTracker和運行在每個集群從節(jié)點上的TaskTracker共同組成的。主節(jié)點負責調(diào)度構(gòu)成一個作業(yè)的所有任務，這些任務分布在不同的從節(jié)點上。主節(jié)點監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前失敗的任務；從節(jié)點僅負責由主節(jié)點指派的任務。當一個Job被提交時，JobTracker接收到提交作業(yè)和配置信息之后，就會將配置信息等分發(fā)給從節(jié)點，同時調(diào)度任務并監(jiān)控TaskTracker的執(zhí)行。

HBASE

HBase是Apache Hadoop的數(shù)據(jù)庫，一個開源的，分布式的，多版本的、面向列的存儲模型。能夠?qū)Υ髷?shù)據(jù)提供隨機、實時的讀寫訪問功能。HBase可以直接使用本地文件系統(tǒng)，但在Hadoop HDFS的文件存儲系統(tǒng)中更能提高數(shù)據(jù)的可靠性和系統(tǒng)的健壯性，最大限度發(fā)揮HBase大數(shù)據(jù)處理能力。

HBase存儲松散型數(shù)據(jù)，數(shù)據(jù)介于映射（Key/value）和關系型數(shù)據(jù)之間。HBase向下提供存儲，向上提供計算，在HBase之上還可以使用Hadoop的MapReduce計算模型來并行處理大規(guī)模數(shù)據(jù)，將數(shù)據(jù)存儲和并行計算完美結(jié)合[1]。

三、大數(shù)據(jù)圖像技術

3.1 HADOOP圖像存取技術分析

Hadoop分布式存儲為海量圖像、視頻存儲提供了原始模型，其開源性，高容錯性符合圖像存儲業(yè)務發(fā)展的特性。

圖像信息存取架構(gòu)

1.圖像存儲：采用Hadoop中的HDFS存儲圖像，通過HDFS的冗余備份和心跳檢測保證存儲數(shù)據(jù)的安全性，設定負載均衡策略，保證各個存儲節(jié)點的運行穩(wěn)定。

2.圖像索引：設計圖像URL，將圖像存儲信息設定在圖像URL中，通過解析URL快速定位存儲圖像Block的DataNode和Fileld。圖像元數(shù)據(jù)作為鍵值對存放在HBase中，保證海量數(shù)據(jù)擴容和快速檢索。

3.采用MapReduce進行圖像業(yè)務處理的編程實現(xiàn)，針對大數(shù)據(jù)的批量處理和存儲優(yōu)化制定相應策略。

4.讀取服務：采用Nginx的Web服務器對圖像進行讀取，Nginx的Redis模塊對緩存中的微型圖像進行讀取。

5.負載均衡：采用HAProxy的RoundRobin負載均衡算法構(gòu)建負載均衡，分載前端用戶請求的壓力。

6.應用服務器：Java應用服務器完成圖像寫入的操作。

圖像信息寫流程

圖像寫請求由用戶發(fā)起后，通過負載均衡模塊過濾，到達應用服務器排隊，等待進入HDFS存儲系統(tǒng)，通過NameNode分配DataNode進行存儲，圖像寫入過程中先確定寫入Block，再確定Sequence File，圖像元數(shù)據(jù)保存至HBase和Redis構(gòu)建的緩存系統(tǒng)[2]。

3.2 HADOOP圖像處理技術分析

在MapReduce計算框架中，Hadoop將輸入圖像數(shù)據(jù)劃分成等長的作業(yè)分片，每個Map任務處理一個作業(yè)分片，Map任務并行執(zhí)行，定義Reduce任務，調(diào)用reduce函數(shù)實現(xiàn)結(jié)果數(shù)據(jù)的最終輸出。

圖像文件處理流程

MapReduce的工作過程分為兩個階段：Map階段和Reduce階段。（圖2）

圖像文件對應路徑將作為MapReduce程序的輸入，ImageInputFormat對輸入進行劃分，ImageRecordReader對輸入進行記錄讀取，取得key值為ImageSplit對象的路徑，value值為ImageWritable。MapReduce框架把讀取的對傳遞給map程序進行執(zhí)行，map程序?qū)D像進行相關操作后，利用reduce程序?qū)⑻幚砗蟮膱D像分片進行整合，得到處理后的整個圖像文件，Reduce程序?qū)?gòu)建的對象傳遞給ImageOutputFormat進行輸出。

Hadoop通過Writable對消息進行序列化。Writable接口定義了輸入流的基本方法，MapReduce程序用Writable來序列化鍵/值對。Writable接口定義DataOutput、DataInput方法。自定義的ImageWritable對方法進行重寫，分別寫入和讀出圖像的高度和寬度，源圖像的y軸高度，圖像的路徑和圖像的像素信息。

1）ImageInputFormat。ImageInputFormat繼承FileInputFormat類，負責產(chǎn)生輸入分片并將它們分割成記錄。記錄大小小于或等于分片ImageSplit。Key（鍵）存儲該圖像在文件系統(tǒng)的路徑。Value（值）存儲ImageWritable類型的一個圖像分片記錄。

2）ImageRecordReader。Map任務使用ImageRecordReader來讀取記錄并且生成鍵/值對傳遞給map函數(shù)。ImageRecordReader方法重寫RecordReader函數(shù)，ImageRecordReader的nextKeyValue方法是得到下一個鍵/值對，getConfig方法用來接受用戶傳遞的數(shù)據(jù)信息。

圖像算法

圖像處理常用圖像縮放、圖像增強、圖像邊緣檢測方法。圖像縮放插值方法有最近鄰插值、雙線性插值、使用像素關系重采樣和立方插值。圖像邊緣檢測是進行圖像分割、目標區(qū)域識別、區(qū)域形狀提取等圖像分析的技術基礎。對于連續(xù)圖像f（x，y），邊緣檢測是求梯度的局部最大值和方向。利用Canny邊緣檢測算子，在map函數(shù)中實現(xiàn)對圖像的邊緣檢測，從而實現(xiàn)對圖像文件的并行化邊緣檢測。[3]

四、智能電網(wǎng)圖像技術應用分析

4.1基于圖像的覆冰狀態(tài)監(jiān)測

目前輸電線路覆冰狀態(tài)監(jiān)測常用方法有覆冰觀測站觀測法、覆冰力學模型估算法二種。覆冰觀測站可以比較準確了解覆冰信息，但投資巨大且需要人工操作，只適合于一些典型地區(qū)；覆冰力學模型估算法是建立覆冰厚度與桿塔載荷的關系，通過測量桿塔受力等參數(shù)間接測量覆冰厚度，該方法受限于風載荷對弧垂、應力等參數(shù)的影響，精準性方面存在一定不足。

大數(shù)據(jù)、云計算的發(fā)展為基于圖像的覆冰狀態(tài)監(jiān)測提供另一有效途徑。通過無人機、固定采集攝像頭采集線路覆冰圖像信息，通過大數(shù)據(jù)計算框架快速實現(xiàn)對覆冰厚度的計算。

基于圖像大數(shù)據(jù)的覆冰狀態(tài)監(jiān)測分析包括覆冰狀態(tài)的圖像信息的采集，圖像的傳輸，圖像的計算與反饋等步驟，通過對圖像進行二值化、去噪、邊緣檢測等處理，完成覆冰厚度的計算。具體計算流程如圖3。

4.2電力圖像大數(shù)據(jù)平臺

隨著國家電網(wǎng)公司SG186、SGERP信息化的不斷發(fā)展，業(yè)務數(shù)據(jù)呈現(xiàn)爆發(fā)式增長。針對于結(jié)構(gòu)化數(shù)據(jù)，國家電網(wǎng)公司于2015年開始試點實施企業(yè)級大數(shù)據(jù)平臺，已開展如“新型客戶服務業(yè)務型態(tài)應用”、“配網(wǎng)故障搶修精益化管理”等結(jié)構(gòu)化大數(shù)據(jù)應用研究。而針對圖像、視頻非結(jié)構(gòu)化數(shù)據(jù)，還未進行有效的挖掘利用，數(shù)據(jù)存在孤島，共享不便。

基于HADOOP架構(gòu)構(gòu)建電力企業(yè)圖像大數(shù)據(jù)平臺，實現(xiàn)企業(yè)圖形圖像數(shù)據(jù)整合，挖掘數(shù)據(jù)價值，全面服務于電力生產(chǎn)。平臺架構(gòu)分為數(shù)據(jù)源層、平臺層、應用層三個層面。

數(shù)據(jù)源層包含各類圖形圖像、視頻源數(shù)據(jù)，如工程施工圖、竣工圖、單線圖、間隔圖、檔案圖等，智能變電站各類監(jiān)控視頻等；平臺層基于Hadoop分布式存儲架構(gòu)實現(xiàn)海量存儲和計算；應用層通過數(shù)據(jù)整合，挖掘，實現(xiàn)圖像信息的快速檢索、多終端展示、熱點圖像排序，圖像數(shù)據(jù)服務等高級應用。

參 考 文 獻

[1]陸嘉恒. Hadoop實戰(zhàn)（第二版）.機械工業(yè)出版社.2012.

[2]李林，周曉慧.基于Hadoop的海量圖片存儲模型的分析和設計.

[3]田進華，張韌志.基于MapReduce數(shù)字圖像處理研究.電子設計工程.2014年8月.第15期.