大數據時代的到來,要求我們需要使用更加有效的數據處理方式,但實際應用中獲得大量數據相當一部分是冗余和無效的,這些數據在網絡中傳輸和處理會極大降低效率,數據融合技術是比較理想的解決辦法。
物聯網與互聯網結合起來形成了一個巨大信息網絡系統,在這個系統中,有大量感知數據,需要選取適當的融合模式、處理算法進行綜合分析,才能提高數據質量,獲得最佳決策和完成評估,這些工作的完成需要使用數據融合技術。
一、物聯網數據融合
“數據融合”是20世紀70年代美國國防部針對多傳感器系統而提出,經過40多年發展,現已被應用在多源影像復合、智能儀器系統、無人駕駛飛機、圖像分析與理解、自動目標識別等多個領域。
數據融合是利用現代計算機技術對時序獲得的若干感知數據,在一定準則下加以分析、綜合,以完成所需決策和評估任務而進行的數據處理過程。數據融合的目標數據是全空間的,即包括所有確定的和模糊的、全空間的和子空間的、同步的和異步的,數字的和非數字的,是復雜多維多源的;數據融合是內部特征,是系統動態過程中的一種數據綜合加工處理;數據融合是數據的互補,即表達方式互補、結構互補、功能互補、不同層次互補,只有互補數據融合才能使系統發生質的變化。數據融合的實質是針對多維數據進行關聯或綜合分析,選取適當的融合模式和處理算法,用以提高數據質量,為數據處理奠定基礎。
二、數據融合原理、步驟和分類
數據融合可以是物聯網多個傳感器的信息融合,也可以是多個傳感器信息和人機界面觀測事實信息融合。原理是先將多個不同類型傳感器獲取數據收集;對傳感器輸出數據進行特征提取的變換,提取代表觀測數據的特征矢量Yi;對特征矢量Yi利用聚類算法、神經網絡等模式識別處理完成各傳感器關于目標的說明;將各傳感器關于目標的說明數據按同一目標進行關聯;利用融合算法將每一個目標傳感器數據進行合成,得到該目標的一致性解釋與描述。例如故障診斷系統中,從獲取數據中提取征兆信息,在推理機作用下,將征兆與知識庫中的知識匹配,做出故障診斷決策,繼而提供給用戶使用。也可加入自學習模塊,故障決策經自學習模塊將獲得的新知識、新經驗反饋給知識庫,并對知識庫置信因子修改,從而實現知識庫更新和擴充。
數據融合有六個基本步驟:(1)連接所需多源數據庫并獲取相關數據,(2)研究和理解所獲得的數據,(3)梳理和清理數據,(4)數據轉換和建立結構,(5)數據組合,(6)建立分析數據集。
數據融合技術最早應用于聲吶信號分析和遙感影像,目前根據融合水平由低到高可分為像素級融合、特征級融合、決策級融合三類。
三、數據融合研究內容和意義
數據融合是針對物聯網系統使用多個或多類傳感器展開的一種數據綜合處理方法,主要用來解決“大數據”分析中數據相關對準、識別、不確定、不完整一致、虛假數據等問題。在數據融合時要解決的關鍵問題首先是數據融合節點選擇,因為節點選擇與路由協議密切關聯,需要依靠路由協議建立的路由回路數據;并且使用路由結構中的某些節點作為數據融合的節點。其次是融合時機、算法,物聯網需要使用大規模傳感器,因為傳感器檢測范圍和可靠性有限,在實際應用中,為了增強網絡采集信息的魯棒性和準確性,傳感器節點檢測范圍相互重疊,就會導致近距離傳感節點傳輸數據有一定冗余,如果每個節點傳輸全部感測信息,就會產生大量冗余信息,導致網絡中傳輸數據能耗遠遠大于處理數據能耗,所以選擇合適時機和算法對完成數據融合非常必要。
數據融合技術是近年來快速發展的應用技術,涉及概率統計、模式識別、模糊數學、信號處理等多學科,廣泛應用于工業控制、導航、農業、遙感、醫療診斷、圖像處理、模式識別等領域。數據融合技術充分利用多個傳感器資源,把多個傳感器信息在空間或時間上冗余或互補信息依據某種準則進行組合,獲得被測對象的一致性解釋,實現相應決策和估計,從而使系統獲得正確、充分的信息。
四、結束語
傳統的統計分析經常是對單一數據源(營銷數據、問卷調查等)進行深入的追蹤和分析,分析人員對數據的來源和結構有一定的控制和深層的了解。在大數據時代,數據源是多樣的,海量的數據常常是半結構或無結構的,這就要求專業人士駕馭多樣、多源的數據,將它們梳理后進行挖掘和分析,在這個過程中,數據融合就成為不可或缺的一步。數據融合與數據倉庫、數據一體化不同,它的目的不是將一個企業或組織的所有數據集中在一起并標準化而產生唯一的真相,它是以產生決策智能為目標將多種數據源中的相關數據提取、融合、梳理整合成一個分析數據集。這個分析數據集是個獨立的和靈活的實體,可隨數據源的變化重組、調整和更新。另一方面,數據融合能包容多源數據,勝于數據倉庫和數據一體化。
如今移動互聯網、大數據分析、云計算、物聯網等技術和應用之間不是孤立的,而是一個相互融合的應用與發展。在數字化經濟迅速崛起的趨勢下,這種創新融合使得今天的IT業不再像過去那樣只是提供簡單的服務,而是通過技術的不斷的發展與創新,以及在行業中的不斷滲透,為客戶創造更多價值。相信數據融合技術的不斷發展,可以幫助企業和用戶獲取真實有效數據,為其提高決策效率和管理水平產生更多幫助。