基于人工智能技術的大數據分析方法研究進展

蔡敏

關鍵詞：人工智能;大數據;分析方法

如今大數據在社會各個方面都發揮著非常重要的作用。而且，全球信息化的趨勢也在昭示著大數據技術將會得到更加廣泛地應用。在各種工業發展中，也開始逐漸應用大數據技術，我們已經走進了工業大數據時代，如果能夠基于人工智能技術的基礎上研究大數據分析方法，就可以從根本上優化大數據的使用范圍。

一、基于人工智能技術的大數據分析方法概述

由于信息技術的飛速發展，大數據技術已經逐漸被應用到人們生活的方方面面，而人工智能的廣泛使用，也為人工智能基礎下大數據分析方法提供了有效的基礎，未來對于人工智能和大數據分析技術的應用范圍只會越來越廣泛，而基于人工智能技術下大數據分析方法，主要可以分為三個部分。

（一）基于機器學習的大數據分析

在人工智能技術當中，機器學習是非常重要的一部分，也是在大數據分析當中最常用到的方法，不僅在國內，有學者著手開始研究基于機器學習的大數據分析，在國外已經有不少學者開始對這方面進行研究，而且，部分研究成果已經應用到了很多領域。基于機器學習的大數據分析可以主要分為四點。

1.大數據聚類

大數據聚類作為所有算法當中最難的部分，不僅需要跨學科，跨領域，而且還需要跨媒體，也就導致了這一部分的研究受到了越來越多的關注。

2.大數據關聯分析

大數據關聯分析的另一個名字叫作關聯挖掘，它的主要作用就是在眾多的數據中找到關于項目集合或者是對象之間的合適模式以及關聯性和因果結構，是目前大數據技術當中主要發掘的技術之一。

3.大數據分類

大數據分類也是大數據挖掘中的一個重要方法，而且大數據分類廣泛，存在于各種行業中，連網絡入侵檢測和醫療診斷當中，也有大數據分類的身影。

4.大數據預測

大數據預測是整個大數據分析技術中的核心內容，大數據預測可以在很多行業中發揮它的作用，最常見的就是價格預測元素分析以及電力負荷預測等，這都可以為行業后續的發展提供非常有利的數據支持。

（二）基于深度學習的大數據分析

深度學習是由加拿大一位教授在某期刊上所提出的。后來，基于深度學習的大數據分析，成為機器學習的一個非常矚目的研究領域，而且深度學習也是機器學習方法之一，它通過對圖像、語音以及語言等處理的應用，對人工智能的發展有著非常重要的作用。而且在人工智能當中，深度學習是需要經過訓練的，它歸屬于計算密集型任務。

（三）基于計算智能的大數據分析

它是人工智能中一個非常受關注的分支，因為計算智能自身有著啟發式和隨機性這兩個特點，可以更好地解決大規模問題。在我國的傳統發展中，優化算法主要都采用集中式設計思想，在運算的過程中，需要顧及收斂性和收斂速度，但是如果面對一些大規模數據優化或者是處理問題，傳統的集中式設計就無法進行處理或者處理起來非常耗時，但是如果應用計算智能來進行大數據分析，就可以很好地解決這種大規模的數據處理問題。

二、基于人工智能技術的大數據分析應用領域

（一）生態領域

基于人工智能技術的大數據分析技術在生態領域的作用主要可以分為三個方面：第一個方面是生態保護領域的應用，第二個方面是生態修復領域的應用，第三個方面是生態災害防治領域的應用。近年來，我國的經濟發展十分迅速，但也導致了相應的環境問題，黨中央以及相關部門也加大了對生態環境保護的重視。例如，在針對森林生態系統的防護過程中，需要做到的就是確保森林資源不被酸雨所影響，還要盡量注意全球變暖對于森林資源的影響。在這種情況下，可以利用人工智能和衛星遙感技術與大數據分析相結合，針對未來的天氣情況以及氣候環境進行實時預測以及監控。利用人工智能對環境健康進行監測的同時，也可以利用大數據分析技術來調取森林近年來的生長數據，一旦發現有酸雨即將來臨，相關負責人員就可以提前采取措施，通過分析森林的生長情況來確認森林是否會被酸雨所破壞，以及相關的防護措施要做到什么程度，這樣就可以提前對森林資源進行保護。在生態修復領域的應用中，可以將人工智能技術下的大數據分析技術應用到種苗培育當中，在生態修復的過程中，不可避免地會涉及一系列的種苗，在培育時就可以利用人工智能和大數據分析技術來分析當地的生態環境，判斷適合種植什么樣的植物可以提高植物的存活率。將人工智能技術應用到生態災害防治領域，可以防止發生大面積的森林火災，利用熱成像攝像機可以隨時監測森林當中的情況，一旦發生任何病蟲害，也可以及時發現。

（二）生活領域

人工智能技術在生活領域的應用主要是關于人們的生活習慣。近年來，由于大數據技術和人工智能技術的興起，我們可以切身地體會到，我們的生活便捷性有了很大的提高，以最簡單的購物為例，以前用戶在網上購物的過程中，想要什么東西，可能會需要自行搜索，然后再去挑選，而且每次買東西都需要重復一樣的步驟，但是現在只要用戶對某一類別的產品感興趣，計算機就會根據用戶的喜好進行大數據搜索，然后再推薦相似類別的東西，這就大大提高了人們購物的便捷性。目前在國內大部分餐廳中也開始采用機器人送餐模式，這是人工智能技術和大數據分析結合的一個主要應用，機器人在上菜過程中既定的運動軌跡以及所能承受的菜品重量，都是結合了大數據才得出的。在人們日常的生活中，人工智能技術下的大數據技術也有很廣泛地應用。例如，如果有身體不適需要就醫，人們可以直接在網上進行掛號，掛號成功后直接到醫院而無須等待，這就是人工智能技術下大數據分析技術的另一個應用，可以根據用戶所描述的病情來推薦合適的門診科目，再進行網上掛號.這樣到了醫院以后可以節省很多等待的時間，這也在一定程度上提高了醫院的運行效率。

三、基于人工智能技術的大數據分析發展進度及方向

（一）聚類研究進度及方向

目前，在我國大數據分析當中，采用的都是最傳統的聚類算法，但是大數據聚類由于其復雜度和困難度較高，傳統的聚類算法根本不能直接應用到大數據聚類當中，因此引用了Mapreduce和K-means兩種算法。以Mapreduce為基礎的大數據聚類算法，可以通過分布式來實現，并且應用這種算法，可以從根本上減少大數據聚類的復雜程度，并在使用的過程中，可以更好地增加數據的延展性，而且在計算時也可以將計算時間最小化，同時對計算機硬件也沒有太大的要求。而K-means作為比較經典的一種算法，有著非常廣泛的應用范圍，可以在一定程度上提高數據的處理速度。

（二）關聯研究進度及方向

前文已經介紹過大數據關聯分析，也被稱為關聯挖掘，它是大數據挖掘當中主要的一項發展任務。目前，我國對大數據關聯的研究進度主要著重在Apriori關聯規則和頻繁模式增長上，而且關聯規則挖掘在我國有著非常廣泛的應用領域，像我們日常生活中的數值分析以及日志分析和智能交通等，都可以運用到關聯規則挖掘，例如，在對于出租車軌跡研究上，利用關聯規則挖掘可以對汽車的故障進行實時診斷，并且還能夠在一定程度上避免因為模式數過大而導致的計算速度過慢的問題。在未來，關聯挖掘算法在我國會有更加廣泛的應用，因為它主要的作用是對已經存在了的算法進行并行化處理，這就更能符合我國未來大數據的發展趨勢。

（三）預測研究進度及方向

大數據預測是我國目前針對人工智能技術下大數據技術的主要研究內容，它可以應用到很多行業當中，但是目前我國的大數據預測研究還面臨著兩個非常困難的挑戰：第一就是如何能夠在預測過程中快速獲得一個趨勢輪廓，而且還需要保證數據的精確性;第二就是有越來越多的數據呈幾何倍數增長，很難在其中找到有價值的信息。和我們日常生活中關聯性最緊密的例子就是對于監控視頻中有用價值的尋找。在幾個小時甚至是幾天內的監控視頻中，能夠為我們所用的數據，可能只有幾秒，那么該如何在這樣龐大的信息數據中找到我們所需要的價值，這就是我國大數據預測當中存在的主要挑戰。

（四）分類研究進度及方向

大數據分類是挖掘信息技術當中一項非常重要的方法，無論是何種數據，它的分類問題一直都是人們所關注的一個重點，而大數據分類也被應用在社會各個方面，近年來，我國的大數據分類研究開始逐漸由簡單的數據過渡到分布式數據集里，各種各樣的算法都需要跟隨大數據整體環境的改變而改變，所以在分類算法中，也面臨著非常嚴峻的挑戰。在這樣的時代背景下，一些傳統的分類方法已經跟不上大數據的發展，以機器學習為基礎的大數據分類是我國目前研究的主要方面。在未來，有關數據分類的應用會越來越顯著，因此，大數據分類在各個領域中都面臨著非常嚴峻的挑戰。

四、基于人工智能技術的大數據分析發展需解決的問題

（一）需不斷完善各類算法

在我國，基于人工智能技術的大數據分析發展中，所需要解決的一個問題，就是需要不斷完善各類算法。因為我們的時代在發展，每天所面臨的數據量越來越大，想要從中挑選出符合我們需求的信息以及該如何確保信息的準確性，都成了大數據技術發展當中所要面臨的主要問題。如果想要解決這一問題，那么就需要應用到各類算法，但是目前針對信息提取這方面還沒有一個可以短時間內查找我們所需要數據的算法，相關負責人員必須對這個問題重視起來，不斷地完善各類算法。目前在大數據分類以及預測中已經有了很多合適的算法，但是這些算法的應用范圍有限，在部分細節上也需要完善。算法是基于人工智能技術的大數據分析發展所需要的基礎，如果沒有一套完善的算法，那么大數據分析也發揮不出自身應有的作用，例如，前文中所提到的兩種算法，雖然能夠解決各類的數據分析事件，但是從細節上來看，它的應用范圍還受到一定的限制，只有研發出新式算法，或者是在原來的算法基礎上進行優化，才能更符合未來的大數據技術發展趨勢。

（二）需不斷降低時間成本

大數據分析需要降低時間成本。誠然，在各種信息當中，利用一些算法確實可以查找到我們所需要的數據，但是花費的時間也很多，如果這些數據不是急需的，那么我們確實可以利用這些算法慢慢地找出我們所需要的數據。但是如果這些數據需要加急，那么在短時間內我們根本就沒有辦法獲得有效的數據，例如，在警察偵破一系列的案件過程中，需要運用到監控錄像來作為證據和斷案線索，但是該如何在長達幾天甚至是幾個星期的監控視頻中找到所需要的線索，只能需要人力去一點一點觀察識別，這就會浪費大量的時間。因此，必須盡量降低大數據分析過程中所需要的時間，人工智能技術雖然在一定程度上優化了大數據分析，但是對于時間成本問題，一直以來都沒有太大的突破。只有真正地突破了時間成本問題，才能夠讓大數據技術在社會各行各業有更加廣泛應用。因此，在人工智能技術和大數據分析結合的過程中，除了算法問題之外，對于降低時間成本問題，也必須要重視起來。

結語

在當下必須要對人工智能技術基礎上的大數據分析方法提高重視，并且充分理解人工智能技術下大數據分析的應用領域，大數據分析、聚類關聯以及預測和分類都會朝著更加智能、更加前景化的方向發展。雖然目前還需要不斷完善各類算法以及降低時間和成本等，但是只要能夠真正地提高對這一方面的重視程度，并且充分認識到人工智能技術基礎上的大數據分析方法的主要作用，就能夠更好地將二者結合起來。