警務通信網絡大數據挖掘智能加速算法探討

王國威

摘要：對于警務通信網絡來講，大數據的數據類型多樣，形成具有多種屬性的數據流。眾所周知，基于批處理方式的數據源分類盡管可以提升查詢速度但仍無法滿足實時查詢的需求。為此在數據挖掘建模過程中通常引入特征選取機制以減輕其負荷。而本文將要重點敘述加速算法為什么能提升智能電網大數據挖掘的效率。

關鍵詞：大數據；智能；算法

中圖分類號：TN929 文獻標識碼：A 文章編號：1007-9416（2018）08-0109-01

1 大數據面臨的挑戰

在以前的開發中，大數據帶來的沖擊來遠遠超過I T界的其他的產品，它通過特有的算法和分析把大量的數據進行整合和分類再顯示出來，放在幾年前可能還帶不來這么大的風浪，而在全球化的今天，數據同質化，數據大量化，都讓這個技術的產生顯得如此的有意義而且緊迫，之前大數據之所以不能發揮其重要原因就是因為數據基數小，隨著使用互聯網的人數的增加，現代技術的提升，硬件產品價格的下降，人民生活水平也在不斷提高于是這個問題也得到了一定的解決，現在有越來越多的人使用上了電子設備，而大數據又迎來了新的挑戰，面對如此大量的數據，如何提高數據的查詢速度就成了現在急需解決的問題，還有就是格式的問題，因為這些數據的來源并不是有事先的規定，數據來源范圍廣，也正是因為數據來源不一，也就造成了數據的存儲的困難。而這些問題現在都嚴重限制著大數據產業的進一步發展，而基于傳統的數據查詢算法已經不能夠滿足現在的需求，這就需要一種新的算法，而算法的問題并不是說解決就能解決的，受限于于當前的硬件條件，普通算法上已經不能夠進行新的突破了，傳統的查詢機制需要實現全局數據的載入，然后將全局數據依照一些分類規則進行切割，再分類回退。而每一次運算都要重新的建模和運算，而問題的解決總會有一些新的方法，隨著人工智能的進一步發展，現在也就有了智能加速算法，根據不同類型的數據然后分配不同的計算資源，這也是當前問題的一大解決方案。

2 智能加速算法

因為數據的來源不同，而數據在計算上的分配不公平是當前發展的一項最要問題，以為只用能算法就能把數據分流處理，而數據流方法就不會受制于數據量過大或者數據采集速度過快，就如一個水缸一樣，有進水口就有出水口，而如果進水口的進水量大于出水口的出水量就會造成擁堵，但如果基于原來的多個不同的進水口在出水的時候 采取不同排量的出水口分不同段出水就可以解決這樣的擁堵現象，而自動調節的關節就是智能加速，新載入的數據會觸發模型的自我更新而無需重新載入已經載入的數據完成這一更新過程，這種方式理論上就可以處理無限多的數據，基于這個技術現在的大數據就實現了大量分析數據，更大能力的滿足現在的運算情況。

在現在的智能加速算法中，存在一個關鍵的選擇部件，這個部件就是分類器，分類器不光在智能加速上有作用，在人工智能方面也有很大的作用，它起到預測決策的作用，而在監管的預測機制中，分類器者通常用于預測數據的屬性和歷史數據的分析，根據歷史數據來進行整體的預測，通過這些預算就能在不獲取新的數據的前提下提前準備相應的運算，分類器對于獲取和查詢也有著很大的作用，這方面已經有了一定的研究和驗證。

在以前的軟件發展上，面臨著許多的計算速度問題，當時一部分原因是當時硬件的限制，cpu速度慢，另一方面是算法上的問題，而當時硬件的技術跟不上軟件的更新，所以以前更多的優化算法上的問題，現在硬件技術得到了大幅度的提升，普通算法上不能再提升了，但關鍵的技術總是在關鍵的時候出現，智能加速技術算不上是新的技術，這個技術的產生原因不是針對于大數據的分析，而是人工智能技術的衍生，在人工智能技術的發展階段，人們局限于讓計算構建網絡神經，這一方面的主要研究方向就是分類器的研究，隨著A l技術給生活帶來的諸多好處也就讓人工智能技術得到了空前的發展，伴隨著大數據的發展，分類器的使用范圍也得到了相應的擴展，所以大數據的發展和智能是的發展是相互推動的的，大數據的分析也給了人工智能帶來了更多的數據流，豐富了人工智能的網絡神經，通過分類器能夠預測這兩個行業在未來的發展一定是相伴的。

從傳統的算法中也能夠看到分類器的產生是必然的，例如傳統的算法中的決策樹是根據不同分支上的數據的先后來決定運算的節點，這種算法是一種比較低級的算法，時代的發展一定會摒棄這樣的陳舊算法，更高級的算法就是形成選擇，而選擇在陳舊的方法中是隨機選擇，在高級的方法中應該是自主選擇最優選擇，即通過“算法選擇算法”。

3 結語

本文提出了新的算法，給大數據的發展提供了新的發展動力，這種查詢加速算法更像是一種學習，不斷的處理數據不斷的學習不斷的鞏固現在的能力，讓數據流實現精確的查找。而在2011年，還在中科院軟件所做助理研究員的張先軼，就已經開始做OpenBLAS。這個當時在X86平臺、龍芯、ARM平臺上的優化庫，因為機器學習的普及、人工智能的火爆，已經成為了目前市面上軟件加速主流的選擇，當前CPU在設計上就已經考慮到了智能加速，而大數據作為未來的發展方向，借助了智能算法一定能夠發揮更大的作用。

參考文獻

[1]付華崢，陳翀，向勇，劉春.分布式大數據采集關鍵技術研究與實現[J].廣東通信技術，2015，（10）：7-10.

[2]鄧仲華，劉偉偉，陸穎雋.基于云計算的大數據挖掘內涵及解決方案研究[J].情報理論與實踐，2015，（07）：103-108.

[3]張文燚，項連志，王小芳.支持高效查詢檢索的大數據資源描述模型[J].哈爾濱工程大學學報，2014，（05）：594-601.

[4]吳雪琴，舒曉苓.基于云計算的大數據信息檢索技術研究[J].電腦知識與技術，2014，（10）：2388-2390.

[5]李春江.大數據環境下的數據挖掘課程教學探索[J].黑龍江教育（理論與實踐），2016，（04）：54-55.

[6]葉立武，吳倩，王瑋，王東.數據挖掘方法在保險領域的應用前景[J].保險職業學院學報，2018，（02）：01.