人工智能中大數據技術的應用研究

王 龍

（中國移動信息技術中心，北京 100032）

0 引 言

隨著科學技術的飛速發展，以云計算、大數據、物聯網為代表的先進信息技術不斷涌現。諸多網絡資源為大數據技術的廣泛使用和發展奠定了重要基礎，而物聯網信息技術的出現使得有效獲得和分析用戶數據信息成為可能。人工智能技術的發展過程中涉及心理學和信息科學等多個學科。通過集成網絡資源和物聯網信息技術等，分析與研究人們的行為變化。在大數據技術的支撐下，需通過轉換大數據提升人工智能的發展水平。

1 人工智能及大數據技術

1.1 人工智能技術

人工智能技術是一門新興的技術，旨在對人的智能進行仿真和拓展，涉及各種理論、方案、技術以及應用系統，可以分析人的思維、行為和動作，并進行分類和推薦。人工智能技術最重要的問題就是如何訓練計算機理解人們的行為和思考方式，在不斷的練習中鍛煉學習能力，獲得新的技能和知識，再利用計算機語言進行完善，進而豐富自身技能。計算機系統需要不斷利用永久性內存儲存大量歷史數據信息，并進一步優化整合應用程序，有效提升性能標準。

1.2 大數據技術

大數據技術是一種全新的數據處理方法，具有更多的數據分析和優化功能。該技術會不斷更新和變化，與傳統的隨機抽樣數據技術相比，可以對所有信息進行分類和管理，具有價值密度低、速度快、種類多、規模大以及真實性高等特點。此外，基于大量數據，通過使用歷史數據和實時變化的數據可以發展出所需的新模式。

2 大數據的關鍵技術

2.1 數據的收集

隨著計算機技術的快速發展，新的信息不斷出現。利用大數據技術可以徹底改變傳統信息技術的工作方式，使信息處理者可以在較短時間和較少資源的情況下檢索和分析信息，并解讀收集到的信息，同時可以利用統計分析和概率分析方法對其進行更加智能化的管理，提高人工智能的準確性。

2.2 數據的存儲

目前，大部分大數據技術都使用并行數據庫存儲數據。該方式可以在多個節點上并行處理數據，因此計算效率非常高，具有重要的實用價值。隨著數據庫的穩定度逐漸提高，基于數據庫的信息檢索和數據緩存性能也有了很大提升。然而，由于并行數據庫系統存在缺陷，用戶往往傾向于將數據存儲到智能終端。

2.3 數據的表示、檢索和隨機訪問

大數據呈現出多樣化和復雜性。檢索數據時，傳統的數據管理系統會把多個檢索引用分別發送至各個數據服務器，以便并行檢索數據。然而，大數據的信息處理能力不強，往往不能滿足使用者的需要。為逐步改變傳統的數據管理方式，可以在Apache Hadoop框架下使用分布式文件系統（Hadoop Distributed File System，HDFS）技術開發大數據源，實現對大數據的隨機訪問[1-4]。技術人員在進行人工操作時，必須通過人工智能模擬人工操作，通過分析與采集各業務系統的數據，實現該系統的智能化監測。構建大數據平臺時，要把生產和財務等方面的信息整合到該平臺，保證數據順暢、自由、高效的交流。

2.4 數據的分析和挖掘

大數據分析具有廣闊的應用前景，可廣泛應用于人們的日常生活，如網上購物、社交網站上傳視頻以及圖片等。目前，大數據挖掘是大數據分析技術研究的一個熱點。該技術可以從海量、不完全、隨機數據中找到所需信息，幫助企業和個人降低經營成本，從而更好地進行決策。大數據挖掘的主要方法有信息分析、歸納分析、數據聚類以及Web 挖掘等。

3 大數據技術與人工智能融合發展的意義

大數據技術與人工智能的融合對人工智能的發展具有重要的現實意義。大數據作為一種海量數據集，在實際應用中非常依賴人工智能。例如，在機器智能的幫助下，可以在較短時間內迅速分析和應用大量數據。而人工智能的優勢建立在海量數據之上，特別是在機器學習、自然語言的處理、視覺以及自動分析推理人工智能等方向，大數據技術為人工智能提供了非常重要的基礎支撐[5,6]。我國已經在人工智能領域開展了大量的研究工作，并取得了一定的成果。將大數據快速和高效地應用于人工智能領域，將推動人工智能技術的快速發展和應用。隨著我國對人工智能技術涉及的知識逐步擴展，人工智能技術和研究工作所涉及的數據量大幅增加。通過研究人工智能突破其算法技術的局限，快速分析海量數據，發現其中可能存在的演化規律，能夠為社會發展提供真正有價值的信息，有利于為下一代人工智能技術的有效應用和快速發展提供更加充足和高效的基礎數據和技術支持。大數據和人工智能之間的融合協調，可以對人工智能的發展起到很好的支撐作用，如圖1 所示。

圖1 人工智能中大數據技術應用圖

4 大數據在人工智能領域的應用

4.1 應用要素

隨著計算機理論的發展，各種類型的信息在計算機中的應用越來越廣泛，獲取有效信息的難度也逐漸提升。將大數據技術引入數據處理，可以為該問題提供快速、便捷、靈活的解決方案，尤其是在統計報表的分析和決策方面。利用大數據的處理與應用技術，能夠最大限度地減少人力與物力的投入，并有效提高信息處理結果的正確性。例如，利用數據庫就是一種最通用、最有效的應用技術手段，可以快速篩選原始數據中最有價值的部分，篩除沒有任何用處的數據，不會影響重要信息的分析和使用。大數據處理環境下，雖然獲取的數據信息內容更加復雜，甚至可能無法滿足用戶的實際需求，但是利用其他信息技術（HDFS 技術等）檢索和訪問數據信息內容，能夠獲取用戶所需要的信息，進而滿足用戶的實際需要。

4.2 人工智能機器人

在操作層面和感知層面的設計上，人工智能機器人能夠很容易地完成幫助老人和小孩尋找存儲號碼、播放音樂、早上喚醒使用者以及提供適合其體質的營養餐等任務。通過融合大數據分析和人工智能技術，可以發現人工智能技術的巨大潛能。基于大數據技術，人工智能能夠借助傳感器獲取大量數據，并通過識別系統分析數據，利用結構化人工智能機器人的學習能力調節分析深度，進而提升機器學習算法和數據反饋系統的能力。隨著訓練樣本和網絡節點數量的不斷增加，網絡識別的重要性隨之增加。

4.3 智能農業

智能農業是在環境可控的情況下，利用先進的工業化技術優化現代新型農業生產方式，進而在不同季節和非季節氣候條件下，實現集約高效的生產。要實現高效和可持續發展，必須依靠現代化的農業系統。現代生物技術、農業技術和新材料的不斷發展，提升了農業生產水平，加快了農村發展速度，增加了農產品附加值，提升了農業生產力和農產品質量，推動了農業技術的創新。利用大數據分析可以干預農業生產情況，并通過開展調查研發農村大數據分析應用系統，使農戶更好地掌握農村生產的新動向。在數據智能中心技術的支持下，農戶可以更好地掌握農作物的產出情況，有助于農戶更好地決策農村發展模式，形成了一個基于計算機技術的農業信息處理系統，能夠為農戶提供更加全面的數據分析服務。

4.4 智能物流

智能物流是現代商務模式發展的必然趨勢，也是現代物流技術順利發展的重要保證。該技術以貨物的配送流程為切入點，融合大數據和網絡的相關信息，對物流技術進行規范化和實用化的研究。為實現商品物流配送的智能化，需要綜合運用多種信息技術。以商品的物流配送服務為例，通過全球定位系統（Global Positioning System，GPS）、移動通信、監測技術等，可以實現一系列的操作功能，從而實現對物流配送整個過程的定位和跟蹤，進而滿足信息控制目標和技術操作層面的綜合要求。

4.5 智能醫療

隨著科學技術的不斷發展，大數據技術在智慧醫院中的應用日益廣泛。該技術既能提升醫學診斷的準確度，又能提升醫療服務的效率，同時促進醫療資源的有效整合與合理分配。智能醫療系統主要通過智能硬件監控、醫院門診的診療記錄、個人計算機以及App 終端等獲取資料，包括醫療資料、用藥資料、使用者資料、藥品行銷資料、藥品使用資料、個案資料以及藥品研究資料等。通過運用大數據技術分析患者、醫生、制藥企業等多個領域的數據，找出與患者相關的疾病，精準判斷患者疾病類型，為臨床決策提供便利。傳統的醫療診斷方法在一定限度上存在不足，如準確性不夠、速度慢、容易對患者造成二次損害等。基于大數據的精準醫療可以大幅提高對患者疾病類型的診斷準確率，實現對病人疾病的全面評估，具有重要的醫療應用價值。目前，智能醫療產品已被廣泛用于婦科和腫瘤等醫學領域。

5 人工智能中大數據技術的發展趨勢

5.1 實時大數據和人工智能技術的應用持續發展

目前，云存儲技術在大數據領域取得了長足進展，尤其是在云存儲環境下，可以更好地為用戶提供可伸縮的存儲空間，降低了數據規模。然而，隨著云存儲技術的大規模應用，出現了大量離線計算技術，對數據的實時分析與計算的要求不斷提高。傳統的大規模數據與大規模并行處理方法存在較大的時延問題，已不能適應大規模應用的要求。對數據的實時性分析不僅需要數據支撐，還需要計算和機器學習等系統部件的支持，從而縮短從數據生成到價值生成反饋給生產系統的時間。例如：Kafka 軟件是一個建立在非同步信息處理基礎上的“事實標準”，在大數據的實時處理領域具有重要的應用價值；Flink 技術是一種新型的實時數據處理技術，目前已有大量的實時數據處理系統使用或遷移到Flink。此外，Kafka 能夠完成從消息系統到實時處理，Flink 能夠完成從實時處理到實時機器學習，基于主流的實時系統組件，可以很容易地構建實時特征計算和實時機器學習系統。

5.2 推動人工智能應用異構平臺的發展

隨著數據規模的不斷擴大和網絡帶寬的不斷提升，存儲與計算分離的系統數目日益增多。將存儲與計算分開，能夠更好地控制與隔離存儲和計算資源，提升整體運行的穩定性，且對于在線HBase 等在線大數據部件的穩定可用性至關重要。傳統的基于商用計算機的大數據平臺具有較強的軟件容錯能力，因此不存在穩定性問題。存儲方面，隨著固態硬盤（Solid State Disk，SSD）的價格越來越便宜，各種支持SSD的軟件與技術越來越多，如AeroSpike 軟件可以極大地提高SSD 的可擴充性，同時可以極大地減少內存技術的開銷。持久性內存的出現給數據存儲和存儲技術的發展帶來了革命性的變化。計算層次上，圖形處理器（Graphics Processing Unit，GPU）為深度學習等計算密集型應用提供了有力支持，其中CPU 和GPU混合配置成為一個發展方向。云計算技術尤其是容器技術的興起，將為大規模異構存儲和計算提供新的解決方案，有助于提高數據中心的總體資源利用率。

5.3 構建端到端整體解決方案

隨著人工智能技術的快速發展，特別是在工業領域的廣泛應用，使得大數據與人工智能平臺的深度融合成為可能。首先，在開發過程中需要在大數據平臺上構建和驗證數據特征，并按照機器學習的要求統一處理數據；其次，將該算法上傳到人工智能訓練平臺，并進行訓練；最后，通過多個超常參數的調節與特征工程，將建立的模型應用于線上平臺，從而達到實時預測用戶行為的目的。該過程涉及多個平臺之間的相互轉化和數據交互，導致每次數據處理和實驗等操作都要在不同平臺之間來回切換，不但會降低人工智能應用的開發效率，而且不能滿足日益增長的商業對人工智能應用發布時間的要求。因此，構建一套端到端的人工智能大數據平臺是一個迫切需要解決的問題。終端用戶可以利用人工智能大數據平臺，快速構建出一套完備的機器學習模型。該過程中只要進行一些簡單的操作，就可以修改所有的數據和模型，從而實現數據和模型的有效統一。

6 大數據技術在人工智能中應用需要注意的問題

6.1 無法全面代替人力資源

人工智能是一門高端技術，可以模擬人的思維和行為，但是在模仿限度上仍有一定的局限性。人工智能無法判斷和識別人際關系中的情感色彩，也無法把握和執行有關情感的行為。

6.2 加大數據信息安全的保障力度

利用大數據技術可以收集和整合大量的數據信息。通過對數據信息的加工，可以提高其內在價值。因此，必須有效管理批處理的數據信息，加強其安全性，避免批處理后的數據丟失產生不良影響。

7 結 論

大數據技術在人工智能領域的應用對推動產業發展、優化經濟和提升社會生活水平做出了重要貢獻。文章研究了人工智能中大數據技術的應用，從實際出發，加強對人工智能技術和大數據技術的管理和運用，改善人們的日常生活，適應經濟和社會的可持續發展，從而更好地為人們服務。