基于第四范式的數據分析思考?

孟紅茹 孟二龍

（1.陜西中醫藥大學 咸陽 712046）（2.火箭軍工程大學 西安 710025）

1 引言

科學研究發展伴隨著人類技術的進步，經歷了描述自然現象的實驗科學、以牛頓定律和麥克斯韋方程為代表的理論科學和模擬復雜現象的計算機科學，自圖靈獎得主吉姆·格雷正式提出科學研究第四范式概念以來，特別是隨著大數據在科研領域迅猛發展，逐步形成了數據密集型的第四范式。

2 數據分析研究范式的演進

數據分析與科學技術的發展并非同步前進，而是在相當長的歷史時期內，處于相對停滯的狀態。經過長期緩慢的量的積累的過程之后，隨著科學技術爆發式進步并應用于數據分析領域，數據分析技術短時期內迎來“拐點”，取得突破性演進發展。

2.1 以經驗主義為依托的第一范式

處理數據與信息是人類所特有的能力，對數據的分析運用自古有之，早期的信息處理是出自本能的一種無意識行為，遠比今天更為簡單純粹，同時也隨著人類科技的發展而不斷演進，變得更加有內涵。自文字誕生以后，信息分析處理便立刻在信息管理中發揮作用。在古代軍事行動中，除了雙方操戈相向之外，數據信息的分析處理也占據絕對重要地位，受思辨科學影響，主要是依據過往經驗對搜集到的極為有限的數據信息進行簡單的分析、歸納和總結，找出部分內在規律，用以指導戰爭實踐，在此基礎上誕生了《孫子兵法》等集大成者的典范之作［1］。但長期以來受制于信息數據量不足、累積足夠量的數據所需時間太長、數據和目標信息相互之間性慣性不高等因素，早期的數據信息分析處理方法和技術發展一直受限。

2.2 以理論推導為路徑的第二范式

19世紀至20世紀以后，西方國家憑借數學科學快速發展，在作為情報學起源之一的文獻學也取得重大突破，人們開始注重探尋隱藏在規律背后的邏輯原理，得以推動數據研究正式成為演化為科學研究工作［1］。此階段，以理論模型和總結歸納方法為根基，通過“大前提－小前提－結論”的三段論式推演得出結論的邏輯推理開始嶄露頭角，更加注重數據的“量”和“質”的辯證關系，利用概率論和統計學，通過數學模型對相關信息內容進行量化分析，從而可以間接得到所需信息，逐步產生了以蘭徹斯特方程為代表的理論研究方法。但缺點是難以通過理論上的邏輯推理，歸納演繹出對影響局勢發展的信息對抗、戰斗精神等無法具體量化的復雜因素，而這些卻恰恰是難以忽視的核心關鍵性影響因素。

2.3 以科學計算為基礎的第三范式

隨著計算機技術的產生和發展，科技作為影響數據分析進程的核心因素的地位越發凸顯。20世紀中期電子計算機誕生后，便被立刻用于借助計算機超強的計算和儲存能力進行人工難以實現的仿真模擬和精確計算，結合快速發展的科學構建數學模型、定量分析方法，很快在通過數值模擬分析從而預測未來、結合圖論發展新的模型、利用數學進行計算優化等方式等領域取得突破性發展成果。但其不足之處在于，主要停留在基于工具數據信息，而無法智能化感知計算過程和結果，難以準確描述信息深層機理。

2.4 以數據密集型分析處理為核心的第四范式

技術革命都是圍繞著足以影響人類進程的核心技術的突破而發展演進，計算機的計算能力和數據收集能力在摩爾定律下呈指數級速度增長，計算機技術的進步也推動了數據驅動方法飛速發展。在大數據產生來源、仿真模型、參數設定等不確定性影響下，以數據為主的現代數據信息處理核心，已經完成了從因果關系到數據相關性的轉變，更加注重數據的分析和挖掘深度。目前，數據分析領域數據密集型研究方法應用的基礎，就是在對前三種研究范式有機統一和優勢融合發展的基礎上，逐步形成以計算機為主要載體進行的數據收集、整理、分析和運用的研究方式［2］，是持續增強的處理信息能力和從數據中篩選可用信息的水平，以大數據和人工智能技術高效融合為代表的技術革命，代表著人類在數據處理領域已經跨進機器智能時代［3］。

3 采用第四范式進行數據分析研究的本質與內涵

采用第四范式進行數據分析與研究，實質就是回歸問題處理的本質根源，利用高效便捷的方法論，最大程度地破除“迷霧”、消除不確定性。

3.1 “簡單性原則”解決復雜具體問題

在科學理論技術發展“效率”原則驅使下，科學研究始終遵循由難到易、由簡到繁的“簡單性原則”發展邏輯，其在本質上是一種完全中立的科學研究方法［4］。而數學是人類認識世界的基本途徑，也是科學研究不斷取得進步和發展發展的重要工具。數學“簡單性原則”就是以問題最簡單的出發點為突破口，將整體分化為局部而各個擊破，進而探尋解決問題的最佳途徑。采用數學思維“簡單性原則”的角度分析和處理具體情況，核心思想就是利用具體的數學方法將復雜的數據分析處理問題簡單化［5］。

數據密集型的第四范式研究方法，就是利用行之有效的數學思維方式，將毫無頭緒雜亂無章的海量數據信息進行條塊化分割，通過智能化軟件核心組成模塊的數據模型處理，可以有效提高分析的準確性，從差異性最小化的角度，最大限度地提升分析處理的準確性，減少因個人認識差異而導致的不一致性，實現數據信息分析處理過程簡單化、高效化［6］。

3.2 數學模型為基礎的人工智能分析方法

在日益復雜的環境和海量信息數據噴涌的未來，瞬息萬變的決策中有越來越多的復雜情況需要分析決斷，就需要構建科學合理高效的數學模型來仿真實驗，利用數學模型方法具有聯系范圍大、輻射鄰域廣、使用適應性強等特點，通過數學模型分析方法實現邏輯思維和科學計算的有機融合。計算機獲得智能并不是依靠和人一樣的邏輯推理和理論分析，而是利用人工智能的深度學習能力，從無處不在的數據中分析處理獲得信息和知識，隨著數據量的累積和分析處理技術的發展，計算機也變得越來越“聰明”和“智能”。

數據密集型的第四范式研究方法，就是在科學方法的基礎上建立范式的科學模式，從建立數學模型的層面對具體問題抽象化，將數據分析處理中的實際需求，轉化為相匹配的數據和統計學等模型，再利用條件概率和假設分析等方法，人員將會將重心放在處理數據來源、方位和運用上，以保障數據信息處理的高效性和準確性。

3.3 運用大數據進行深層挖掘

長期以來，受制于數據量小和信息相關性弱的缺點，加上人們對數據的認識和分析利用能力不夠，無法挖掘出隱藏在看似普通的數據背后的有效信息，導致數據的作用被長期低估，“重方法輕數據”的問題更是長久存在，嚴重制約了數據信息分析處理和轉化運用的發展進程［7］。信息革命從根本上改變了數據搜集的模式和方法，大數據則重新定義了數據信息環境。大數據方法思維的核心，是在持續增強的技術進步和處理信息的能力的基礎上，處理方式從簡單的表象分析轉變為復雜的深度挖掘，邏輯關系從直接因果關系轉變為間接關聯關系，不斷提升從海量數據中篩選出有用信息的能力水平，用全新的數據處理思維和方式提供解決問題的新方法，最大程度消除信息本身不確定性。

數據密集型的第四范式研究方法，就是以大數據思維為核心、以計算機設備為主要工具，從數據數據的產生、存儲、傳輸和處理全過程高度依賴信息設備的研究方式，突破傳統思維方式、認知水平、手段方式等全方位束縛和禁錮，在未來瞬息萬變產生的海量信息中，滿足數據信息數據分析處理高效、快速的即時性要求，牢牢掌控發展變化全局［8］。

3.4 “道”和“術”的高效融合

老子曾講：“有道無術，術尚可求也。有術無道，止于術。”“術”是從方法論的范疇研究解決問題的方式，具有具體性、局部性和動態變化的特點；“道”則是從根源的角度探尋問題的本質和原理，更加強調抽象性、整體性和靜態穩定性。“術”與“道”在人類發展進步的過程中發揮著車之雙輪、鳥之雙翼的舉足輕重的作用，既要發揮“術”的實踐指導作用，又要注重“道”的規范引領作用，只有實現“術”與“道”的有機融合，才能實現健康有序的穩定向上發展。

在數據密集型的第四范式研究方式中，利用科學技術的發展，采用標準的數學模型、智能化算法、大數據分析運用等科學研究方法，對具體問題進行的具體分析，就是“術”的具體運用。而數據密集型第四范式研究方法本身的產生，以及簡單性指導原則運用，用于規范和引導科學研究發展趨勢，是對科學分析方法論的升級和演進，就是人類探尋分析和解決問題過程中“道”的直接體現［9］。

4 第四范式對數據分析的影響

第四范式下數據信息的產生、存儲、傳輸和處理過程，則是在以無意識的機器為主的包容性狀態下進行，是在計算機能力、通信技術、應用數學和認知科學等方面的綜合拓展應用，正朝著準、快、穩等方向發展。

4.1 “準”－有的放矢

數據信息所能產生的效能，很大程度上取決于發掘隱藏在數據信息背后的能力，而數據工作在數據的收集、處理和分析過程中處于不斷動態變化，賦予了數據信息的模糊性和不確定性。數據工作的規劃與指示、信息收集、處理與開發、分析與產出、傳播與整合、評估與反饋全過程，就是要從不確定性中得到確定性、從雜亂無章中梳理出條理［10］。采用數據密集型的第四范式科學算法，最大優勢在于系統決策水平能力與數據量的累積成正比，就是通過機器對數據更強的洞察力和更高的執行力，提升對數據背后的態勢感知能力和分析層次深度，深入分析挖掘大數據之間相關特性，從而最大限度消除問題的不確定性［11］。2017年美國國防部提出的“算法戰”的核心思想，就是通過人工智能技術、大數據分析技術和算法學習技術的深度融合，更高效地挖掘出有價值的信息，提升數據信息運用效率，快速實現大量數據到有實際價值的數據信息的轉化［12］。

圖1 數據信息收集、分析、處理流程

4.2 “快”－速戰速決

數據密集型的第四范式下的數據分析處理模塊化、實時化、全維化的特性高度契合了數據分析時效性指標要求，加快了信息流轉和數據處理速率，通過強化自適應、自修正能力，提升主動適應和進一步處理具體信息的能力，通過互信息性發掘隱藏在數據背后的信息。得益于軍事科技的超前發展，實戰中美軍“OODA”循環周期的發現、判斷、決策、打擊鏈路時間周期，也隨著科技發展而不斷迭代加速，由海灣戰爭中的100min、科索沃戰爭中的40min、阿富汗戰爭的12min提升到伊拉克戰爭的10min。

圖2 OODA循環時間

4.3 “穩”－精準決策

數據本身充滿不確定性，數據分析就是用一定的手段和方法，挖掘出蘊含在其背后的信息，用確定的方法最大程度地消除其不確定性。隨著數據庫規模的不斷擴大，數據處理將會變得更加精確，算法的決策質量也將不斷提高，更多的關鍵決定將由算法取代人力處理。從方法上講，采用數據密集型的科學算法，就是基于從大數據中獲得信息，在人機結合的基礎上，實現傳統的人類進行邏輯推理為主、計算機輔助決策到數據算法主導下的機器支配決策的轉變，采用信息熵處理方式，對數據信息進行量化度量和分析處理，對信息的互信息性進行取舍和分析，減少數據分析中人為的取舍或權重劃分［13］。更重要的是，人工智能算法決策可以不受人類情緒的影響，發揮相對穩定，這個特質在決策中至關重要。

5 有效應對第四范式對數據分析影響的應對措施

對數據的分析判斷能力，是戰爭決策者的戰略智慧與謀略的綜合運用，是真正考驗是否具備掌控全局的能力的標準。決定性的信息客觀隱藏于海量數據信息中，只有善于用技術手段分析和處理數據，才能發掘出隱藏在數據背后的信息。

5.1 采用數據驅動方法，拓展新的思維方式

數據分析的進步，不僅僅表現于組織形態、技術裝備或形式方法的更新，更關鍵是在于認知和思維方式的進步。要改變戰爭思維，從以人力為中心走向以數據為中心、從以信息為中心走向以算法為中心的觀念。從對數據信息的定量化處理出發，綜合運用相關性思維方式，深度挖掘和分析數據背后隱藏的信息，用以輔助優化決策［14］。采用相關性思維提升決策效能。在海量數據基礎上的博弈進程中，不能將傳統的數據處理思維與大數據思維簡單等同，而是要采用數據相關性思維，實現西方式科學統計方法和東方式宏觀規律把握的有機契合，利用機器強大的學習能力，在大量具體的代表性數據中，尋找出最為契合數據的數學模型。

5.2 緊跟智能革命發展，轉變智能問題為數據問題

數據是封裝的智能，智能是開放的數據。敵我雙方在斗“力”的同時，斗“智”也顯得更加重要，數據分析處理就是斗“智”的重要舞臺。數據分析運用不僅可以助力決策者掌控全局和具體細節，并且能夠改變決策者認識、分析的思路［15］。爆炸方式產生的信息數據已經無法通過人力來處理，而計算機利用數據多維度的優勢，學習和處理信息的能力和速度遠超人力。在大數據應用技術快速發展之前，計算機尚不具備解決需要人類智能決策問題的能力，但今天，在大數據和機器智能飛速發展的情況下，計算機已經可以完成過去只能由人類完成的工作。大數據發展應用與人工智能技術的高效融合，將智能型決策問題轉變為數據處理問題，利用數據決策消除不確定性，推動了數據分析領域從感性認知和理性分析到智能決策的跨越。

5.3 把握算法演進趨勢，改進數據分析指導方法

過去的40年，摩爾定律主導和引領了信息產業技術的發展，在未來，數據和算法將是其繼續不斷演進迭代的推動引擎，數據驅動發展、算法主導一切的時代已經到來［16］。科學有效的算法，不僅能夠非常清楚準確地用算法模型來解決看似毫不相關的隱深問題，決策的準確性和質量隨著數據庫規模的擴大而不斷提升，并且能夠不受人工心態變化的影響，克服人工處理中的傾向性問題，得出客觀的結論［17］。數據密集型的第四范式算法應用，已經從根本上重新塑造了對數據信息的獲取、分析、應用全過程。從數學和算法的角度將數據分析問題具體化，尋求更優化的解決方案。對數據信息進行綜合處理，利用第四范式的密集型數據處理理論指導數據的組織和分類，以提供高效可靠的存儲和預處理，通過密集型數據分析方法指導決策。

6 結語

技術時代的變遷必然引發既有模式的巨大變革，在數據爆炸式增長和智能算法主導的未來，數據的分析處理既發揮著更加重要的作用，同時也面臨著全新的挑戰和要求。未來在摩爾定律理論框架內，計算機資源成本日益降低而人力成本翻倍增長，利用符合技術和時代發展需求的方式進行數據信息分析處理成為必然發展趨勢。