大數據挖掘與分析在項目管理中的機遇與應用

曾濤 阮彬

[摘 ? ?要] 針對當前大數據爆發的環境對包括項目管理在內的很多傳統工作造成的沖擊和帶來的機遇現狀，文章通過案例分析，以當下流行編程語言Python 為例，選擇相應的分析工具，嘗試探討在大數據時代數據挖掘與分析如何在項目管理中的應用，希望能夠為企業在項目管理中提供更好的實施工具。

[關鍵詞] 大數據挖掘與分析;項目管理;Python技術

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 23. 048

[中圖分類號] F270.7 ? ?[文獻標識碼] ?A ? ? ?[文章編號] ?1673 - 0194（2020）23- 0115- 03

0 ? ? ?引 ? ?言

項目管理作為管理學的分支學科，其與管理學所研究的本質一樣，都是在有限資源條件的約束下，科學運用系統的觀點、方法和理論，對項目中所涉及的工作內容進行優化管理。當今的社會正在經歷著信息革命，其特征之一便是數據信息的爆炸式增長，項目管理也不例外。一個項目從提出到實施往往會伴隨著大量數據的產生。大數據顧名思義是指數據量大、類別多的數據集合，而且無法用傳統的數據庫工具對其數據集內容進行抓取、處理和管理。大數據挖掘與分析是一種新的數據處理模式，其對數據的獲取與分析具有極強的決策力、洞察力和優化能力。

伴隨著大數據時代的來臨，大數據挖掘與分析在全球成為一個熱門話題。大數據挖掘與分析就是通過算法計算，然后從大量的數據中搜索隱藏于其中的有用信息，同時基于機器學習、人工智能、數據庫、統計學、可視化技術等分析工具，高度自動化地對企業的數據進行分析，并進行歸納推理，從中挖掘出潛在的有價值的信息，幫助決策者更好、更快地調整市場策略，減少風險以及作出正確的經營決策。大數據時代，大數據對包括項目管理在內的很多傳統工作既造成了一定的沖擊，同時也帶來了機遇。如果能夠將大數據挖掘與分析的理念與方法引入到項目管理中，可以更準確更有效率地對項目管理進行規劃和實施，降低項目風險，從而精準地實現在項目管理中實施的目標。

文章以當下流行的編程語言Python 為例，選擇相應的分析工具，就大數據挖掘和分析對項目管理所造成的沖擊和帶來的機遇，探討大數據挖掘與分析在項目管理中的應用，希望能夠為項目管理實施提供更好的分析工具。

1 ? ? ?數據挖掘與分析對項目管理造成的沖擊和帶來的機遇

項目管理指在實際工作中，管理者為了更高效地實現活動目標，結合一系列專業理論方法經驗，在有限的外在約束條件下，采取相關的活動措施，對項目所涉及的所有工作進行全面系統的有效管理，進而實現或超額完成目標。即項目管理貫穿一項目標活動開始前的規劃、投資決策、實施落地到項目終止的整個過程，通過系統化、全面協調指揮把控，推進實現項目活動的最終目標。項目管理涉及體量龐大的信息數據，如果不能對這些海量數據進行恰當的處理，使之轉化成有效的信息，項目管理工作將會嚴重滯后，無法保證項目管理的效率和質量。因此，面臨越來越龐大冗雜的信息數據，傳統的純人工項目管理方式是遠無法應對的，這要求項目人員必須重視構建、優化完善的項目數據體系，不斷提升其數據分析處理能力，并學會善于用大數據技術指導項目工程的進度計劃。

1.1 ? 大數據挖掘與分析對項目管理造成的沖擊

數據海量、種類繁多是大數據時代的典型特征，這些特點給項目管理帶來了一定的沖擊。海量數據使得獲取數據的難度增加，而數據種類繁多導致通過分析而獲得有價值信息的難度加大，雙重因素疊加，使得傳統上用來支持項目管理的信息系統難以應對新的形勢，項目管理者難以在較短的時間內獲得有效的數據和信息，從而導致相關的決策面臨著更多的不確定性和風險，項目管理的效率和效果都受到影響。

上述問題在中小型企業更加明顯，大多數中小企業在海量數據的沖擊下，其數據挖掘和分析能力卻十分有限，這勢必會造成數據利用程度和分析質量達不到項目管理的要求。大數據時代誰先把握住先機誰就掌握了主動權，所以在項目管理中重視大數據的應用刻不容緩。

1.2 ? 大數據挖掘與分析給項目管理帶來的機遇

大數據環境下，數據信息的挖掘和分析都發生了很大的變革，新的數據挖掘技術主要利用算法搜索隱藏于海量數據中的規律，進而更高效、便利地獲取有價值的信息，將無用繁雜的信息轉化成極高效的推動項目管理進程的利器。近年來，大數據挖掘分析受到各行各業的極大關注，這主要是隨著全球化和信息化時代的到來，如何將紛亂雜多的海量數據轉化為有價值的信息和知識是當下人民最迫切的需求，因而數據挖掘與分析工具也不斷豐富起來，比如常見的有：

SAS Data Mining：SAS被稱為“決策支持的最佳工具之一”，它是集數據采集、數據管理、數據分析和信息展現為一體的多功能分析工具。

Python：Python作為大眾語言，是一種免費的開源語言，且簡單易學，容易入門，具有較強的可移植性和可擴展性。與其他數據分析工具相比，Python具有較高的兼容性，能夠很好地應用于其他語言，如用戶可以將其他語言（如C或C++）編寫的部分程序應用到Python程序中執行。

IBMSPSS：SPSS是全球領先的數據挖掘和統計分析產品，包括統計學分析和報告、數據挖掘和預測建模、決策管理和部署、大數據分析等。

R語言：與Python相似，R語言也是一種免費的開源語言，且R語言在很多平臺上都能得到運用，比如常用的MacOS、Linux和Windows等。R語言可以從系統軟件、數據庫管理系統、文本文件、統計軟件以及專門的數據倉庫等各種類型的數據源中輕松的導入數據。

Rapid Miner：Rapid Miner是以Java為基礎，用Java編程語言編寫的一個集成環境，用于研究和進行實際的數據挖掘任務。可與Python、R語言整合，且可以連接Stata、SAS、Excel、Access、CSV等在內的多種資料檔案來源以及Oracle、IBM、SQL Server、My SQL等多種類型的資料庫。

在這些常見的數據挖掘和分析技術中不乏有既實用又易學的技術。接下來，我們以Python技術為例，來探究其在項目管理中的應用。

2 ? ? ?Python在項目管理中的應用

2.1 ? Python語言簡介

Python是一種免費的、開源的動態類型語言，是一個結合了互動性、編譯性、解釋性和面向對象的高層次腳本語言，可以應用于眾多領域。由于Python在使用設計上一貫堅持清晰劃一的風格，這使它具有易讀易維護的特點，得到了用戶的廣泛歡迎。在數據挖掘與分析方面，Python更是比其他語言具有優勢，易上手、高度的封裝性以及豐富的第三方庫資源和代碼開源，使Python逐漸得到了業內的熱捧。

2.2 ? 如何利用Python應對大數據挖掘與分析對項目管理造成的沖擊

2.2.1 ? 利用爬蟲進行數據挖掘

在面對互聯網大數據時代，對外部數據的獲取可以借助Python爬蟲技術（遵守robots協議），根據項目管理者的需求，通過設置關鍵字段信息，在網絡上對相關的數據進行抓取。Python爬蟲技術具有速度快、準確性高、可操作性強等特點，能夠有效提升數據采集和分析的效率，提高信息質量，與傳統的人工搜尋相比，它在避免數據錯誤和遺漏方面優勢明顯，針對數據爬取過程中產生的問題，用戶可以通過對代碼錯誤進行篩選排查、或者調整代碼的方式予以解決，而不需要重新編寫代碼。

在進行數據分析前，Python還可以對獲取到的數據進行清洗、篩選、填充、預處理等，把一些不符合要求、非結構化的、錯誤的數據去掉，使之能更好地為數據分析服務。另外Python也可以借助多元線性回歸、貝葉斯、神經網絡、聚類分析等技術方法，對數據進行挖掘處理。

例如圖1，房地產公司在規劃房產投資項目時，首先要考慮到當地相關的收入水平和房價等方面的信息，此時可以利用爬蟲技術在網頁上抓取相關的信息。例如我們對某房產平臺發布的信息進行爬取，首先導入requests、bs4、re、openpyxl庫，然后定義函數以獲取代碼和網頁信息，最后通過執行程序，就可以將獲取的信息以Excel文件的形式存放在指定的路徑下并完成對數據的爬取工作，抓取到的內容如圖1所示。

2.2.2 ? 利用Python數據分析

數據分析是指利用統計學、數學和計算機語言等，對收集來的數據進行適當的處理和開發，從而發現數據之間規律的過程。數據分析的工具眾多，比如Excel、Java、R語言、Python、SQL、Matlab等數據分析工具都能對獲取的數據進行合理有效挖掘與分析。但Python在數據分析方面具有很大的優勢：首先Python擁有較為全面的數據分析庫支持，例如pandas、numpy、matplotlib、seaborn、bs4以及基于web構建可視化的plotly等數據分析庫;其次Python有著方便快捷實現數據可視化的能力，matpoltlib庫和seaborn庫能夠很方便地對數據分析創建2D和一些簡單的3D圖表。

比如項目管理過程中常用的甘特圖，也可以通過Python中plotpy庫來實現，先導入需要的庫，接著導入項目、數據以便對其進行定義，就可以創建項目進度的甘特圖，如圖2。

在項目管理工作中，引入Python語言進行大數據挖掘與分析，而所獲取的數據信息為項目管理提供了精準決策和科學管理的依據，有效地提高了決策工作的效率和質量，增強了決策的科學性和抗風險能力，有利于節約項目成本，減少資源的浪費。

3 ? ? ?Python給項目管理帶來的機遇

3.1 ? 管理路徑優化

隨著大數據時代的到來，項目管理的工作模式也變得更有深度和難度，傳統的項目管理方式很多都已經無法適應信息時代的需要，效率低、差錯率高，成效不明顯等一系列問題時有發生。通過Python構建相關數據分析庫，對數據進行行之有效的挖掘與分析，可以洞察數據背后的規律性，從而有效提高數據信息處理和使用效率，保障信息質量，讓項目管理更具規范性和系統性，節約時間成本，起到管理路徑優化的作用。

3.2 ? 數據收集和分析過程創新

與傳統的數據收集相比，Python爬蟲進行相關數據收集更為便捷。內部數據可以直接從企業數據庫獲取;外部數據可以通過建立爬蟲對數據進行獲取，然后進行分析。就獲取的數據可能存在非結構化或半結構化的情況，可對其先進行預處理，將其轉化為結構化數據再進行分析，極大地提升項目管理所需信息的獲取效率和質量。另外，使用數據分析還能發現項目管理中存在的不足，對項目做出科學分析，找出問題根源及時提出解決方案，從而有效地降低項目風險。由于Python所具有的接合性特點，因此它也常被稱為“膠水”語言，它能很自然地與其他編程語言對接，這使得Python處理數據起來更為強大，范圍應用更加廣泛，使得項目管理能夠利用的資源有所增加，也將為項目管理工作創造更多的機會，使得項目管理者在同行中擁有一定的主動性，同時也給項目管理創新創造帶來保障支撐。

3.3 ? 項目管理工作方法創新，增強抗風險能力

在傳統的項目管理中，可以發現因人工自帶的不穩定性而導致的工作失誤情況屢見不鮮。例如，工程造價計算錯誤、成本分析錯誤等問題時有發生，而這將嚴重影響企業的項目管理質量和項目經濟效益。雖說企業也針對這些現象建立了相應的管理制度，但是在傳統的項目管理模式下，還是無法避免出現人為的操作失誤和故意為之的現象。針對這種情況，項目管理方可以通過運用Python技術結合數據存儲的數據庫，對企業項目運營管理過程中出現的各種數據進行儲存管理，在項目管理的任何時間節點都可以通過Python調用數據庫中的數據，進而對各項數據進行對比分析、審核等，能系統性地和高效地避免出現數據錯誤和人為錯誤。