我國高校科研項目管理動態跟蹤評價體系的構建與案例驗證

吳定會

(江南大學物聯網工程學院，江蘇無錫，214122)

我國高校科研項目管理動態跟蹤評價體系的構建與案例驗證

吳定會

(江南大學物聯網工程學院，江蘇無錫，214122)

利用Fuzzy Delphi和Fuzzy DEMATEL的結合方法，基于項目管理成熟度模型，著重于提高項目過程能力，構建動態跟蹤評價高校科研項目管理的指標體系。2012—2013年對我國A高校10個無線傳感器網絡項目負責人的動態跟蹤評價結果顯示，該指標體系可以實現動態跟蹤我國高校科研項目過程管理，為有效提升我國高校科研效率提供借鑒。

高校科研；項目管理；動態跟蹤；評價體系

全球化經濟發展的態勢預示著世界各國在高新技術領域的競爭將日益突出。黨的十八大報告中確立的創新驅動發展戰略顯示出我國對科技研發創新的高度重視。而高等學校是國家創新體系中原始創新的重要來源，已經成為我國科技發展的重要力量和國家創新體系的重要組成部分。作為高校科研創新的重要保障，如何確保科研工作有序組織、協調開展，持續推進，對我國高校科研管理提出了新問題和新挑戰。目前我國高校科研無論在應用研究還是在基礎學科研究方面都呈快速增長態勢，但與此同時，我國高校科研管理仍存在基礎薄弱、科研經費浪費、產出成果有限、項目進度緩慢、項目質量較低及項目轉化能力有限等現實性問題[1]，對我國基礎學科和重大科研的攻關造成巨大阻礙。由于高校科研管理的實質就是技術與項目相互融合的系統工程，其本質強調的是動態管理，適度控制。因此，基于科研項目的全生命周期，動態跟蹤高校科研管理的全過程，建立規范化的評價體系和評價方法，形成具有我國特色的高校科研動態跟蹤管理模式則顯得尤為必要。

一、國內外研究現狀

由于高校科研項目是企業重要的技術創新投入源，可以幫助企業更快地吸納并采用最新技術。[2]因此，學者們普遍認為高校等科研院所的科研項目管理與企業技術創新項目管理基本類似，主張利用開放性的理念管理科研項目，使得項目管理最終更關注于市場。[3]當然，科技成果轉化必須建立起有效的風險防范機制，而該機制的建立就要求科研項目管理應更關注于減少執行過程的不確定性，并將其管理過程標準化。[4]

目前來看，將項目管理與高校科研管理相結合理念與卡內基梅隆大學(Carnegie Mellon University)的軟件工程機構(Software Engineering Institute，SEI)的軟件能力成熟度模型(Capability Maturity Model，CMM)基本一致[5]，也基本符合項目管理過程就是為達到某個目標而采取的項目投入與產出相關活動集成的研究設想。完全可以在CMM基礎上，將項目管理的每個過程相互融合或者分類推進。Cooke-Davies[6]則進一步指出，基于CMM的項目管理成熟度模型就是從技術層面將項目過程量化，推進項目可測量、可控制和持續改進的階段式發展。而且，將項目按照過程分類有助于發現管理重點，以便深入推進項目新成果的研發。[7]Robert[8]則另辟蹊徑地提出將項目作為系統，分析影響其有效性和過程中不確定性。Steyn[9]則進一步提出利用關鍵鏈的項目管理方法，要求提高項目過程管理的效率。由于進度、成本和績效三項是項目驗收的重要指標和因素[10]，展開科研項目管理的標準化，構建統一的績效評價指標體系是學者們公認的手段。[11]

在具體管理方法中，Beynon和Marshall[12]主張在科研項目全過程評價中充分利用專家評判的Delphi方法，通過專家系統展開較為客觀的分析。但由于Banker等[13]更多學者的研究關注于科研項目的績效評價，所構建的評價復合體系為多層次、多指標。各層次、各指標的相對重要性各不相同，用傳統的經驗估值和專家評判難以真正展開客觀分析。Beynon等[14]學者開始將定量分析方法加入專家評判研究中，不但嚴格挑選專家組成員，而且在評價過程中利用定量方法增強評價體系的科學性。因此，通過德爾菲法(Delphi)與分析網路程序(Analytic Network Process，ANP)、層級程序分析(Analytic Hierarchy Process，AHP)、數據包絡分析(Data Envelopment Analysis，DEA)等定性和定量相結合的方法構建相應的指標體系評價項目，逐步為廣大學者所采用。該方法一方面提高項目的過程管理效率，另一方面，也會提高項目的驗收合格率并服務于企業，滿足市場需求。[15?17]

科學研究具有特定的高投入和高風險性，控制科研項目的過程風險，加強科研項目的過程管理顯得尤為重要。學者們逐步關注科研項目的過程管理[18]，在具體國情下，開始采用多種定量和定性相結合的方法展開研究。[19?21]但由于高校科研項目有其不確定性，目前為止，我國尚沒有建立統一的、具有規范意義的高校科研項目過程管理科學評價體系。另一方面，由于CMM具有“過程保證質量”的理念，在解決軟件過程存在的問題方面取得了成功，也有學者開始考慮將其作為評價項目過程管理能力的重要技術。[22]而多種基于CMM的項目管理成熟度模型(Project Management Maturity，PMMM)也隨之被應用于各個領域的科研項目過程管理，強調對提高項目過程管理的效率。[23]

因此，考慮高校科研項目過程管理的特殊性，本研究將引入項目管理成熟度模型評估高校科研項目過程管理狀況，試圖通過項目過程跟蹤模式，基于CMM，構建具有一定借鑒意義的、強調過程管理的我國高校科研項目動態跟蹤評價指標體系，期望有效提升我國高校科研項目過程管理效率。

二、評價指標體系的構建

加強科研過程中的監督與控制，就是消除科研項目管理中重視投入和產出，忽視過程管理的不良現象，保證高校科研項目管理的過程性、連續性和系統性。因此，在科研項目管理的評價指標選擇中，必須兼顧目的性、科學性、適用性與系統性原則。根據我國高校科研項目管理的實際情況和呂蔚等、邱均平等學者的研究結論[24?25]，本研究的科研項目過程評價將以項目實施進度、經費使用情況為主要內容，對我國高校科研項目展開全過程管理評價。

一般而言，構建項目評價的指標體系，采用的方法就是通過挑選專家組成專家組，再采用Delphi法選擇相應的指標，最終得到分析結果。[15]由于我國高校科研項目具有管理的特殊性，與CMM模型針對軟件能力的評價指標可能存在不同，現有CMM模型中的評價指標體系不一定適合本研究針對高校科研項目過程管理的評價指標體系構建。筆者將從我國高校科研項目過程管理的特點出發，基于CMM的指標，利用高校科研項目管理領域的相關專家，通過專家遴選以構建更適合我國高校科研項目特點的評價指標體系。同時，為最大程度避免構建高校科研管理動態跟蹤指標體系中專家選擇指標的主觀因素干擾，且考慮到模糊德爾菲(Fuzzy Delphi)方法的實質就是通過確定專家評判的共識值，以消除主觀干擾[17]，筆者擬采用Fuzzy Delphi方法獲得多位高校科研項目管理領域的專家共識，以最大程度保證我國高校科研項目管理動態跟蹤指標體系的客觀性。

(一)選取調查對象與專家人數

Fuzzy Delphi方法的調查對象為專家，專家的選擇將影響問卷的結果與說服力。而多數文獻的專家選擇的標準并不統一。考慮到高校科研項目的專業性，本研究選擇的專家都是在高校科研項目管理中的高級項目管理者，除了熟悉高校科研項目管理外，至少還滿足以下條件之一：①從事與本研究相關或類似的研究；②曾發表與本研究相類似的文章；③對本研究具有一定專業知識。而在專家人數的選擇方面，由于專家人數至少為10人時，群體判斷的誤差會降至最低，可信度最高[26]，因此筆者也將選擇10位滿足以上條件的專家。

(二)建立指標和編制問卷

在初步建立與分類高校科研項目管理評價指標的基礎上，本研究采用半封閉式問卷，充分搜集專家意見。根據初步遴選的指標，請各專家匿名按照各自高校科研項目管理的現狀，按照1～10分由低至高地依次評判各個指標設定的重要性。各指標均給出定義，以保證專家對于各個指標認知的一致性。同時，在問卷的指標選項后還請專家提供指標補充說明，設置選項給專家自行增列指標，以補充原初步遴選指標可能存在的不足。

(三)實施反復性的問卷調查

通常Delphi方法的問卷調查需要實施3～4次，且如果實施第2次問卷調查時，數據顯示調查結果已經達到完全一致或呈現極端的兩極化時，問卷調查可以僅實施一次。[27]另外，問卷調查可分為兩個階段，通過請專家依據其個人的判斷針對各指標的重要性展開評分。本研究采用幾何平均數和四分位差代表專家評判值的集中和分散狀況。第一次問卷調查結果利用四分位數計算各選項的重要性，第二次問卷采用幾何平均數表示專家評判結果的一致性，利用K-W檢定計算各專家對于選項間整體判定重要性認知的一致程度。最終本文確定的指標體系通過評價項目過程管理中6個項目管理過程能力，即項目啟動過程能力、項目實施過程能力、項目執行過程能力、項目控制過程能力和項目驗收過程能力以及項目成果轉化能力，來衡量高校科研項目過程管理的成熟度水平。同時，整合我國高校科研項目的具體特點，動態跟蹤項目內容中的計劃、進度、評價、質量、資源和變更管理等六大范圍(見表1)。

三、劃分成熟度等級與確定指標權重

普華永道(Price Water House Coopers)在2004年的一項調查顯示，30個國家的200名項目管理者都認為，組織的項目管理成熟度級別越高，越可能對項目整體性能產生積極影響。[28]需要指出的是，由于高校科研項目管理的環境相當復雜，直接影響項目過程管理、動態跟蹤評價的結果。[29]本研究將在構建的動態跟蹤評價體系的基礎上，關注非線性的、人類動態實踐行為的社會系統，強調如何規避科研管理人員的人源性因素的隨機性影響項目成功。因此，強調科研管理人員技術熟練性的要求對提高高校科研項目管理動態跟蹤評價效率。[30?31]同時，復雜環境需要科研管理人員具有開放性的創造能力，需要建立具有彈性的科研項目管理方法。[32]而這個方法恰是在高校科研項目動態跟蹤管理中所必須的。

而Wheatley[33]則明確指出，不可能存在一個最優的成熟度級別適用于所有項目管理成熟度劃分，最重要的是適用于特定項目的評估。由于高校科研項目具有一定不確定性，而我國多數高校科研項目管理方面的能力尚顯不足，對項目高風險性也缺少認知，構建高校科研項目動態跟蹤管理評價體系必須要綜合考慮我國高校科研管理的現實特點。我們應利用項目管理成熟度模型不斷提升項目過程管理，逐步積累管理經驗的理念，通過制定項目管理水平的提升計劃，幫助高校科研項目管理從最初的成熟度級別做起，把每一個成熟度級別的關鍵活動作為新的工作目標，動態識別現階段我國高校科研項目管理過程中可能存在的薄弱環節，有針對性地通過解決問題，促進項目管理能力的持續改進。本研究擬在CMM基礎上，將高校科研項目管理的成熟度等級劃分為初始級、簡單級、規范級、成熟級和改進級。相應的高校科研項目管理成熟度的等級標準劃分及分值見表2。

表1 高校科研項目管理動態跟蹤評價指標

表2 各評價指標的等級劃分與分值

同樣，確定各指標權重也得利用這些專家的問卷調查。為消除專家評判的主觀影響，筆者考慮利用專家評判這些指標之間的相互影響程度，按照由弱到強分為1～5等級后，再將各專家評判結果對應的三角模糊數(Fuzzy Triangular Numbers)進行標準化處理，利用表3量化得到專家群體的共識。[34?35]

表3 專家評判各指標之間的影響程度與三角模糊數的對應

具體計算過程如下：

(1)三角模糊數的標準化處理。按照表2將每位專家的評判轉換為三角模糊數，并按照公式進行標準化。

(2)計算左右的標準值。將標準化后的結果按照公式④、⑤計算。

(3)計算總的標準化值。

(4)獲得第k個專家評判的i指標對j指標的影響程度。

(5)計算全部k個專家評判的i指標對j指標的平均影響程度。

由于決策實驗室法(Decision Making Trial and Evaluation Laboratory，DEMATEL)可以平衡評價體系的各指標之間的因果關系，改善專家主觀經驗的不足，可以更加客觀地確定各指標之間的因果關系[36]，本研究基于Fuzzy Triangular Numbers對評價結果的標準化處理結果，再利用DEMATEL方法，獲得評價指標體系中各指標的權重。具體步驟如下：

首先，利用三角模糊數標準化處理后的專家對各因素間影響程度的評判值，生成初始直接關系矩陣A=[aij]。其中：A是非負矩陣，aij代表因素i對因素j的直接影響，i=j時，aij=0。

第二，將直接影響矩陣A轉換為標準化的影響矩陣D。

第三，獲得總影響關系矩陣T。

第四，計算T矩陣的各行和各列之和。

Ri、Cj分別為矩陣T的行、列之和。Ri表示i因素對系統其他因素的影響度(Di)；Cj表示j因素受到系統中其他因素影響的感應度(Rj)。

最后，計算指標權重。根據上述步驟獲得各指標的影響度和感應度，就可按照公式?和?進一步確定這些因素在該指標體系中所對應的權重。

按照公式①～?，最終20位專家選擇的指標體系及各級指標的權重見表4。

表4 高校科研項目動態跟蹤管理評價指標體系

四、高校科研項目管理評價指標體系的案例驗證

高校科研項目在發現和發明方面所獲得的成果以及對這些成果的應用與推廣方面更具創新性。而以無線傳感器網絡研究為代表的信息技術產業作為國家新興戰略性產業之一，更能反應出我國當前科學研究的側重點以及未來發展方向。因此，本研究擬選擇信息技術中的無線傳感器網絡的科研項目，展開高校科研項目管理評價。

有關高校無線傳感器網絡的科研項目的批準立項數據可以通過國家自然科學基金委員會的網站進行查詢(見表5)。

對高校科研項目管理成熟度的動態跟蹤評估必須通過一段時間驗證以使得項目成熟度級別的設定更符合我國高校科研項目成熟度的評估。2012年，筆者選擇表5中排名前五位的A高校，選擇其中10個無線傳感器網絡科研項目的負責人，利用本研究的高校科研項目管理評價指標，對各個項目管理成熟度展開動態跟蹤評價，并有針對性地對評價后該高校無線網絡傳感器項目管理中的薄弱環節提出改進措施，于2013年再次展開同樣本調研。

表6顯示，2012～2013年間，該高校無線網絡傳感器科研項目的10位負責人均認為，所在高校科研項目管理成熟度主要為第2級的簡單級和第3級的規范級。其中認為項目管理成熟度達到簡單級的比例最高。2013年，受訪者認為所在高校無線網絡傳感器項目成熟度等級達到規范級、成熟級和改進級的比例較2012年都有所上升。

表7中，2012—2013年間，A高校無線網絡傳感器項目管理的一級指標評價的最高值均為項目成果轉化能力。而2013年所有受訪者均認為該校無線網絡傳感器項目管理一級指標的評價最高值占比，除了項目結題過程能力，其余各個指標都普遍提高。調研結果顯示，項目負責人認為A高校的項目執行過程能力、項目控制過程能力提高最為明顯。

表8則表明，按照表2的專家打分，2012—2013年間，A高校無線網絡傳感器項目管理的二級指標進一步指明了其中可能存在的薄弱環節，為動態跟蹤與完善項目過程管理能力細化了改進方向。顯然，正是針對二級指標的評價結果，A高校在這些方面采取了改進措施，這也同樣對表5和表6提高項目管理成熟度等級、提升項目管理過程能力具有一定推動作用。

表5 2007—2014年高校無線傳感器網絡項目國家自然科學基金立項數

表6 2012—2013年A高校無線網絡傳感器項目管理成熟度比例(單位：%)

表7 2012—2013年A高校無線網絡傳感器項目管理一級指標評價最高值占比(單位：%)

五、結語

本文通過Fuzzy Delphi和Fuzzy DEMATEL的結合，基于項目管理成熟度模型，著重于提高項目過程管理能力和管理效率，構建動態跟蹤評價高校科研項目管理的指標體系。而2012—2013年利用該指標體系對在國家自然科學基金委立項課題的無線網絡傳感器項目排名前五位的A高校展開動態跟蹤評價的案例驗證，可以得出以下結論：

表8 2012—2013年A高校無線網絡傳感器項目管理評價均值

第一，即使是信息技術含量高、創新能力強的高校無線網絡傳感器項目，其項目管理成熟度仍處于簡單級和規范級。其中比較薄弱的環節是項目執行過程能力、控制過程能力和計劃過程能力，而相對管理較好的環節是項目成果轉化過程能力、結題過程能力。這也在一定程度上表明，對于我國高校科研項目過程管理而言，提高過程管理能力和過程管理效率的重點應該放在項目執行過程能力、控制過程能力和計劃過程能力。因此，現階段我國高校科研管理應制定合理的資源配置政策，方能總體提高科研項目的過程管理效率。

第二，研究結果表明，基于CMM的項目管理成熟度模型，構建我國高校科研項目管理評價指標體系，可以通過動態跟蹤，有目標地完善與提升高校科研項目過程管理中的薄弱環節，且提升成效較為明顯。本研究所構建的高校科研項目管理動態跟蹤評價體系，可以作為分析我國高校科研項目管理能力的參考，并為最終設計出具有我國特色的高校科研項目全生命周期動態跟蹤過程管理模式提供一定借鑒。

[1] 陸根書, 趙穎, 劉蕾, 等. 教育部直屬高校科研投入產出效率及其發展趨勢分析[J]. 大學教育科學, 2013(1): 30?36.

[2] Fabrizio K R. Absorptive capacity and the search for innovation [J]. Research Policy, 2009(38): 255?267.

[3] Chesbrough H, Vanhaverbeke W, West J. Open innovation: Researching a new paradig [R]. Oxford: Oxford University Press, 2006.

[4] 許長青. 論大學與產業科研合作的風險防范機制[J]. 現代大學教育, 2007(2): 48?55.

[5] SEI CMMI-SW. Capability maturity model integration [M]. SEI: CMMI Staged presentation, 2002.

[6] Cooke-Davies T J, Arzymanow A. The maturity of project management in different industries: An investigation into variations between project management models [J]. International Journal of Project Management, 2003, 21(6): 471?478.

[7] Barkley B. Project management in new product development [M]. New York: McGraw-Hill, 2009.

[8] Robert R S. Critical chain project management [J]. Project Management Journal, 2001(32): 55?59.

[9] Steyn H. An investigation into the fundamentals of critical chain project management [J]. International Journal of Project Management, 2002(2): 78?81.

[10] Kahn K B, Barczak G, Moss R. Perspective establishing an NPD best practices framework [J]. Journal of Product Innovation Management, 2006(23): 106?116.

[11] Cooper R G, Edgett S J. Maximizing productivity in product innovation [J]. Research Technology Management, 2008(51): 47?58.

[12] Beynon M D, Marshall D. An expert system for multi-criteria decision making using Dempster Shafer theory [J]. Expert Systems with Applications, 2001(20): 357?367.

[13] Banker R D, Janakiraman S, Natarajan R. Analysis of trends in technical and allocative efficiency: An application to Texas public school districts [J]. European Journal of Operational Research, 2004, 154(2): 477?491.

[14] Beynon M, Curry B, Morgan P. The Dempster-Shafer theory of evidence: An alternative approach to multicriteria decision modeling [J]. Omega, 2000(28): 37?50.

[15] Lee J, Kim S. An integrated approach for interdependent information system project selection [J]. International Journal of Project Management, 2001, 19(2): 111?118.

[16] Radulescu C Z, Radulescu M. Decision analysis for the project s election problem under risk [C]// 9th IFAC/IFORS/IMACS/IFIP/ Symposium on Large Scale Systems: Theory and Applications. Bucharest, Romania: ICI Press, 2001: 243?248.

[17] Vidal L A, Marle F, Bocquet J C. Using a delphi process and the analytic hierarchy process (AHP)to evaluate the complexity of projects [J]. Expert Systems with Applications, 2011, 38(5): 5388?5405.

[18] 肖人毅. 面向過程的科研項目評價方法研究[D]. 大連:大連理工大學, 2011

[19] 潘杰義, 劉西林. 科研項目評價指標體系及模糊優選決策模型研究[J]. 科學學與科學技術管理, 2004(1): 9?1.

[20] 張守華. 層次灰色方法在科研項目評價中的應用研究[J]. 系統工程與電子技術, 2005(27/10): 1744?174.

[21] 余陽. 高校科技成果績效評價研究[D]. 武漢: 武漢理工大學, 2012.

[22] 歐立雄, 袁家軍, 王衛東. 神舟項目管理成熟度模型[J]. 杭州管理工程學報, 2005, 19(10): 129?134.

[23] 江漢臣,強茂山. 四種項目管理成熟度模型的比較研究[J]. 項目管理技術, 2013, 11(7): 17?22.

[24] 呂蔚, 王新峰, 孫智信. 基于核主成分分析的高校科技創新能力評價研究[J]. 國防科技大學學報, 2008(3): 81?85.

[25] 邱均平, 楊瑞仙, 丁敬達, 等. 世界一流大學與科研機構學科競爭力評價研究報告: 2011—2012[M]. 北京:科學出版社, 2011.

[26] Linstone H, Turoff M. The delphi method: techniques and applications [M]. London: Addison-Wesley Publ. Co., 1995.

[27] Skulmoski G J, Hartman F T, Krahn J. The Delphi method for graduate research [J]. The Journal of Information Technology Education, 2007, 6: 1?21.

[28] 普華永道. 2004中國企業績效管理實施現狀調查分析報告[R]. 北京: 中國企業績效管理競越顧問公司, 2004.

[29] Klein L. Soziale Komplexit?t im project management [C]// Wald A, Mayer T L, Wagner R, Schneider C. Komplexit?t, Dynamik, Unsicherheit. Nürnberg: GPM, Dt., 2013.

[30] Dehlin E. Fleshing out everyday innovation: Phronesis and improvisation in knowledge work [C]// Pitsis T, Simpson A, Dehlin E. Handbook of Organizational and Managerial Innovation. Cheltenham, UK: Edward Elgar Publishing, 2012.

[31] Flyvbjerg B. Phronetic planning research: Theoretical and methodological reflections [J]. Planning Theory & Practice, 2004, 5(3): 283?306.

[32] Crawford L, Morris P, Thomas J, Winter M. Practitioner development: from trained technicians to reflective practitioners [J]. International Journal of Project Management, 2006, 24(8): 722?733.

[33] Wheatley M. Maturity Matters [J]. PM Network, 2007(7): 48?53.

[34] Chen C T. Extensions of the TOPSIS for group decision making under fuzzy environment [J]. Fuzzy Sets and Systems, 2000, 114(1): 1?9.

[35] Opricovic S, Tzeng G H. Compromise solution by MCDM methods: A comparative analysis of VIKOR and TOPSIS [J]. European Journal of Operational Research, 2007, 156(2): 445?455.

[36] Lin C J, Wu W W. A causal analytical method for group decision-making under fuzzy environment [J]. Expert Systems with Applications, 2008, 34(1): 205?213.

Construction and case verification of the dynamic tracking evaluation system of research project management in China’s universities

WU Dinghui
(School of Internet of Things, Jiangnan University, Wuxi 214122, China)

Based on the project management maturity model, we take the combination method of Fuzzy Delphi and Fuzzy DEMATEL to focus on improving the project process capability and to build dynamic tracking evaluation system of research project management in universities. The study investigated 10 managers of wireless sensor network projects in A University in 2012—2013. According to the results of evaluation system, we can estimate the dynamic tracing process management in research projects of these universities. The adoption of the estimation system can ultimately enhance the efficiency of scientific project management in China’s universities.

science & research of university; project management; dynamic tracking; evaluation system

G311

A

1672-3104(2015)04?0130?08

[編輯: 蘇慧]

2015?02?11；

2015?03?26

教育部人文社會科學研究規劃基金項目(13YJAZH096)

吳定會(1970?)，男，安徽廬江人，博士，江南大學物聯網工程學院副教授，主要研究方向：科學項目管理方法，物聯網技術