■鐘世橋
?
軍工基建投資項目財政資金績效評價研究
■鐘世橋

軍工基建投資項目(本文中主要以研發平臺項目為研究對象)是推動武器裝備研發、設計能力向體系化方向發展,建設先進國防工業的重要途徑,是體現一個國家國防工業水平的重要方面,也是一國財政資金在國防工業投資的重點領域。近十年來,隨著一批軍工基建投資項目的陸續建成,項目運營管理的重要性凸顯,其建設目標是否實現,國家財政資金投資是否有效,績效評價工作已顯得變尤其重要。結合我國國防工業的改革和轉型發展趨勢,可以預見,開展投資項目績效評價,科學評估國家財政資金的投資效益,有效指導后續投資,將成為國防工業投資與管理部門的一項十分重要且必須持續推進的重點工作。
(一)軍工基建投資項目財政資金績效評價工作的必要性
按照當前我國軍工能力建設投資的管理方式,國家專項撥付的軍工基建投資項目資金,是當前軍工科研院所實施研發能力提升和完善的主要資金渠道。從投資管理方面角度,國防科技工業主管部門結合建設投資規模和強度快速增大的實際需要,在項目申報指導、審核、項目實施監督、項目竣工驗收等前端環節進行嚴格規范管理,不斷完善制度流程,積累工作經驗,取得了顯著效果。同時,主管部門還在一定范圍內開展了投資項目的后評價工作實踐,在項目建成運行階段探索對項目投資決策到運營績效全過程的評價方式方法,取得了一定效果;但也遇到一些問題,特別是關于后評價內容的定位,對決策和建設環節關注較多,開展范圍和實施效果不夠理想。投資管理未形成有效閉環管理,尚缺少對項目建成運行后績效表現的有效評價機制和評價方法。
從提升投資管理精細化水平和持續改進制度流程的角度,當前財政資金的使用管理還比較粗放。后評價工作涉及到績效評價的內容,但仍顯不足,對資金投入的效果和效率沒有進行更為深入和精細的分析和認識。長遠看,投資績效評價工作的相對滯后,既不利于客觀認識具體項目投資效果,發現問題、積累經驗;也不利于后續工作的持續改進。
由此可見,建立一套完整有效的國防工業建設項目投資績效評價體系既符合當前工作的需要,也符合國防建設深入發展的客觀規律,已經成為當前國防工業能力建設主管部門需要考慮和研究的一項重要工作。
(二)軍工基建投資項目財政資金績效評價的相關政策依據
2011年,財政部制定出臺了《財政支出績效評價管理暫行辦法》及配套的評價指標體系參考,提出了財政資金支出項目績效評價的頂層指導,也成為軍工基建投資項目開展績效評價方法工具設計和具體實施的頂層指導。
該辦法規定,績效評價的基本內容包括五個方面:一是績效目標的設定情況;二是資金投入和使用情況;三是為實現預先設定的績效目標,而制定制度、采取措施情況等;四是績效目標的實現程度及效果;五是績效評價的其他內容。
在績效指標體系和評價方法方面,該辦法提出了共性指標和個性指標共同構成指標體系,在評價方法上根據領域特點,采用成本效益分析法、比較法、因素分析法、最低成本法、公眾評判法等不同方法。
總體看,財政部制定績效評價辦法強調三個方面,一是基于績效目標的閉環管理,包括績效目標的設計、執行和評價、改善等;二是評價方法應當實用有效;三是評價精細量化,定性與定量相結合。
(三)軍工基建投資項目財政資金績效評價研究的目標
按照財政部門和國防科技工業主管部門的相關要求,結合當前各軍工領域軍工基建投資項目績效評價工作的現狀,本文認為,軍工基建投資項目財政資金績效評價的主要研究工作應分三個方面進行:
一是研究提出軍工基建投資項目財政資金投資績效評價的指標體系;二是研究制定與指標體系配套的績效評價方法和流程;三是開展先期試點和經驗總結,待時機成熟后推廣應用。
(一)美國聯邦預算資金投資國防科研機構能力建設評價
對于政府投資資金的績效評價,是一個比較復雜和困難的問題,美歐等軍工強國進行了長期探索與實踐。其中,美國政府聯邦預算資金投資國防科研機構能力建設的評價機制具有一定的代表性,可供參考和借鑒。
1.美國聯邦資助的國防領域研發中心運行體制。
經過數十年的發展,美國建立了由政府科研機構、企業、大學、非盈利研究機構組成的“官、產、學”互補式的國防科研體系,為國防科技和軍事裝備發展奠定了堅實的基礎。其中,美國聯邦政府每年都會撥付預算資金支持為政府機構開展國防領域研究工作的科研機構,這些機構被稱為“聯邦資助的研發中心”(Federally Funded Research & Development Centers,FFRDC)。
FFRDC一般由美國聯邦政府部門出資,開展一些通常不能由政府直屬研究機構或承包商能夠有效完成的長期研發工作。FFRDC的特殊之處體現在,雖然絕大部分經費來自政府,但政府不會直接行使行政管理權,而是以合同形式交由大學、企業或非贏利機構來管理,在性質上屬于公共機構,類似我國所謂企業代管的科研事業單位。FFRDC主要集中在國防、能源和醫療領域,發揮了非常重要的作用。例如,著名的洛斯阿拉莫斯、林肯等國家實驗室都是以FFRDC形式運行的。
美國從事國防領域研究與開發的機構包括政府的實驗室、研究中心、公司研究部門以及大學等,形成了研究實力強大的國防科研體系。這些研究機構除了申請政府研究項目資金外,還會獲得美國國防部的財政預算支持用于機構整體研究能力提升和運行。
這些研究機構通過與國防部簽訂資金資助協議,明確為政府提供研究與開發活動的具體服務內容,獲得政府預算資金支持。同時,這些研究結構,無論是政府所有,還是企業或大學所有,都統一納入聯邦資金資助研究與開發中心(FFRDC)的類別,接受美國國防部的相關監督管理。
2.美國聯邦資助的國防工業領域研發中心績效評價方法。
具體監管中,FFRDC的研究能力和績效表現評價是一項重要工作。國防部按照美國《聯邦采辦規定》(FAR)的要求,對FFRDC的績效表現進行三類評價:五年一度的綜合評價、每年度的年度表現評價和日常監督評價。從短期到中期的維度,評價研究機構績效表現為國防部制定更為合理的投資撥款策略提供參考依據,提升這些機構的整體研究能力,也為裁撤一些冗余資源提供參考依據,確保有限的資金發揮最大功效。
其中五年一度的綜合評價(Comprehensive Review)是對FFRDC滿足政府研究需求能力的綜合性分析,幫助國防部決策是否持續對具體FFRDC的資金支持關鍵性參考。綜合評價主要包括五個方面:
第一,提供關于FFRDC能夠滿足國防部具體資助部門特定技術需求和任務需要的檢查,以決策該研究機構是否需要進行資助或給予哪種類型的資助。評價具體包括該FFRDC承擔或參與的特定項目計劃和具體任務的類型和研究工作的水平、難度等。
第二,考察有無替代研究資源,詳細列出FFRDC完成研究任務所開展的特定研究、系統開發活動及所需的技術和研究能力。解釋說明為什么國防部無法在部門內部、盈利或非盈利合同商、大學以及其他FFRDC找到完成這些研究項目和計劃所需的研究開發能力。列出可能完成該研究項目和計劃的備選FFRDC,并明確這些項目和計劃招標采辦選擇FFRDC的標準。
第三,提供一個詳細的關于FFRDC滿足國防部具體部門需求的績效表現評估,包括FFRDC保持客觀性的能力、保持獨立研究的能力、快速響應需求的能力、專業領域的技術能力水平以及對國防部用戶部門需求的熟悉程度。評估包括對FFRDC五年來滿足用戶需求的研究成果和研究表現的專題報告;包括但不限于研究工作的質量和進度情況,完成研究項目和計劃的數量和研究經費總額;產品用戶對研究工作表現的評價。同時,FFRDC的年度表現評價也作為重要依據。評價工作將涉及受評FFRDC的所有主要產品用戶。這些產品用戶都會參與到綜合評價之中,出具各自意見。評價過程中將討論所有產品用戶提出的批評和關注事項,并研究解決措施。
第四,開展FFRDC管理水平的評估,確保高性價比運行。中心管理也是評價關注的重點方面,將主要討論會計和采購系統;管理成本和費用;檢驗裝備設計、研制是否按高性價比要求進行(如國防部的價值工程條款要求);其他需要關注的管理問題。
第五,確定FFRDC的建設是否滿足用戶需要,FFRDC與國防部簽署的協議是否符合FAR的規定和國防部管理計劃。該協議應當包括但不限于以下方面:授權資金額度、政府提供的設施和設備、剩余資產和債務的清算處理、維持特定的現金儲備等。
(二)我國軍工基建投資項目投資評價的相關實踐
1.國防科技工業投資項目的后評價機制。
作為我國國防工業的主管部門,原國防科工委在國防工業投資項目后評價方面進行了探索實踐,針對部分投資項目的后評價進行了研究和實踐,取得了一定的效果。2005年12月,出臺了《國防科技工業固定資產投項目后評價管理辦法(試行)》,對軍工項目后評價的定義、內容、程序、方法、指標及報告編制方式進行了比較詳細的規定。
但是,由于軍工領域投資項目的復雜特性,這些后評價工作仍面臨從實施條件、方式方法、資源配套、機制保障等方面的一些困難,特別是項目決策、建設階段考察較多,從而與項目決策審查和竣工驗收審查工作重疊,但項目績效的考察力度卻又不夠,導致各部門對評價結果的意見不統一,評價情況反饋與后續工作難以緊密銜接等問題。而這當中一個關鍵性因素就是對項目運營績效的關注度和有效評定方法,其已經成為后續持續改進工作的重要基礎和前提,是一個迫切需要考慮和研究的重點課題。
2.軍工企業和高校的研究探索。
我國軍工企業的固定資產投資管理部門、相關高校學者也開展了針對軍工投資項目績效評價的研究工作,已經取得了不少研究成果。具體到武器裝備研發投資領域,企業和高校的主要研究精力放在對技術領域和項目的投資和管理,關注科研項目投資后的成果回報和績效表現;針對武器裝備研發的基礎能力建設,特別是投資的績效評價,國內相關高校、企業開展的研究工作還比較有限。
一些高校和科研機構進行了先期研究,如北京航空航天大學提出的航空發動機研發能力建設項目后評價指標體系研究等,明確提出了關于項目建成運營后績效評價工作的重要性,從學術和專業的角度開展了相關研究工作。但此類績效評價的研究工作總體上還處于探索階段,工程實踐的需求帶動作用不強,距離國防工業建設主管部門開展投資績效評價工作還有不小差距。
總體看,關于軍工基建投資項目投資績效評價尚處于研究階段。如何實施有效評價,是一項復雜工作,不僅是評價指標和方法的設計,也包括相關政策制度、實施標準、工作機制、人員隊伍以及配套條件保障等方面。
3.軍工基建投資項目投資績效評價面臨的問題。
結合我國國防工業管理、實施部門和相關機構的研究與實踐情況,本文認為,當前開展軍工基建投資項目投資績效評價面臨的挑戰集中在以下方面:
一是績效考核目標不清。長期以來,各單位申報研發平臺建設項目時,重點關注項目建設內容、可行性、投資額度、實施方案,對項目建成后的績效目標設定和表述普遍比較宏觀,不夠清晰、明確、量化,導致難以在項目建成運行后針對申報時提出的績效目標進行評價。
二是比較參考體系尚未建立。對具體研發平臺投資項目而言,當前普遍缺少可參考的數據和標桿。各研發平臺投資項目橫向比較時,各類裝備研究特點和需求存在很大差別,績效水平難以判斷;單獨研發平臺投資項目縱向比較時,又缺少標準和標桿,無法明確績效表現的優劣標準。
三是各研發平臺專業強、差別大。我國軍工基建投資項目涉及專業技術領域眾多,以專業技術角度對平臺績效進行評價,將難以建立具有通用性的評價標準和方法,且績效評價工作的需要投入的人力、物力和時間將非常巨大。同時,很多平臺投資項目,是在已有基礎上的提升,改擴建或轉型,建設階段、建設內容差別很大,建設前平臺績效情況尚無數據,建設后平臺績效表現更是難以衡量。
依據財政部門、國防科技工業主管部門的相關管理規定和評價方法參考框架,針對國防建設對武器裝備研發供給能力需求和當前研發能力投資績效評價面臨的問題和挑戰,本文研究提出了軍工基建投資項目財政資金績效評價的方法框架設想。
(一)指導思想
鑒于軍工基建投資項目投資績效評價的復雜性,依據財政部財政資金支出管理的規定要求,借鑒美國國防部關于研發機構績效評價的思路和做法,結合我國裝備產品用戶部門對研制保障能力的需求導向,確立以突出效果、強化管理、優化資源、持續發展為核心的設計思想,充分發揮產品用戶和研發平臺工作人員的關鍵性作用,建立評價指標體系、計算方法、實施流程和管理規范,逐步形成國防科研基礎平臺建設項目評價的基本框架,為財政資金投資提高效率和效益提供基礎研究和決策支持。
(二)基本原則
按照軍工基建投資項目財政資金績效評價的指導思想,評價指標體系的構建運行要堅持“注重用戶、突出效果、強化管理、合理可行”的基本原則,具體為:
注重用戶,堅持需求牽引建設。將武器裝備研發項目的產品用戶意見和滿意度作為評價平臺績效的重要參考和依據,既體現國防建設資金圍繞武器裝備發展需求的基本宗旨,也拓展研發平臺運行績效評價的有效途徑。
突出效果,堅持用事實說話。將研發平臺承擔的項目規模、規格、技術難度和重要性作為評價的重要標準,充分考察平臺圍繞武器裝備研制的供給保障能力;并在強調用戶滿意度的同時,充分考慮研發平臺工作人員對平臺績效的評價,把一線隊伍的意見和建議體現到評價體系之中。
強化管理,堅持向管理要效益。強化平臺管理方面的指標設計,在軟硬件評價的基礎上,綜合考察平臺在計劃、進度、質量、風險、成本、設備設施以及人員等方面的管理措施和成效,梳理科學規范管理的發展導向,引導研發平臺在完成項目研制任務的同時,持續提升管理素質水平。
合理可行,堅持實用和持續改進。研發平臺指標設計要科學合理,注重可行性、時效性和經濟性,盡量減少對平臺正常研發工作的打擾和沖擊,降低評價工作的成本,力求簡單、有效。根據實踐應用效果和意見反饋,不斷改進完善評價指標體系和方法,保持與研發平臺建設和運行績效評價需求的相互協調。
(三)適用范圍
本績效評價辦法主要用于國家對所投資的軍工基建投資項目運行績效水平的考察評價。滿足以下全部條件的投資建設項目應當開展績效評價;不滿足以下條件的,根據工作需要可參照。
條件1:財政資金占項目總投資比例超過××%,且財政資金總額超過××萬元。這主要是考慮到評價的經濟性。
條件2:項目通過竣工驗收,且運行滿1年,但不超過5年。這主要是平臺建設時效性強:平臺投資建設中通常包含大量試驗、仿真、測試的軟件、硬件,這些設施設備使用的時效性比較強,往往隨著某一具體研發項目的完成,而落后甚至淘汰。例如相關軟件升級和換代,測試方法和要求變革導致相關測試設備的淘汰等。
(四)推進計劃
本文認為,軍工基建投資項目財政資金績效評價研究要通過1~2年的設計和先期試點,完善方法、積累經驗,為后續穩步推進投資績效評價工作奠定基礎,推動國防工業建設投資效率、效果持續提升。建議:
第一階段,完成軍工基建投資項目財政資金績效評價的基本框架、指標體系和評分方式設計工作。
第二階段,征求相關管理部門、項目申報部門和重點研發平臺運行部門的意見,對績效評價方法進行修改完善;初步選定2~3家研發平臺,開展績效評價試點,并進行評價辦法和要求的宣貫。
第三階段,完成研發平臺績效評價試點,對評價方法的適用性和有效性進行評價,對研發平臺績效水平進行摸底,完成績效評價方法的修改和完善,完成試點平臺績效評價的經驗總結。
第四階段,完善績效評價方法基礎上,制定管理辦法,根據工作需求,選擇合適時機,逐步推動績效評價工作展開,形成常態機制,并持續完善和改進。
(五)指標體系
軍工基建投資項目績效評價指標體系的整體架構設計要充分遵照指導思想和基本原則,具體指標的選取從參與程度、領域覆蓋、權重分布、實施難度等方面進行綜合考慮。借鑒前述國內外的相關做法和經驗,本文設計指標體系時認為:按項目建設運營階段,整個評價體系要分為項目決策、項目管理、項目績效三大類指標,具體細分為9項二級指標、27項三級指標和41項四級指標;按評價實施主體,評價指標主要分為專家打分、產品用戶打分和研發平臺工作人員打分。專家打分指標主要考察研發平臺的管理水平和效果,注重規范性和合規性;產品用戶打分指標主要考察研發平臺的運行績效,研制項目的水平、規模、成果產出;研發平臺工作人員打分指標主要考察平臺軟硬件與人員的結合程度,管理是否到位,人員工作積極性和效率等。
1.一級指標選取。
一級指標3項,覆蓋項目投資決策、項目管理和項目運行績效三個主要方面,以便覆蓋投資項目從決策到運行的基本過程,也符合財政部關于財政支出績效評價的覆蓋全過程的基本要求。
項目投資決策,占總分值的4%,主要是為了考察項目建設申報單位在項目研究論證階段的工作是否充分和規范,是否結合了研制任務的需要和技術發展趨勢判斷,是否按照客觀、科學、規范的流程進行決策后啟動申報工作。以引導項目建設申報單位在后續建設項目申報前更好、更扎實的開展項目前期研究和論證工作,經得起實踐和時間檢驗。
項目管理,占總分值的26%,主要是為了考察項目建設和運營管理的科學性、有效性和規范性,突出以管理要效益的理念,引導研發平臺在管理理論研究、探索、創新和實踐方面下工夫,充分認識和發揮綜合管理對保障促進裝備研制工作的關鍵性作用。
項目績效,占總分值的70%,主要是為了考察項目運營階段的績效表現。鑒于武器裝備研制領域的特殊性,指標設計將圍繞兩個重點開展設計,一是以事實為重點,主要考察平臺承研項目的數量、規模和水平;二是以用戶為重點,主要考察產品用戶對平臺運行績效表現的判斷和滿意度;同時,也繼承專家組評估成熟經驗,積極爭取合理、實用、可行的設計目標。
2.二級指標選取。
二級指標9項,一級指標的基礎上進行細分,設計思路是突出影響績效的重點領域,強調績效目標的管理閉環、平臺建設運行管理、綜合績效表現等,同時也將用戶滿意度和研發平臺工作人員意見納入體系之中。

表1二級指標體系的解釋說明
3.三級指標選取。
三級指標共27項,在二級指標基礎上,明確重點考察事項。
項目決策方面,主要強調申報單位是否進行充分調研和科學決策,并引導申報單位高度重視項目績效目標的研究和論證。
項目管理方面,結合財政部要求和科工局實際管理和審查發現的主要問題,對建設進程中的資金使用和建設內容變更、進度拖延的問題,選取建設管理階段的考察指標。在研發平臺運行管理階段,綜合考察包括計劃、質量、進度、成本、風險等方面的管理水平。
項目運行階段,基于武器裝備研發以國防需求為核心的特殊性,突出研發平臺產出方面的績效考察,適度兼顧平臺經濟、社會和環境效益,強調裝備產品用戶、科研工作人員對平臺運行效率、效益和存在的問題最具發言權,針對性設計考察指標。

表2三級指標體系的解釋說明
4.四級指標選取。
四級指標共41項,依據三級指標項和考察意圖,進行指標細化分解,對應形成考察得分點,與打分標準相互匹配對應,是評價工作中最小運行單元,詳見附錄。
(六)分值權重
該績效評價體系的分值權重設計,按照設計原則,參考財政部要求和國防軍工實踐工作中發現的問題,以績效評價為核心,在參考財政部指標分值分配基礎上,重點突出運營績效評價,進行分值權重設計,詳見表3、表4。
一級指標權重分布與財政部推薦參考值大體比例相當,突出抓平臺管理水平提升,抓實際運行效果提升。

表3軍工基建投資項目績效評價指標體系與財政部推薦參考對比
從二級指標到四級指標,層層分解分值權重,從定性、定量指標比例,用戶、研究人員、專家組負責分值比例看,現有指標體系分值設計體現了定量定性相結合,注重用戶,注重實用,合理可行的設計原則和理念。

表4軍工基建投資項目績效評價指標體系分值權重分布
(七)評分標準
從實施考察評價的主體角度考慮,本績效評價方法設計了包括四類分值的評分標準。
1.專家組評分標準。專家組分值占評價總分的58%,其中包括定量分值、定性分值兩類。對于定量計算,按照受評單位提供的材料和數據,需要制定《專家組評分標準手冊》。
2.產品用戶評分標準。產品用戶分值占評價總分的37%,包括研發平臺項目質量、進度和成本控制三大方面的感受和滿意度考察以及其他方面問題和建議。為更好指導各類用戶充分理解該績效評價辦法,按統一規范評價標準和尺度開展績效評價工作。具體需要制定《產品用戶調研問卷》。
3.研發平臺工作人員評分標準。研發平臺工作人員分值占整個評價體系總分的5%,通過調研問卷的方式,指導研究人員對平臺運行情況、績效水平進行直觀打分。具體需要制定《研發平臺工作人員調研問卷》。
(八)計分方式
按照績效評價體系和評分標準,專家組、產品用戶和研發平臺工作人員各自開展所負責領域的考察評價。
1.專家組計分方式。根據管理、技術等領域分工,專家組成員各自打分記為E1...En,如每位專家打分Ex滿足Ex/所負責分值滿分≥0.8,則直接確認為有效分值;如果不滿足上述條件,則具體打分專家給出書面意見,詳細說明扣分項,如果依據合理充分,則確認為有效分值,反之需要評審專家組組長進行復議。最終專家組考核總分E=(E1+E2...+En)/n。
2.產品用戶部門計分方式。根據《產品用戶部門調研問卷》的打分結果,計算平均分值U作為產品用戶部門打分總分。各用戶部門的打分結果U1…Un中,如果出現偏離平均分值U超過20%(含),即‖Ux-U‖/U≥0.2,則需要重點跟進,專家組需要與具體產品用戶部門進行訪談。
3.研發平臺工作人員計分方式。根據《研發平臺工作人員調研問卷》的打分結果,計算平均分值R作為研發平臺工作人員打分總分。對于調研問卷中提及的問題和關注事項應記錄并反饋至受評研發平臺和所屬單位,跟蹤解決情況,作為未來評價依據。
(一)盡快開展先期模擬和試點運行
軍工基建投資項目的績效評價是復雜問題,很多方面和具體問題需要在實踐中發現和改進,僅憑研究難以避免百密一疏。建議主管部門確認本項工作方向和思路正確的情況下,積極為研究部門創造條件開展先期實踐。穩妥起見,可先選擇單位開展研發平臺投資績效模擬評價,檢驗評價方法和體系并不斷改進。在此基礎上,開展試點運行。
(二)加強工作資源和經費保障
隨著研究工作的深入、宣貫,特別是模擬運行啟動后,相關資源投入必不可少,需要主管部門給予有力支持,確保資源保障供給與研究實踐工作的推進相匹配。
(三)積極籌備專家組
專家組承擔著績效評價的重要工作,在專家組人員的選擇、聘用、管理和考核評價等方面應建立具體機制,確保專家組人員水平和工作成效;也應適時開展首批專家的推薦遴選工作。
(四)探索績效評價與現有工作的掛鉤機制
績效評價結果是財政資金投資武器研發平臺建設,運行取得的效果和成績的認定,不僅反映財政資金投資效果和收益,指導未來投資方向和重點領域,也可以探索與現有工作的有效銜接。例如評價結果優異的單位在未來項目申報和審查中是否可以簡化;反之則加強管理,建立信譽清單等,開展優秀平臺經驗示范推廣等。
(作者單位:國防科工局軍工項目審核中心)
