以科研生產管理評估數據分析支持改進決策

◎中國運載火箭技術研究院 郝照平 李瀟瀟 王愛武 劉菊青 孫鵬

以科研生產管理評估數據分析支持改進決策

◎中國運載火箭技術研究院 郝照平 李瀟瀟 王愛武 劉菊青 孫鵬

通過對中國運載火箭技術研究院及其它2個研究院2011～2014年的科研生產評估數據（過程部分）采用參數統計方法，按總體、模塊、子要素3層對“系數得分”進行分析，對某要素總平均分、模塊平均分、關鍵子要素平均分的年度、各研究院之間差異進行統計檢驗。探討了各年度各研究院科研生產管理特征的異同，分析了運載火箭技術研究院4年間低分要素占比的差異。結合數據分析，提出了關鍵子要素按發展型、衰退型、問題型和頑固型4個類別分類及其針對性改進方法，為管理決策提供支撐。

中國運載火箭技術研究院自2009年以來全面推進科研生產管理評估工作，其中涵蓋對中國航天科技集團公司的評估準備和研究院對廠所的評估2個層面，以集團公司對研究院評估為主導帶動研究院對廠所的評估，同時后者也為前者提供較好支撐。在4年的評估工作中，展現研究院科研生產管理優勢與成績的同時，也發現了一系列問題和差距，形成了一套以當年評估結果總結帶動次年策劃改進的有效機制，從而實現了科研生產管理的實質性改進。

當代信息科學認為，隨著數據量的積累其資源屬性越加明晰，開發價值越加明顯；而社會發展要求快速反應和精細管理，急需借助對數據的分析來科學決策 。這種注重數據積累和挖掘數據價值的科學思維方式對提升科研生產管理具有重要意義。經過這些年的評估，研究院積累了比較豐富、詳實的數據和資料。由于歷年對評估的總結基本上是“斷面”式的，缺乏將歷年評估數據和資料連貫起來整體分析，一些有價值的管理信息未被察覺，跨年、跨院的差距未被客觀識別，趨勢性問題也未全面把握。因此，研究院提出以“大數據”思維對歷年的評估數據資料進行連續性分析和對比，并以科學的分析作為依據進行深入總結，有針對性地提出改進方案，從而推動研究院科研生產管理升級。

一、要素總平均分分析

年度總平均分是當年所有子要素“系數得分”的算術平均值，近似于各年度單位的綜合評分。對總平均分的分析，可以考察同一單位各年度以及不同單位之間科研生產管理總體水平的差異和變化趨勢。考慮到不同年度、不同單位之間評估要素項目可能存在差異，僅統計對比年度或對比單位相同要素的總平均分。

1．同單位各年度總平均分分析

對運載火箭技術研究院2011～2014年科研生產評估總平均分進行差異性檢驗和線性相關分析，其結果見圖1和表1。差異性檢驗采用配對樣本T檢驗，即計算2個相比較的年度各個相同子要素得分之差，再分析各子要素得分之差是否符合均數為0的正態分布，如數據顯示不符合，則認為這2個年度總體得分水平存在顯著性差異。線性相關分析可以量化評判2次評估各要素得分是否具有相同的趨勢，反映不同年度科研生產管理特征的相似程度。反映到圖形上，相關性顯著者的雷達圖形相似程度較高，如圖2所示。所謂差異或相關具有“顯著性”是統計學術語，是當相關統計模型計算出的參數（如表1中的P值）達到特定數值時給出的統計推斷，其結論較直觀，數值更為科學、審慎。

圖1 研究院2011～2014年評估總平均分及標準差

結果表明，研究院科研生產評估的總體水平自2011年后有實質性提升，2012年與2013年處于同等水平，2014年水平雖然有所降低但仍好于2011年。不過這一結論需要審慎看待，一方面，4年間子要素項目變化較大，此結論僅限于對可比項目的分析，尤其是2014年與2011年相同子要素數僅20個，同時調整了成熟度判定等級，對其可比性有較大影響；另一方面，航天科技集團逐年提高評估要求，這也是2014年研究院總體得分降低的原因。

表1 研究院2011～2014年評估總平均分差異性及相關性檢驗結果

圖2 研究院2011～2014年評估得分雷達圖

線性相關分析顯示，除2011年外各年度子要素評分具有相關性，說明研究院近3年各子要素得分具有相似趨勢，反映這3年科研生產管理整體特征比較相似。2011年相關不顯著，主要是因為評估要素變動比較多。從圖2的雷達圖中可以直觀地看出，2013年和2012年的圖形較為相似。

2．同年度不同單位總平均分分析

為分析運載火箭技術研究院與其它2個研究院間科研生產管理總體水平上的差異及其4年間的變化情況，在相同年度對研究院與甲院、乙院進行總平均分的差異性檢驗和線性相關分析，結果見圖3及表2。

結果顯示，乙院的總平均分在前2年低于研究院，而近2年與研究院已無顯著差異；而甲院的總平均分除在2013年顯著高于研究院外，歷年均與研究院無顯著差異。結果說明，4年間乙院的科研生產管理水平趕上了研究院；而研究院的科研生產管理水平與甲院雖然不分伯仲，但從未超越過甲院，而且存在被其超越的可能。3個研究院之間子要素得分的線性相關分析顯示，歷年評估中研究院與甲、乙研究院間的子要素得分均顯著相關，說明研究院與甲、乙研究院間各評估子要素得分趨勢相似，因而可以認為其科研生產管理特征具有一定共性。

圖3 2011～2014年研究院與其它研究院評估總平均分及標準差

通過分析可以看出，4年來研究院科研生產管理水平總體上獲得了實質性的提升，2012年獲得了較大的進步，此后基本穩定在這一水平。隨著航天科技集團評估要求的提高，研究院評估工作壓力也在逐年增大。雖然還不能認為總體評分出現了大幅下滑，但仍需增強防微杜漸的意識。分析還顯示，4年來航天科技集團所屬研究院間的差距在整體上正在逐步縮小，目前已經處于比較接近的水平，而且各研究院之間在科研生產管理要素整體特征上確實具有較大相似性。

二、要素模塊平均分分析

根據評估手冊中模塊的劃分，將過程部分的子要素分為科研生產任務管理、科研生產能力建設、市場開拓與立項、售后服務與支持保障4個模塊，對各研究院之間4個模塊內子要素的4年平均分和變異度進行分析，結果見圖4和表3。

要素連續年度分值的變異度可反映其發展水平（異度=標準差/均數，用百分比表示），平均分值較高或近期分值高，但連續年度分值不穩定（即變異度高）的模塊/要素尚不能認為已經成熟，只有在近一個時期平均分值較高且變異度較小的模塊/要素才可以認為已趨于成熟。

結果顯示，研究院和甲院在科研生產任務管理、科研生產能力建設2個模塊得分均高于乙院，在市場開拓與立項模塊也高于乙院，而研究院與甲、乙院之間在售后服務與支持保障模塊無顯著差異。研究院得分變異程度較大，即最不穩定的是科研生產能力建設模塊，相對穩定的是市場開拓與立項模塊。就4年平均水平而言，研究院在科研生產任務管理、科研生產能力建設、市場開拓與立項方面優于乙院，但4個模塊對甲院均無優勢。表明研究院科研生產能力建設仍處于發展變動的階段，而市場開拓與立項已趨于成熟。

通過分析可以看出，研究院雖然在4個模塊的保持和趕超方面取得了一些成績，但對其它單位并未形成整體性優勢。而且從發展的速度來看，某些單位進步較快，研究院的優勢已不再明顯。此外，研究院在科研生產管理的4個方面發展并不平衡，除市場開拓與立項方面優勢明顯外，其它方面還需要加強。

表2 2011～2014年研究院與其它研究院評估總平均分差異性及相關性檢驗結果

圖4 各研究院四大類評估子要素平均分平衡計分卡圖

三、關鍵子要素分析

1．關鍵子要素的分類

在管理實踐中，運載火箭技術研究院將評估得分曾低于0.9的要素視為關鍵子要素。為有針對性地對這些子要素實施管理，根據其近年平均分、分值穩性并結合變化趨勢將其分為4類。

第一類為發展型子要素，其特征是平均分較高、變異度較大、呈上升趨勢。這類要素雖然不斷提升進步，但還未穩定到一定的水平，因此尚不能認為其完全成熟，工作中還需進一步鞏固提高。

第二類為衰退型子要素，其特征是平均分較高或中等、變異度較大、呈下降趨勢。這類要素連年評分一直滑坡，其變異度越大，說明衰退問題越嚴重。

第三類為問題型子要素，其特征是平均分較低或中等、變異度大、無明確趨勢。這類要素評估表現不穩定，通常是“抓一抓有起色，放一放出問題”。

第四類為頑固型子要素，其特征是平均分較低、變異度較小、無明確趨勢。這類要素評估中長期表現不良，反映科研管理中存在頑固性問題，但也不排除某些要素不甚符合被評單位管理實際。

使用上述分類半對研究院4年間子要素進行分類診斷，為相關要素改進方案的制定尋找依據。表4列出了研究院若干具有一定分類特征的子要素。需要指出的是，研究院關鍵子要素評估表現基本良好，故多數只表現為有某種特征的傾向，特別典型者暫不多見。

總之，子要素成熟與否不能僅憑個別年份得分，應經過若干連續年度評估且具備平均分較高、變異度較小、呈上升或穩定狀態等特征，方可認為達到較成熟水平。一些曾表現不良的子要素必須經過整改，穩步提升并趨于穩定后，方可認為達到成熟。

2．關鍵子要素的計數統計

經計數統計，2011～2014年研究院曾低于0.9分的子要素共有14項，甲院和乙院分別為14項和16項，如圖5所示。其中，研究院重復4次低于0.9分的子要素為1項——新產品開發及產品更新換代管理；重復3次低于0.9分的為1項；重復2次低于0.9分的為4項；僅1次低于0.9分的為8項。

表3 各研究院四大類評估子要素平均分差異性檢驗結果

表4 研究院典型關鍵子要素示例

3．低分子要素占比分析

計算歷年低于0.9分的子要素占當年全部子要素數的比例，要考慮到歷年評估要素數量有一定變動。研究院此類要素占比最高的年份是2011年，達34.78%；占比最低的年份是2012年，為10.34%，見圖6和表5。

采用卡方檢驗分析研究院各年度低于0.9分的子要素占比差異。結果顯示，2012年和2013年的占比較2011年顯著下降，說明相關子要素的整改有實質性進展。2014年占比數值雖有所上升，達22.86%，但統計檢驗顯示與2012年和2013年占比并無顯著性差異，說明低分要素占比仍在同等水平。

在相同年度對研究院和甲、乙院低分要素占比進行卡方檢驗，研究院低分要素占比與甲院和乙院均無顯著性差異。結果說明，雖然直觀的數值上研究院低分要素占比低于乙院并高于甲院，但還不能認為與這2個單位拉開了實質性差距。

圖5 各研究院2011～2014年評估低于0．9分的子要素復現情況

4．低分子要素平均分差異性分析

經計算得到研究院14項低分子要素的平均分及標準差，如圖7所示。其中4年平均分低于0.9的子要素有11項。將這些子要素的4年平均分與甲、乙院相同子要素4年平均分進行統計學差異性檢驗，研究院的產品重大問題/重大短線/共性問題的識別分析與處理高于乙院，其余子要素與甲、乙院均無顯著差異。結果說明，若從4年整體觀察，研究院的低分子要素與其它研究院有很大共性。

根據上述分類方半對研究院14個關鍵子要素作出分類，偏向于發展型的子要素3個，偏向于衰退型的子要素1個，偏向于頑固型的子要素3個，偏向于問題型的子要素6個，評估周期過短不便分類的子要素1個。其中個別子要素具有混雜特征，介于問題型與頑固型、頑固型與衰退型之間。

5．統計結果討論

可以看出，雖然研究院部分子要素在向健康方向發展，但多在產品工程建設中新老問題相互交織，不同要素相互影響。

圖6 各研究院2011～2014年評估低于0．9分的子要素的當年占比

表5 各研究院2011～2014年評估低于0．9分的子要素的數量及占比

6．以評估數據支持改進決策

研究院結合歷年航天科技集團的反饋意見將統計分析結果進行深入探討，明晰了自身的發展水平和趨勢，進一步了解了相對其它單位的優勢與劣勢，理清科研生產管理問題的特征和脈絡。在宏觀層面，將有關調控內容融數低分子要素仍表現為遷延反復的問題型或改進阻力較大的頑固型，對相關管理提出較大挑戰。科研生產管理問題主要體現在能力建設方面，相關要素占全部問題的85%；科研生產任務管理也是問題的重要方面，相關要素占全部問題的14%，表明研究院科研生產管理的主要矛盾在于能力建設。非常值得注意的是，產品工程建設中的關鍵子要素絕大部分呈現“問題型”特征，說明入未來規劃，發揚優勢提升能力；在微觀層面，結合研究院科研生產管理問題的分類，根據各類要素的特征有針對性地逐條制定改進措施和實施方案。

圖7 研究院2011～2014年評估低于0．9分的子要素的平均分及標準差

例如，通過分析發現，盡管各子要素是分別評分再線性相加，但各類子要素間往往具有內在關聯性，具有“牽一發動全身”的聯動效應。第一個子要素背后的管理領域出現問題，都可能對相關管理領域造成影響，反過來再影響其它子要素的評分。尤其對于產品工程建設中的子要素，這種特征更加明顯，所以其問題也往往表現為“扎堆”的現象。針對這些問題，在管理決策中要做好持續艱苦攻關的思想準備，不能急于求成，應本著緊跟航天科技集團的思路創新開擴思維、系統規劃部署、逐項推進解決的原則推進產品工程建設管理的改進。

另外，對分析中呈現“衰退型”特征的要素，應認識到相關管理工作出現了滑坡或跟不上航天科技集團的新要求。因此，必須給予足夠的重視，在管理決策中及時采取措施，憑借相關管理工作有較好的基礎，可以迅速彌補促其趕上，如果久拖不決，則可能形成更大的問題而難于治理。

航天科研生產管理評估以現代管理理論為指導，以系統分析量化研究為特征，是一項重大的企業管理綜合評估活動，具有重要的理論和實踐價值。歷年來為推動航天科研生產管理評估，集團公司、研究院、廠所3級均投入了眾多精力和資源，在這個過程中生成了大量詳實、寶貴的數據。這些數據與研究院、廠所/型號的科研生產活動密切相關，比較客觀地反映了歷年各級科研生產活動的要素特征，具有良好的數據質量和優質豐富的信息載荷，是一筆寶貴的管理信息資源，非常有必要加以充分利用。通過對其深入分析可以發現科研生產管理的關鍵因素和問題，掌握管理過程的狀態和趨勢，把握其中的特點和規律，確證其中重要的結論和問題，進而作出預測、給出建議。

數據資源的價值與其積累的深度和廣度呈指數關系。評估數據分析如果僅限于當年、鄰年或局限于小范圍，則不足以說明大問題、把握大趨勢、獲取大發現，也不足以得出嚴謹的結論、作出準確的預測。只有盡可能全面、完整地將歷年各單位的評估數據匯集起來，采用專業的統計方半加以分析，運用科學的理論進行闡釋，才能為科研生產管理提供切實有效的決策信息。因此，要使數據分析發揮對科研生產管理的決策支持作用，必須首先建立一整套相關數據收集、整理、儲存、利用的制度，形成一套可持續運行的機制。?