軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估方法研究

李國(guó)強(qiáng)，徐 啟，李 立，于亞笛

（1.北京跟蹤與通信技術(shù)研究所，北京 100094；2.中國(guó)航空綜合技術(shù)研究所，北京 100028；3.北京空間科技信息研究所，北京 100094；4.國(guó)家市場(chǎng)監(jiān)督管理總局國(guó)家標(biāo)準(zhǔn)技術(shù)審評(píng)中心，北京 100026）

0 引言

標(biāo)準(zhǔn)化工作評(píng)估是依據(jù)某種評(píng)價(jià)準(zhǔn)則，應(yīng)用某種技術(shù)或手段，按照一定的程序，對(duì)標(biāo)準(zhǔn)化工作過(guò)程與結(jié)果的有效性進(jìn)行測(cè)量和判斷的過(guò)程，是對(duì)標(biāo)準(zhǔn)化工作實(shí)施閉環(huán)管理和持續(xù)優(yōu)化的一個(gè)重要手段。軍工行業(yè)標(biāo)準(zhǔn)化工作是我國(guó)軍工行業(yè)和裝備制造領(lǐng)域的重要技術(shù)基礎(chǔ)，對(duì)軍工行業(yè)相關(guān)部門、單位組織開展標(biāo)準(zhǔn)化工作的情況進(jìn)行評(píng)估是衡量標(biāo)準(zhǔn)化工作完成質(zhì)量、分析標(biāo)準(zhǔn)化工作體系是否運(yùn)行有效、形成“以評(píng)促改”的評(píng)估改進(jìn)機(jī)制，調(diào)動(dòng)各級(jí)各類人員參與標(biāo)準(zhǔn)化工作的積極性和主動(dòng)性的重要抓手。

1 國(guó)內(nèi)外相關(guān)評(píng)估方法分析

目前未檢索到關(guān)于標(biāo)準(zhǔn)化工作評(píng)估理論和方法的專門資料，盡管在文獻(xiàn)[1]中提出了可從軍事效果、經(jīng)濟(jì)效果和技術(shù)效果等三個(gè)方面評(píng)估軍用標(biāo)準(zhǔn)化工作效果的設(shè)想，并將標(biāo)準(zhǔn)化系數(shù)作為實(shí)施評(píng)估的指標(biāo)，但這種方法更適用于對(duì)某類裝備自身標(biāo)準(zhǔn)化程度的評(píng)估，無(wú)法體現(xiàn)組織/單位的標(biāo)準(zhǔn)化工作質(zhì)量與水平。

國(guó)際上也缺乏針對(duì)標(biāo)準(zhǔn)化工作評(píng)估開展的專門研究，可資參照的類似評(píng)估工作主要集中在質(zhì)量領(lǐng)域，如美國(guó)波多里奇國(guó)家質(zhì)量獎(jiǎng)、歐洲質(zhì)量管理基金會(huì)卓越獎(jiǎng)、日本戴明質(zhì)量獎(jiǎng)等。在我國(guó)，發(fā)布了國(guó)家標(biāo)準(zhǔn)GB/T 19273－2017《企業(yè)標(biāo)準(zhǔn)化工作 評(píng)價(jià)與改進(jìn)》，規(guī)定了企業(yè)標(biāo)準(zhǔn)化工作評(píng)價(jià)與改進(jìn)的原則與依據(jù)、基本要求、策劃、實(shí)施、結(jié)果與管理、改進(jìn)等要求[2]。通過(guò)對(duì)以上國(guó)內(nèi)外相關(guān)評(píng)估理論與方法進(jìn)行綜合分析，可得到以下結(jié)論作為軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估方法研究的借鑒：

1）通過(guò)建立評(píng)估模型以表征各評(píng)估要素間的邏輯關(guān)系，有助于理解評(píng)估要素和評(píng)估指標(biāo)的關(guān)系與內(nèi)涵；

2）評(píng)估要素的設(shè)置需與評(píng)估需求（目的）、評(píng)估對(duì)象等相適應(yīng)；

3）定量與定性評(píng)估相結(jié)合的方式可提升評(píng)估工作的客觀公正性；

4）評(píng)估組織體系中各類角色的具體分工不同，但基本可分為決策機(jī)構(gòu)、執(zhí)行機(jī)構(gòu)、專家顧問(wèn)團(tuán)隊(duì)、被評(píng)對(duì)象等；

5）采用“自評(píng)+評(píng)估團(tuán)隊(duì)評(píng)估”的評(píng)估程序，確保評(píng)估的全面性、公正性。

2 評(píng)估要素體系設(shè)計(jì)

2.1 設(shè)計(jì)思路

隨著我國(guó)科技的迅猛發(fā)展，軍工型號(hào)研制模式發(fā)生了巨大變化，各部門、各單位圍繞技術(shù)進(jìn)步、產(chǎn)品研制與保障，不同程度地開展了相應(yīng)專業(yè)技術(shù)領(lǐng)域標(biāo)準(zhǔn)體系建設(shè)、標(biāo)準(zhǔn)化工作隊(duì)伍建設(shè)、各級(jí)各類標(biāo)準(zhǔn)編制與實(shí)施應(yīng)用等標(biāo)準(zhǔn)化工作。其對(duì)標(biāo)準(zhǔn)化工作評(píng)估的需求主要體現(xiàn)在以下幾個(gè)方面：

1）通過(guò)評(píng)估，加強(qiáng)標(biāo)準(zhǔn)化意識(shí)，幫助建立（提升）對(duì)標(biāo)準(zhǔn)化工作的認(rèn)識(shí)，為提高標(biāo)準(zhǔn)化工作的規(guī)范性奠定基礎(chǔ)；

2）通過(guò)評(píng)估，查找標(biāo)準(zhǔn)化工作機(jī)制存在的不足，提出針對(duì)性的改進(jìn)要求并實(shí)施整改，保證工作目標(biāo)實(shí)現(xiàn)過(guò)程的正確性，逐漸形成“以評(píng)促改”的評(píng)估改進(jìn)機(jī)制；

3）通過(guò)評(píng)估，為樹立標(biāo)準(zhǔn)化工作標(biāo)桿提供基準(zhǔn)，通過(guò)對(duì)標(biāo)準(zhǔn)化工作的最佳實(shí)踐進(jìn)行挖掘并加以推廣，調(diào)動(dòng)人員參與標(biāo)準(zhǔn)化工作的積極性和主動(dòng)性；

4）通過(guò)評(píng)估，形成標(biāo)準(zhǔn)化工作提升長(zhǎng)效機(jī)制，激勵(lì)工作基礎(chǔ)薄弱的機(jī)構(gòu)強(qiáng)化標(biāo)準(zhǔn)化工作技能，鼓勵(lì)基礎(chǔ)雄厚、成果豐碩的機(jī)構(gòu)進(jìn)一步提升標(biāo)準(zhǔn)化工作水平。

5）通過(guò)評(píng)估，分析標(biāo)準(zhǔn)化工作對(duì)強(qiáng)化能力建設(shè)、提升產(chǎn)品質(zhì)量的技術(shù)支撐效力，對(duì)標(biāo)準(zhǔn)化工作取得的成效進(jìn)行總結(jié)固化。

軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估要素與評(píng)估指標(biāo)的設(shè)計(jì)將以上述評(píng)估需求為導(dǎo)向，以《標(biāo)準(zhǔn)化法》[2]及有關(guān)部門標(biāo)準(zhǔn)化制度文件為依據(jù)，以軍工行業(yè)當(dāng)前和可預(yù)見的標(biāo)準(zhǔn)化專項(xiàng)工作為補(bǔ)充，以現(xiàn)有國(guó)內(nèi)外標(biāo)準(zhǔn)化工作相關(guān)評(píng)估方法調(diào)研分析結(jié)論為參考，綜合使用系統(tǒng)分析法、對(duì)比分析法等軟科學(xué)研究方法，進(jìn)行評(píng)估要素與評(píng)估指標(biāo)設(shè)計(jì)。

2.2 評(píng)估要素內(nèi)容設(shè)計(jì)

依據(jù)3.1的設(shè)計(jì)思路，軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估要素內(nèi)容設(shè)計(jì)主要包括基礎(chǔ)評(píng)估要素（A）、效能評(píng)估要素（B）和獎(jiǎng)懲要素（C）等三類要素，三者共同作用，體現(xiàn)軍工行業(yè)標(biāo)準(zhǔn)化工作的綜合效果。評(píng)估要素的內(nèi)容詳見表1。

表1 軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估要素表

2.3 評(píng)估要素權(quán)重設(shè)計(jì)

采用定量與定性相結(jié)合的方式進(jìn)行評(píng)估可更加客觀公正地展現(xiàn)評(píng)估結(jié)果。由于各個(gè)評(píng)估要素的重要程度（即權(quán)重）不同，進(jìn)行定量評(píng)估時(shí)需要區(qū)別對(duì)待。實(shí)際開展評(píng)估工作前，可通過(guò)專家打分、調(diào)查問(wèn)卷等方式獲取權(quán)重樣本數(shù)據(jù)，并采取層次分析法[4]、特征值法[5]等方法確立各評(píng)估要素的權(quán)重。本文通過(guò)采用特征值法，給出要素權(quán)重設(shè)計(jì)示例：

1）建立判斷矩陣

將表1中隸屬于同一個(gè)上層要素且處于同一層次的評(píng)估項(xiàng)目抽取出來(lái)并建立權(quán)重咨詢表及判斷矩陣。例如為標(biāo)準(zhǔn)化組織與管理、關(guān)鍵標(biāo)準(zhǔn)研究與標(biāo)準(zhǔn)制定、標(biāo)準(zhǔn)應(yīng)用實(shí)施、標(biāo)準(zhǔn)化信息服務(wù)、標(biāo)準(zhǔn)化資源保障等五個(gè)評(píng)估要素建立權(quán)重咨詢表，如表2所示。

表2 評(píng)估要素權(quán)重咨詢表示例

通過(guò)權(quán)重評(píng)估咨詢單對(duì)各指標(biāo)的重要性進(jìn)行兩兩比較，以常用的1～9標(biāo)度方法（表3）表示比較結(jié)果，最后根據(jù)咨詢結(jié)果建立相應(yīng)的判斷矩陣。

表3 1～9標(biāo)度方法

對(duì)于n個(gè)指標(biāo)，可以得到判斷矩陣C=(Cij)n×n。

C具有以下幾點(diǎn)性質(zhì)：Cij＞0；Cij=1Cij(i≠j)；Cii=1(i，j=1，2，...，n)

2）計(jì)算指標(biāo)權(quán)重

利用方根法計(jì)算指標(biāo)權(quán)重，計(jì)算步驟如下：

首先，計(jì)算判斷矩陣C中每行元素的乘積Mi：

然后，計(jì)算Mi的n次方根

其中，Wi就是各項(xiàng)指標(biāo)的權(quán)重；

3）判斷矩陣的一致性檢驗(yàn)

一致性檢驗(yàn)是為了驗(yàn)證專家在判斷指標(biāo)重要性時(shí)，各判斷之間大體協(xié)調(diào)一致，不出現(xiàn)極端矛盾的情況。計(jì)算步驟為：

首先，計(jì)算判斷矩陣C的最大特征根λmax：

然后，計(jì)算一致性指標(biāo)CI：

最后，計(jì)算隨機(jī)一致性比率CR：

其中RI是平均隨機(jī)一致性指標(biāo)，根據(jù)判斷矩陣階數(shù)n查詢平均隨機(jī)一致性指標(biāo)查詢表可得。

當(dāng)CR＜0.1時(shí)，認(rèn)為判斷矩陣具有滿意的一致性，否則需要調(diào)整矩陣，直至具有滿意一致性。

4）計(jì)算指標(biāo)組合權(quán)重

利用前面的計(jì)算方法，可以得到評(píng)估項(xiàng)i的權(quán)重Wi，然后就要利用層次關(guān)系計(jì)算i在上一層要素中占的組合權(quán)重Pi。

其中Qi是包含指標(biāo)i的上一層要素的權(quán)重。

考慮到易操作性，將評(píng)估項(xiàng)權(quán)重進(jìn)行取整處理。設(shè)置標(biāo)準(zhǔn)化工作基礎(chǔ)要素分?jǐn)?shù)為72分，標(biāo)準(zhǔn)化工作效能要素分?jǐn)?shù)為28分，加分項(xiàng)20分，扣分項(xiàng)40分，總分滿分120分。各子要素的權(quán)重（即分值）如表1。

2.4 評(píng)估要素模型構(gòu)建

為增進(jìn)相關(guān)人員對(duì)標(biāo)準(zhǔn)化工作評(píng)估要素和評(píng)估項(xiàng)目的理解，設(shè)計(jì)標(biāo)準(zhǔn)化工作評(píng)估要素模型，對(duì)各項(xiàng)評(píng)估要素間的關(guān)系進(jìn)行表征。通過(guò)對(duì)評(píng)估要素和評(píng)估項(xiàng)目進(jìn)行梳理，對(duì)要素、項(xiàng)目間的關(guān)系進(jìn)行綜合分析，演化得到軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估要素模型見圖1。

圖1 軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估要素模型

在評(píng)估模型中，標(biāo)準(zhǔn)化工作基礎(chǔ)是基石，標(biāo)準(zhǔn)化工作基礎(chǔ)和獎(jiǎng)懲項(xiàng)要素共同作用于標(biāo)準(zhǔn)化工作效能的提升，標(biāo)準(zhǔn)化工作效能是切實(shí)發(fā)揮標(biāo)準(zhǔn)化工作對(duì)技術(shù)進(jìn)步和型號(hào)研制建設(shè)支撐作用的表征。在標(biāo)準(zhǔn)化工作基礎(chǔ)中組織與管理能力是基礎(chǔ)的基礎(chǔ)，為其他所有工作服務(wù)；關(guān)鍵標(biāo)準(zhǔn)研究與標(biāo)準(zhǔn)制修訂能力是標(biāo)準(zhǔn)化工作質(zhì)量的顯性體現(xiàn)，標(biāo)準(zhǔn)應(yīng)用實(shí)施能力是體現(xiàn)標(biāo)準(zhǔn)化效益的重要方面；標(biāo)準(zhǔn)化信息服務(wù)能力和標(biāo)準(zhǔn)化資源保障能力是必不可少的保障支持；標(biāo)準(zhǔn)化工作效能提升是軍工行業(yè)標(biāo)準(zhǔn)化能力提升的方向，是樹立標(biāo)準(zhǔn)化標(biāo)桿的載體。

3 評(píng)估實(shí)施模式研究

3.1 評(píng)估組織體系

標(biāo)準(zhǔn)化工作評(píng)估涉及各類組織機(jī)構(gòu)和人員，包括評(píng)估的決策機(jī)構(gòu)、執(zhí)行機(jī)構(gòu)、技術(shù)顧問(wèn)、評(píng)估隊(duì)伍以及被評(píng)對(duì)象等，各類組織的職責(zé)如下：

1）評(píng)估決策機(jī)構(gòu)：確定評(píng)估計(jì)劃、確定納入考核評(píng)估的單位名單、確定評(píng)估標(biāo)準(zhǔn)、評(píng)估隊(duì)伍名單，對(duì)評(píng)估中涉及的其他重大事宜進(jìn)行決策。

2）評(píng)估執(zhí)行機(jī)構(gòu)：起草評(píng)估計(jì)劃和評(píng)估標(biāo)準(zhǔn)，組織成立評(píng)估隊(duì)伍，并為評(píng)估提供標(biāo)準(zhǔn)化技術(shù)支持。

3）技術(shù)顧問(wèn)：為標(biāo)準(zhǔn)化工作評(píng)估工作提供決策咨詢和技術(shù)支持，參與審查評(píng)估計(jì)劃和評(píng)估標(biāo)準(zhǔn)，指導(dǎo)評(píng)估工作的開展。

4）評(píng)估隊(duì)伍：由具有高級(jí)職稱、熟悉所在專業(yè)領(lǐng)域標(biāo)準(zhǔn)化工作的多位專家（一般為5～7位）組成的評(píng)估組，負(fù)責(zé)具體實(shí)施評(píng)估工作。

5）被評(píng)對(duì)象：被評(píng)對(duì)象為納入考核范圍的部門（單位），其主要職責(zé)是根據(jù)評(píng)估要求開展自評(píng)，并提交自評(píng)報(bào)告及相關(guān)證明材料，為評(píng)估提供必要的場(chǎng)地、人員等資源。

3.2 評(píng)估程序研究

參考國(guó)內(nèi)外相關(guān)評(píng)估程序，結(jié)合軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估的實(shí)際需求，本文定義了一個(gè)適合軍標(biāo)準(zhǔn)化工作評(píng)估的過(guò)程模型，模型中的活動(dòng)及內(nèi)容同時(shí)適用于外部專家和各部門（單位）內(nèi)部對(duì)標(biāo)準(zhǔn)化工作水平進(jìn)行評(píng)估。評(píng)估過(guò)程模型具體如圖2所示。

圖2 軍工行業(yè)標(biāo)準(zhǔn)化工作評(píng)估過(guò)程模型

該模型描述了評(píng)估過(guò)程四個(gè)階段的活動(dòng)內(nèi)容以及活動(dòng)所需信息，各個(gè)階段內(nèi)容如下：

1）評(píng)估策劃：為順利進(jìn)入評(píng)估所必須的準(zhǔn)備階段，是為整合所有評(píng)估過(guò)程所需人力、資源等而進(jìn)行的活動(dòng)，其內(nèi)容包括處理評(píng)估需求并分配相應(yīng)資源，例如確定評(píng)估目標(biāo)、評(píng)估內(nèi)容，協(xié)調(diào)參與人員，明確評(píng)估實(shí)施形式。對(duì)評(píng)估事項(xiàng)的計(jì)劃主要是指制定評(píng)估標(biāo)準(zhǔn)，制定工作計(jì)劃。當(dāng)工作計(jì)劃制定完成后，通過(guò)領(lǐng)導(dǎo)審批或?qū)＜視?huì)議評(píng)審的方式審核其正確性，最后形成正式文件，對(duì)評(píng)估中各項(xiàng)具體工作進(jìn)行指導(dǎo)和監(jiān)督。

2）評(píng)估實(shí)施：為產(chǎn)生評(píng)估結(jié)果而進(jìn)行的活動(dòng)，根據(jù)需要通過(guò)選擇自評(píng)與現(xiàn)場(chǎng)評(píng)估相結(jié)合、會(huì)議評(píng)估、資料審查等評(píng)估形式收集評(píng)估數(shù)據(jù)，并組織相關(guān)人員進(jìn)行評(píng)估數(shù)據(jù)收集與分析。

3）評(píng)估總結(jié)：對(duì)評(píng)估問(wèn)卷的調(diào)查結(jié)果和處理后的評(píng)估數(shù)據(jù)進(jìn)行定性和定量的分析，發(fā)現(xiàn)并總結(jié)問(wèn)題，給出評(píng)估總結(jié)報(bào)告。

4）交流改進(jìn)：將評(píng)估結(jié)果以及評(píng)估過(guò)程中發(fā)現(xiàn)的最佳實(shí)踐、問(wèn)題和建議反饋給相關(guān)單位，開展評(píng)估結(jié)果的交流。被評(píng)單位開展評(píng)估中發(fā)現(xiàn)問(wèn)題的整改。

模型中評(píng)估的支持過(guò)程指的是評(píng)估中的項(xiàng)目管理，對(duì)評(píng)估的時(shí)間、人員、資源進(jìn)行綜合把握。

4 結(jié)語(yǔ)

標(biāo)準(zhǔn)化工作評(píng)估對(duì)于提升軍工行業(yè)各部門各單位的標(biāo)準(zhǔn)化工作水平，進(jìn)而提高我國(guó)軍工行業(yè)整體的標(biāo)準(zhǔn)化支撐能力具有重要意義。目前，各軍工行業(yè)的標(biāo)準(zhǔn)化工作評(píng)估仍處于起步階段，通過(guò)將本文確立的評(píng)估要素和評(píng)估程序?qū)⒆鳛閷?shí)施標(biāo)準(zhǔn)化工作評(píng)估的輸入，并在后續(xù)評(píng)估工作中進(jìn)行持續(xù)的優(yōu)化與改進(jìn)，將對(duì)標(biāo)準(zhǔn)化工作精準(zhǔn)服務(wù)于我國(guó)軍工行業(yè)技術(shù)進(jìn)步和能力提升提供重要支撐。