軍用軟件測評供方能力特長評估探索與實踐

◎96901部隊 張幼春 史國華

現代化武器裝備日趨復雜，軟件在武器裝備中所占的比重越來越大，對武器裝備的影響也日益增加。隨著我軍裝備建設的發展，各類武器系統的綜合性能也相應提高，但從根本上看，絕大部分武器性能的提高都離不開軟件，軟件已成為各類武器系統和保障裝備的中樞神經，軟件質量的高低，將對武器裝備性能的發揮帶來直接影響。由于武器裝備軟件在開發標準、使用環境、作用結果等方面的特殊性，要求軟件在研發完成后必須符合軍方所提出的戰標，最終結果由軍方主導。因此，如何更進一步的提高軟件質量，確保武器裝備性能得到最大限度地發揮，是擺在我們軍用軟件測評總體單位面前的一個重要課題。

近期，我們結合測評工作開展及任務承擔單位情況，組織開展了軍用軟件測評供方能力特長評估審核工作，以探索一條更加適應軍用軟件建設發展需要的軟件測評保障方式，為今后軟件測評工作的開展和確保軟件質量的不斷提高提供一個良好的基礎和條件。

一、開展測評供方能力特長評估的必要性及其意義

隨著部隊新的編制體制的逐步推進和武器裝備建設快速發展的實際，軟件測評需求和測評力量建設之間的矛盾成為一個較為突出的問題，主要表現為以下幾個方面。

一是軍內軟件測評機構受編制名額的限制，實有的人員技術力量難以再繼續承擔大量的武器裝備軟件測評任務；二是武器裝備建設發展的速度不斷提高，相關軟件項目研制數量也隨之不斷增加，相應的測評需求也較前有著成倍或多倍的增長；三是隨著國家信息化建設的不斷發展，地方一些有資質的工業部門及相關企事業單位對軟件測評力量建設的重視程度不斷提高，軟件測評單位如雨后春筍般蓬勃發展，在其能力特長范圍內可以并且期望承擔軍用軟件測評任務；四是對于期望承擔軍用軟件測評任務的地方軟件測評單位，如何準確選擇和把握其特長，充分發揮其測評能力，合理安排和部署軍用軟件測評任務，確保軟件測評質量。

這些矛盾和問題的根本，是軍用軟件測評需求與軍內測評力量建設的矛盾，這個問題僅靠部隊自身的力量難以得到有效的解決，只有按照“軍民融合”這一國家戰略的要求，走軍民融合的發展道路，充分發揮地方測評機構機制靈活、手段多樣、各具特長等優勢，才能使這些矛盾和問題得到有效緩解，確保武器裝備軟件的研制質量和工作效率不斷提高。因此，適時組織軍用軟件測評供方能力特長評估審核工作，具有重要的現實意義，可有效解決以下幾個方面的問題：一是可解決軍用軟件測評需求量大、部隊測評機構人員技術力量不足的問題；二是可進一步提高軍用軟件測評任務安排部署的準確性，避免目前軟件測評任務按招標、指定測評單位等方式安排部署所存在的弊端；三是按評估的能力特長安排測評工作，可使相關測評單位的能力特長得到充分發揮，最大限度地保證軍用軟件質量；四是通過評估審核，既可達到優中選優、擇強選用的目的，又可促進相關軟件測評單位整體建設和測評質量的進一步提高。

二、測評供方能力特長評估方式及實踐

（一）能力特長評估審核的方式

軍用軟件測評供方能力特長評估審核工作，按照單位申請、現場審核、數據匯總、擇優推薦、上報審批的程序執行。具體審核方式與2725A和CNAS審核有較大的不同，主要在以下幾個方面：

一是審核內容的不同。軍用軟件能力特長評估審核主要是在2725A和CNAS審核的基礎上，著重對測評單位所具備的能力特長組織審核評估。具體地說，就是相關申請單位首先必須具備2725A或CNAS資質，這是申請評估的準入條件。在申請評估時，需在申請書中所明確的軟件分類的幾種類型中，選擇與本單位完成過的項目特點相同或相近、且具備明顯經驗特長的軟件類型進行申報，審核評估專家組依據申請內容，重點組織對所申報的能力特長進行評估審核，對于2725A和CNA S認定的內容不再組織專門的重復審核。

二是審核標準的不同。軍用軟件能力特長評估審核主要采取定量審核的方式，與2725A和CNAS以定性審核為主的方式有所不同。評估審核主要依據評估模型，結合申請單位所申報的能力特長項目，逐項、定量地檢查項目中每項指標的落實情況，同步采集記錄相關結果。評估模型對測評單位的管理能力、測評技術能力及過程質量管理等各方面都規定了具體的考核指標，并根據相關指標在測評工作中的重要程度明確了量化評定標準，現場審核結束后，依據標準對審核數據進行匯總、統計，得出評估審核的最終量化結果。

在這里需要說明的是，采用量化考核的方式進行評估，各參評單位的能力特長水平通過具體的量化結果來體現，相較定性考核更為客觀、有效。經過定量考核，各單位能力特長方面的實際情況直觀明確、高低立現，更加有利于特長突出單位的確認。

三是審核程序的不同。軍用軟件能力特長評估審核在審核程序上，與2725A和CNAS也有所不同。除前所述的總體程序為申請、現場審核、數據匯總、擇優推薦、上報審批外，在現場審核的程序上也有不同。主要是現場審核為一次性審核，不組織復審，不開具不符合項，不組織整改落實的監督核查；在末次會上只提出審核發現的問題及整改建議，不現場明確審核是否通過的初步結論；最終的評估審核結論在參評單位達到一定量的積累后，通過對各單位評估審核最終量化結果的比對、衡量，按優中選優的原則提出能力特長測評單位推薦意見，報機關審批。

四是審核的結論不同。軍用軟件能力特長評估審核的審核結論，是測評機構能否被確定為某種類型軍用軟件能力特長測評單位。相關機構被確定的能力特長可以是一項，也可以是多項，以各單位在評估審核中的實際量化成績，經最終比對、衡量、推薦后的審批結果為準。

五是結論的應用不同。軍用軟件能力特長評估審核的結論，是相關測評單位可否參加軍用軟件測評工作的主要依據，也是軟件測評總體單位安排部署軟件測評任務的主要依據。相關軟件測評機構能且只能承擔經評估審核后審批確認的特長類型軟件測評任務。軟件測評總體單位在安排部署測評任務時，也將依據軟件類型，結合審批確認的類型特長測評機構實際情況，進行測評單位的甄選及任務的安排部署。未經確認軟件類型能力特長的測評單位，原則上不得承擔該類型軟件的測評任務。

（二）能力特長評估審核試點工作開展情況

為確保能力特長評估審核工作的準確、有效，根據需要，我們組織有關專家依據實際需求完成了評估模型的制定，選擇了三家單位作為評估審核工作的試點，并組織專家組分別對試點單位進行了全面細致的評估審核。在試點審核工作中，按照不同的準備條件，對審核實施工作進行了驗證確認，確定了更為合理的現場審核準備要求；同時，在每次試點單位現場審核工作完成后，我們組織審核專家結合試點審核情況，對評估審核的相關工作進行了研討，并依據專家意見，對評估模型進行了進一步的修改完善，為下一步評估審核工作的全面開展摸索了經驗、打下了基礎。

（三）評估審核工作中發現的主要問題

通過對幾個試點單位現場審核工作的情況梳理我們感覺到，從總體上來看，各單位整體建設水平相對都比較扎實，各方面的建設也都在持續推進，但在一些具體的管理能力、技術能力和條件建設等方面的發展水平也還存在著參差不齊的現象。存在的主要問題有：在管理能力方面，對于一些測試技術和方法的規范指導文件不夠健全，人員技術力量與所申報特長要求還不適應，對于測試發現的一些軟件問題(缺陷)的級別不能嚴格按標準確定，部分過程數據的比對、計算管理記錄未及時收集歸檔等；在測試技術方面，覆蓋率測試不到位，動態測試工具的使用不夠，測試環境或平臺在測試項目中的應用及效果難以證明，過程測試記錄欠缺或不完整，有些嵌入式軟件缺乏白盒測試內容等；在可編程邏輯器件軟件測試方面，存在測試設計不夠充分，測試類型涵蓋不全，設計約束要求不到位，測試激勵要求不明確，有的測試類型使用測試方法不當等。上述這些問題都是比較有代表性的問題，需要我們在后續的測試工作中盡可能地改進、克服。

三、測評單位在能力特長建設方面需關注的幾個方面

在組織對試點單位進行的評估審核工作中，除發現一些管理和測試技術方面的問題外，還有一些整體建設方面的問題需不斷加以改進和完善，主要是以下幾個方面。

（一）質量管理體系的充實完善

質量管理體系，是各測評單位開展測評工作的指導依據和管理規范，在試點評估工作中，我們發現各單位在質量管理體系建設方面總體上都比較重視，質量管理體系相對也比較完善，但在作業指導文件上還不同程度地存在一些問題。主要表現在作業指導文件的編制還不夠細致，一些測試主要環節的技術要求過于粗略，無法起到對某項具體作業的指導和規范作用。例如有的單位在作業指導文件中對于測試需求分析、測試用例設計、文檔審查、代碼審查等工作的技術規范，僅在某一級別的測試規程中進行了簡單說明，沒有進行詳細的規范和明確，更沒有使用獨立章節進行說明，這就導致在同一項工作內容中，因為沒有詳細的技術程序和規范作指導，技術能力強的測試人員所做的工作相對會細一些，而技術能力較弱的測試人員所作的工作則會很粗，測評質量也會因此而大打折扣；還有的單位對于可編程邏輯器件軟件這類測評工作的規范，僅用《可編程邏輯器件軟件測試》這樣一個作業文件進行了說明，對于一些諸如靜態時序分析、形式驗證、仿真測試等主要測試方法的技術要求，只是在文件中一筆帶過，甚至根本沒提，將很難保證軟件的測試質量。

（二）軟件測試工具的使用和完善

軟件測試工具作為軟件測評工作的主要輔助測試技術手段，對測評質量和效率的提升有著極為重要甚至不可替代的作用，因此，軟件測試工具在各測評單位的條件建設中，應該占有較大的比重，亦應給予必要的關注。在幾個試點單位的評估審核工作中我們發現，各單位對于軟件測試工具的建設都比較重視，有的測試工具已相對比較完備，有的已開始啟動整改建設，隨著建設的進展，測試工具也將逐步完備落實。但在測試工具的具體使用上，則還存在一些不足。主要表現在有的單位所提供審核的軟件測評項目中，工具使用率較低，有些項目(特別是在協作單位搭建環境組織的測評項目)甚至基本沒有使用工具，全部靠測試人員的自身能力完成測試，圄于人員精力和項目時間的限制，這類測試項目的質量將難以得到有效保障，同時，一些必要的數據資料也難以收集、提取和存檔保留，給后續的分析、總結等相關工作帶來不便。因此，建議各測評單位在測試工具的使用上要提高重視程度，無論是在自有的環境組織測試，還是到外單位的環境中開展測試工作，只要有可用的測試工具，都要盡可能合理安排使用，為自身能力建設和軟件測評質量的提高創造條件。

（三）測評經驗、力量與申請特長的適應程度

測評經驗，是每一個測評單位經過多年的工作實踐、不斷總結積累而形成的、對于軟件測評某一領域或某一類型的深刻的認識和技能的凝聚，且與單位測評力量的建設緊密相關。在試點工作中，我們發現有的測評單位申報測試特長時，在自身經驗的總結梳理上不夠充分，忽視了測評經驗及力量建設與能力特長的關系，過于追求能力特長在名義上的多而全，以致出現所申報能力特長與實際情況不相適應的情況。為此，建議各測評單位在歷年完成的測評工作基礎上，對自身的經驗、特長進行深入的總結梳理，結合軟件類型、工具配備、人員力量建設、項目積累等多個方面，形成對自身實際具有的能力特長的準確認識，按照不斷強化特長、逐步補足短板的方式，有針對性地開展工作，以扎實推進自身測評能力特長建設。對于還存在的一些自身目前可以做、但還不足以成為能力特長的方面，在組織建設時應注重從體系的完善、工具的配套、測試技術力量及技能的提高、測評項目的總結積累等方面同步加強，以達到“強的更強、弱的建強”的目的，把自身建設成為一個管理有效、環境工具配套、技能全面的軟件測評機構。

（四）測試數據的采集和管理

測試數據是測評工作從準備、實施至結果評價都密不可分的重要測試依據及結論評定依據，它貫穿于測評工作的方方面面；按實際情況分，既有需要測試予以驗證的數據，也有需通過測試執行對結果進行驗證的數據，還有作為評判依據對結果進行評定的數據，無論哪個方面的數據，對測評工作來說都至為重要，需要進行嚴密的采集和嚴格的管理。在試點審核工作中我們發現，在數據的采集管理方面還不同程度地存在采集不夠嚴謹、管理不夠到位的問題。體現在：一是用于測試的數據準備記錄不詳細、管理不充分，在測試文檔中僅記錄測試數據由誰提供，是真實數據還是模擬數據，對于數據的數量、類型、對需求的覆蓋程度等沒有具體描述，且未能做到對所用數據全部進行存檔管理；二是某些測試類型的測試結果數據記錄不全，且未能按要求進行存檔管理；三是過程數據的比對、計算管理記錄采集不夠到位，也未能按要求進行存檔管理。對于一些因客觀原因而無法采集的數據(如源程序、部分真實數據等)可以不做為硬性要求，但對于其他數據、特別是測試產生的數據，無論是在測試方提供的環境中測試還是在自己搭建的環境中測試，都應予以嚴密的采集和嚴格的管理，測評項目結束后，應與相關測評文檔一并按規定進行歸檔管理，這既是保證測評質量的必要手段，也是各測評單位不斷加強自身建設、全面提高測評能力所需依托的必要條件，同時也是測評管理的必然要求。

（五）可編程邏輯器件軟件測試技術及方法的規范

隨著可編程邏輯器件技術的發展和應用，可編程邏輯器件軟件測試能力建設，已成為測評領域的一個重要建設內容，作為一類在測試方法上有著明顯自身特點的軟件測試技術，各測評機構均已投入精力進行相關測試技術的學習和探索，有些測評機構已經積累了相當豐富的測試經驗，基本具備了這類軟件的測試特長?；谶@類軟件的特殊性，我們在評估模型中專門將其定義為一種獨立于各種軟件類型之外、需要單獨評價的特長類型。在試點審核中，各測評單位都申報了可編程邏輯器件軟件測試特長這一項，但在審核取證中，感覺各單位對這類軟件測試技術的認識和理解存在差異,在測試技術及方法的應用上也不盡相同，需進一步統一和規范。目前，GJ B 9433-2018已正式頒布實施，建議各測評機構嚴格按照國軍標的要求，對相關的體系文件、測試技術、測試方法及條件建設進行進一步的梳理、規范和完善，不斷加強在這一領域的能力特長建設，以更加適應可編程邏輯器件軟件建設及應用快速發展的實際需要。

四、對后續軟件測評質量監管工作的思考

對軍用軟件測評供方能力特長的評估，是我們對軍用軟件測評工作的準入機制進行的探索與實踐。同時，為保證軟件測評質量監管工作的持續、有效，我們對后續相關監管機制的建立也進行了同步的思考。

對于通過準入機制承擔軍用軟件測評任務的機構，建立完善測評機構動態管理機制，與監督抽查、定期考評、獎優罰劣等制度有機結合，定期發布測評工作簡報，對測評工作總體情況及測評機構的增減情況進行通報明確。

對于測評機構動態管理中的質量監管和考核工作通常結合測評任務進行，特殊情況下可組織專項考核；監管和考核情況做為對測評機構實施動態管理的基本依據。

監管和考核工作擬按以下幾個方面組織實施。一是建立過程跟蹤機制。依據軟件測評工作不同階段的實際，安排專職人員對軟件測評項目的執行情況進行全程跟蹤，在組織重要節點工作成果專家評審的基礎上，按照不同階段的工作特點，有針對性地開展相關監督檢查工作；檢查過程中如發現問題，按不同情況進行必要的處理，并將問題情況予以登記備案。二是建立能力比對機制。對定型級別比較高的項目或測評結果存疑的項目，根據實際需要安排不同測評機構進行比測或復測等比對驗證工作，對能力比對中出現重大誤差的測評機構，予以必要的處理。三是建立中期考核機制。按照軍用軟件測評管理的實際需要，定期組織對名錄中的測評機構質量管理體系運行情況和技術能力進行檢查考核。對檢查中發現的問題，及時通報被審核測評機構，相關考核數據作為對測評機構年度管理考核的重要依據。