機動車安全技術檢驗智能審核系統量化評價指標研究及應用

摘 要：近些年隨著AI等人工智能技術的不斷發展，各地逐步用機動車安全技術檢驗智能審核系統（以下簡稱“檢驗智能審核系統”）輔助人工進行圖片的審核，以提高公安機關交通管理部門的執法公信力和審核效率。目前的檢驗智能審核系統在審核內容、準確率、效率等方面良莠不齊，缺乏量化的評價指標。本文以檢驗智能審核系統為對象，從功能性、性能效率兩個維度提出了審核能力、審核準確率和審核效率三個量化指標，實驗結果表明本文提出的評價指標具備較強的可擴展性、可用性和可操作性。

關鍵詞：檢驗智能審核系統，審核能力，審核準確率，審核效率

DOI編碼：10.3969/j.issn.1002-5944.2025.01.033

0 引 言

2004年5月1日，《中華人民共和國道路交通安全法》[1]及實施條例的施行，標志著我國道路交通管理從法律層面上確立了機動車安全技術檢驗制度。GB 38900—2020《機動車安全技術檢驗項目和方法》[2]規定了機動車安全技術檢驗的檢驗項目、檢驗方法、檢驗要求，以及檢驗結果判定等，規范了機動車登記注冊檢驗的聯網查詢、車輛唯一性檢查等安全檢驗項目以及在用機動車安全檢驗項目，涵蓋載客汽車、貨車、專項作業車、掛車、三輪汽車、摩托車等多種車型。2014年4月29日，公安部、原國家質檢總局聯合印發《關于加強和改進機動車檢驗工作的意見》[3]，明確加強檢測數據監管，全國統一應用機動車檢驗監督管理系統，實現車輛外觀、重點檢驗項目照片、檢驗過程視頻，以及檢測結果的核查比對，提升監管效能。隨著AI、人工智能等技術的不斷發展，基于智能識別技術的檢驗智能審核系統被廣泛應用，武漢、杭州、重慶、蘇州等多個城市已經部署檢驗智能審核系統，實現了“智能審核+人工審核”。一般而言，車輛在完成機動車年檢后將檢驗資料上傳至“公安交通管理綜合應用平臺專網服務系統”，并交換至檢驗智能審核系統，由系統采用計算機視覺、神經網絡和深度學習等方法，提取圖片特定信息，并與車輛信息進行比對返回結果，最后由審核人員復核。

檢驗智能審核系統解決了人工審核繁瑣、占用大量資源的問題，使監管工作效率得到明顯提升。然而，目前尚無針對性的量化評價指標。本文主要針對檢驗智能審核系統，圍繞其核心功能，提出關鍵量化評價指標，并結合檢驗智能審核系統展開評價試驗，結果表明本文提出的量化指標可較為準確的評估智能審核系統，具備較強的可操作性，為檢驗智能審核系統優化、改進以及應用提供依據。

1 評價指標

GB/T 25000.51—2016《系統與軟件工程系統與軟件質量要求和評價（SQuaRE）第51部分：就緒可用軟件產品（RUSP）的質量要求和測試細則》[4]明確了軟件的8個質量特性，為實現對檢驗智能審核系統基本特性的評價，基于應用角度，本文選取了功能性、性能效率作為主要評價維度，提出功能性、審核準確率、審核效率三個評價指標[5]。

1.1 功能性評價指標

檢驗智能審核系統的功能主要為識別比對上傳的檢驗圖片，并與歷史檔案比對，如圖1所示，以識別項目車身外觀照片為例，利用人工智能技術，系統識別出車牌號碼、車身顏色、車標三項識別元素，并進行初步的判斷，輸出結果。不同的檢驗智能審核系統支持的識別項目和識別元素有所差異，必選識別元素審核能力是衡量一個系統能否滿足要求的基本指標，可選識別元素為衡量系統審核能力的附加項，能夠識別的可選元素越多，則表明該系統的審核能力相對更強。

本文針對每個必選識別項目的必選識別元素展開基本審核能力指數Z 1計算，并將全部的可選識別元素作為整體衡量系統的附加審核能力指數Z 2。

式中：Z 1為系統的基本審核能力指數，為基準項，該項累乘了所有必選識別元素的審核能力。其中Zij為第i項必選識別項目的第j項必選識別元素的審核能力指數，具備該項識別元素審核能力則記為1，反之為0。該項也可用于判定系統是否具備所有必選元素的識別功能。

式中：Z 2為系統的附加審核能力指數，為附加項。E 為可選識別元素的個數，1/E 為第i 項可選識別元素所占權重，hi為第i項可選識別元素的審核能力指數，具備該項識別元素審核能力則記為1，反之為0。

審核能力指數計算過程中，若有一項必選識別元素審核能力為0，則系統審核能力指數為0。Z值越大，審核能力越強。審核能力指數Z的計算方式如下：

1.2 性能效率評價指標

1.2.1 審核準確率

檢驗智能審核系統的審核準確率用于衡量審核結果的準確程度，準確率表示所有的識別樣本中，預測正確的樣本占總樣本的百分比，系統整體準確率A計算公式如下：

式中：TP 表示所有樣本中預測為正的正樣本，TN 表示所有樣本中預測為負的負樣本，FP 表示所有樣本中預測為正的負樣本，FN表示所有樣本中預測為負的正樣本。

本文結合GA/ T 833—2016《機動車號牌圖像自動識別技術規范》[6]等標準以及應用中的實際需求，將號牌號碼的準確率基準值定義為95%，其余各識別元素的審核準確率基準值定義為90%。因而，本文在計算審核準確率指標時引入判斷因子D，首先根據公式（5）計算每個識別元素的準確率，然后根據每個識別元素的準確率得到每個識別元素的判斷因子Di。

所有識別元素的判斷因子的乘積即為判斷因子：

本文采用審核準確率Q 作為審核準確率的評價指標，計算公式如下：

如果有一項未達到基準值要求，則為0；Q 越大，審核準確率越高。

1.2.2 審核效率

檢驗智能審核系統的審核效率指審核機動車檢驗圖片審核的速度，在審核效率的計算中，首先計算第i個識別項目的單項平均識別時間：

式中：n為第i個識別項目試驗中使用的識別照片數目，Ti0為第i個識別項目的開始識別時間，Tin為該項目第n 張照片識別結束時間，Tin-Ti0則為該識別項目n張照片的識別總時間。

本文假定檢驗智能審核系統審核一輛車（包括所有必選及可選的智能審核項目）的審核時間應小于或等于10 s，并定義10 s為基準審核時間，實際使用過程中可按實際情況設定基準審核時間，則審核效率的定義為一輛車審核時間與基準審核時間（10 s）的比值，計算公式如下：

式中：∑m i=1 -Ti是個單項平均識別時間之和，定義為系統審核一輛車（包括所有必選及可選的智能審核項目）的審核時間。分析審核效率時，當E ＞1時，該系統不符合基準值要求；當E≤1時，值越小，表明該系統的審核效率越高。

2 評價指標實驗驗證

2.1 測評準備

為驗證提出的量化評價指標的合理性及可操作性，依據實際應用過程中人工審核的關注點，結合調研制定了檢驗智能審核項目列表（見表1）。

為驗證本文提出的評價指標，選取了三套系統進行測評，分別標記為A、B、C。三套系統均支持所有14項必選識別項目的識別，支持的可選識別元素分別為8、20、28，在實際應用中，系統C支持的審核元素最多，審核速度最快，但審核準確率稍低。

此外，本文選取型號為NVIDIA GeForce RTX3060（12288MiB），顯存為20 GB的顯卡搭建了測評環境；并與公安交通管理綜合應用平臺社會化服務系統對接，測評環境如表2所示。

為了進行精準評測檢驗智能審核系統，本文建立了測評圖片庫，遵循以下原則：

（1）按不同識別項目照片建立；

（2）每個識別項目的評測圖片集中應包含正、負樣本。正樣本為圖片內容與檔案內容一致的機動車檢驗圖片，負樣本為圖片內容與檔案內容不一致的機動車檢驗圖片。

本文以檢驗智能審核系統為例，每一個必選智能審核項目選取了200張照片，分為正負樣本兩類，按照1：1比例分配，各占總圖片數的二分之一。根據表1，共計15項識別項目，測評圖片集共計3000張。

2.2 測評實施

在搭建的測評環境下，依據表1中的測評項目對A、B、C三套系統開展測評工作，分別計算系統評價指標。

對于表1中檢驗智能審核系統33項可選識別元素，E =33，依據公式3計算其審核能力指數。在給定的測評圖片庫中，本文依據公式（4）計算了每一個識別元素的識別準確率，并依據公式（7）計算系統審核準確率。在各項目的識別過程中，本文分別記錄了每個項目的識別開始時間及結束時間，根據公式（8）計算了各單項平均審核時間（見圖2）后，根據公式（9）計算得到系統審核效率，結果如表3。

2.3 測評結果分析

綜合分析A、B、C三套智能審核系統：從審核能力角度評價，C的審核能力最高，能夠審核的元素最多，B、A次之；從審核準確率評價，A的審核準確率最高，B、C次之；從審核效率角度評價，C的審核效率最高，A、B次之。測評結果與系統實際的應用效果基本一致，驗證了本文所提出的量化評價指標的合理性和科學性。

在評價指標的實際使用中，可以根據智能審核系統的審核對象進行選擇：如針對私家車等小型載客汽車的智能審核系統，可側重考慮審核效率評價指標；針對中、大型載客汽車、貨車等，可側重考慮審核準確率評價指標。

3 結 語

本文首先提出了檢驗智能審核系統的功能性、審核準確率、審核效率三方面關鍵評價指標，構建了樣本類型齊全、數量充足的評測圖片集，查驗智能審核系統的量化評價指標可以參照展開。通過對檢驗智能審核系統量化評價指標的測評，表明本文所提方法具備合理性、科學性及較強的可操作性，基準值可以按照實際需求進行設定，具有較強的可操作性。目前利用AI技術實現的智能審核內容有限，隨著AI技術的不斷發展，未來必將更多地運用于機動車審核工作中，減少人工工作量，提高審核效率。

參考文獻

[1]佚名.中華人民共和國道路交通安全法[J].中華人民共和國最高人民檢察院公報，2003（6）：1-14.

[2]高文，高煥，高薇淇.GB 38900—2020《機動車安全技術檢驗項目和方法》解讀與實施建議[J].中國標準化，2021（6）：116-121.

[3]公安部，國家質檢總局《關于加強和改進機動車檢驗工作的意見》解讀（五）[J].道路交通管理，2015（2）：47-48.

[4]全國信息技術標準化技術委員會.系統與軟件工程 系統與軟件質量要求和評價（SQuaRE）第51部分：就緒可用軟件產品（RUSP）的質量要求和測試細則：GB/T25000.51—2016[S].北京：中國標準出版社，2016.

[5]陳敏兒.產品分等與綜合質量評價方法的研究[J].中國標準化，1995（9）：6-8.

[6]公安部道路交通管理標準化技術委員會.機動車號牌圖像自動識別技術規范：GA/T 833—2016[S].北京： 中國標準出版社，2016.

作者簡介

華莎，通信作者，碩士，助理研究員，研究方向為軟件測試及標準化。

（責任編輯：袁文靜）

基金項目：本文受中央級公益性科研院所基本科研業務費專項資金項目“機動車安全技術查驗檢驗智能審核系統測試評價技術研究”（項目編號：2024081107）資助。