基于人機交互的深度學習訓練數據標注系統

尹兆杰

(北京工業大學，北京 100020)

1 概述

隨著高速鐵路和城市軌道交通正在進一步的走向智能化，越來越多的人工智能算法被用于出入口自動人臉檢測和安防設施。深度學習技術是人工智能的核心，深度學習模型的訓練以及應用，需要大量優質的標簽數據。目前使用的標注數據工作存在著人工成本耗費過多的問題。如何控制數據標注的成本，是業界一直關心的問題。提升標注效率是控制標注成本簡單有效的方法，而數據標注工具則是影響數據標注效率的關鍵部分。

2 數據標注問題概述

國內外存在許多商業化數據標注平臺以及開源數據標注工具，例如AMT、倍賽數據、labelImg等。這些數據標注工具都存在一些問題。一方面，開源的標注工具基本只支持單人標注，對標注質量無法保證。商業化標注工具設計的多人合作的標注流程不合理，同一人長時間從事同一密集勞動，標注的效率和質量均無法保證；另一方面，面對數據源為視頻時，沒有利用視頻的特殊性，標注效率低下。

3 數據標注系統設計與實現

根據上述數據標注存在的問題，以提高標注效率為目標，設計并實現一個數據標注系統。首先，完成標注系統的總體架構設計；其次，針對現有標注系統不支持多人標注或者多人標注流程不合理的問題，完成多人協作標注流程的設計；最后，根據視頻的特殊性，完成推測標注流程的設計。

3.1 系統架構

本標注系統采用前后端分離的B/S架構。前端采用React作為客戶端，主要用于展示數據，同時向標注人員提供增、刪、改、查和標注等交互功能；后端采用Flask作為服務端，負責向前端提供接口，完成部分業務邏輯，集成智能算法模型，并維護數據庫中的數據；本系統采用經典的關系型數據庫-MySQL，存儲標注的數據集。系統架構設計如圖1所示。

圖1 系統架構設計Fig.1 System architecture design diagram

3.2 多人協作標注流程設計

隨著深度學習技術的發展，產生不同類型且規模復雜的模型，對數據集也產生更高的要求，數據標注人員的標注工作量顯著提高。基于單人標注的數據標注系統存在著標注數據集數量過多且效率低下的問題。標注人員長時間從事重復操作，必然會在效率低下的同時出現錯誤，無法保證標注結果的正確性以及數據集的質量。

為解決單人標注大量數據以及單人重復操作兩個問題，基于傳統的解決辦法，借鑒敏捷開發和結對開發的原理以及核心思想，設計了一種多人協作的標注流程。不再詳細區分標注人員和審核人員，一個標注員既負責標注也負責審核。通過將所有標注人員兩兩分組，并將待標注數據集進行切分，將切分好的數據集分配給各組，由各組內部進行二次分配。每個組內，兩人同時標注一組數據，然后在標注第二組數據前，交換審查雙方上一次的標注結果。這樣既能解決單人標注大量數據的問題，也能消除同一人長時間重復操作的隱患。多人協作標注流程如圖2所示。

圖2 多人協作數據流程Fig.2 Multi-people collaboration data flow chart

從多人協作標注的流程中可以看出，流轉的數據存在狀態標記，為了更好的管理數據，在本系統中，數據有待標注、待審查、沖突、已審查4種狀態。關于數據在流轉中的狀態如圖3所示。

圖3 標注數據狀態轉移Fig.3 State transition diagramof annotated data

3.3 推測標注流程設計

通過對上述多人協作標注的研究，設想通過標注數據之間的關聯提高個人標注效率。

視頻是一組能夠給人平滑連續的視覺效果畫面。當初始數據源為視頻時，需要對其進行預處理，分割成一組幀序列，處理好的幀序列之間存在連續關系。在進行單人標注的時候，并沒有使用這種聯系，每一幀都被看成了獨立的一幀，每一幀都是人工標注，標注效率并不高。

因此提出一個思路，根據待標注的幀序列之間的聯系，在不同幀的標注框之間也建立起一種聯系。首先，標注部分幀；其次，依據建立起的聯系推測出另外部分幀的標注框；最后，人工進行校準。該思路的重點是選擇進行推測的算法，正確的推測結果會顯著減少人工標注量，從而提升標注效率。

基于幀序列連續的特點，提出一種推測方法。待標注的幀序列之間連續，推導出幀上面的所有待標注物都連續，進一步推導出不同幀之間的同一待標注物也連續，得出結論，不同幀的同一標注物的標注框連續。對于連續變化的事物，假定變化均勻，可以使用均值法進行推測。例如，有1、2、3三幀連續幀，只對1、3兩幀進行標注A，得出1、3兩幀的標注結果，分別為A1(x1min,y1min,x1max,y1max)、A3(x3min,y3min,x3max,y3max)。根據1、3兩幀關于A的標注結果，計算均值x2min=(x1min+x3min)/2、y2min=(y1min+y3min)/2、x2max=(x1max+x3max)/2、y2max=(y1max+y3max)/2。得出第2幀關于A的標注結果A2=(x2min,y2min,x2max,y2max)，將A2的位置標注在第2幀。上述例子如圖4所示，虛線A1、A3是已標注框，綠色A2框是根據A1、A3推測計算得到。

圖4 均值推測A2示意Fig.4 Schematic diagram of A2 mean value prediction

根據上面提出的猜測方法，對個人標注流程進行優化，提出推測標注法，標注一部分內容，預測標注另一部分內容。個人推測標注法的標注流程如圖5所示。推測標注流程中要注意以下幾點。

圖5 推測標注法流程Fig.5 The process of speculative annotation method

1）為所有的圖片分配圖片ID，最好包含視頻幀號信息，從圖片ID中能夠識別出哪些圖片是連續的，能夠觀察出連續關系。

2）數據集D=[d0,d1,d2,d3,…,dn]，將數據集分為兩類，一類用來人工標注，表示為D1=[d0,d2,d4,…,d2n]；另一類數據集根據D1的標注結果進行推測標注，推測標注數據集表示為D2=[d1,d3,d5,…,d2n-1]。

3）標注D1數據集中d1和d3兩張圖片中ID為person-1的標注框，標注框的值分別記為p1和p3，保存標注框的值。

4）對于ID為person-1的標注框，根據在d1、d3兩張圖片中的標注結果，使用均值法計算d2圖片中標注框的值p2=(p1+p3)/2，將計算出的p2標注在d2上。

4 系統實驗與結果分析

4.1 多人標注流程實驗

實驗選擇15組標注人員對4組數據集進行單人標注以及多人標注，驗證本文所提出方法是否可以提升標注效率。

第1次標注，組織15組標注人員使用單人標注流程對4組數據集進行標注。每組標注人員中，一人進行標注，一人進行審查。一組數據先進行標注，標注完成后審查人員進行審查。

第2次標注，組織15組標注人員使用多人協作標注流程對4組數據集進行標注。每組標注人員中，兩人同時進行標注，然后兩人互相審查對方數據。

分別記錄兩種標注方式下每組標注人員標注的圖片數、目標數以及時間（按照標注時間與審核時間的總和計算），表示標注任務完成的時間。數據記錄如表1所示。

表1 單人標注流程的標注數據Tab.1 Annotated data of single annotation process

將上述兩次標注數據進行整理，為了更加直觀地觀察兩種標注方式的區別，將每組標注人員在兩種標注模式下的數據分別以折線圖和柱狀圖表示。

如圖6、7所示，橫坐標為每個標注小組標注的總框數，標注小組標注的總框數相差不大。縱坐標為標注小組完成任務的時間。在標注小組完成的總框數相差不大的情況下，多人協作完成的時間明顯少于單人標注完成的時間。

圖6 兩種標注方式下的數據折線Fig.6 Data line chart under two annotation methods

圖7 兩種標注方式下的數據柱狀Fig.7 Data histogram under two annotation methods

為了排除每個小組標注的總標注框數量不同的干擾，對上述實驗數據進行處理，計算每組每10 min的標注框數量，如圖8 所示。可以明顯的看出，多人協作的效率更高。

圖8 每10 min標注框數Fig.8 Annotated number of boxes per 10 minutes

4.2 推測標注流程實驗

實驗選擇30名標注人員對40張數據進行個人標注和推測標注。

第1次標注，組織30名標注人員使用單人標注流程對40張圖片進行標注。

第2次標注，組織30名標注人員使用推測標注方法對40張圖片進行標注，按照上述實驗要求將40張圖片進行分組，奇數數據分為一組，偶數數據分為一組。每名標注人員對奇數數據進行標注，然后根據標注結果對偶數數據進行推測標注，標注人員對推測標注的結果進行檢查修改。

記錄上述兩次標注時標注人員標注的圖片數、目標數以及時間，由于兩次標注只是標注流程和方法不同，審核仍然使用的是一人標注一人審核的流程，審核時間相同，此處記錄的時間只是單純的標注完成的時間。推測標注流程下標注完成的時間由3部分組成，分別是標注時間、推測時間以及修改時間，如表2所示。

表2 兩種標注方法的標注數據Tab.2 Annotated data of two annotation methods

將上述兩次標注數據進行整理，為了更加直觀的觀察兩種標注方式的區別，將每名標注人員在兩種標注方法下的數據分別以折線圖和柱狀圖表示。

如圖9，10所示，橫坐標為每個標注人員標注的總框數，標注人員標注的總框數相差不大。縱坐標為標注人員標注完成的時間。在標注人員標注的總框數相差很小的情況下，推測標注完成的時間顯著少于單人標注完成的時間。

圖9 總框數-時間柱狀Fig.9 Total number of boxes - time histogram

圖10 總框數-時間折線Fig.10 Total number of boxes - time line chart

為了排除每個標注人員總標注框的數量不同的干擾，對上述實驗數據進行處理，計算每人每10 min的標注框數量，如圖11所示。明顯看出，推測標注時每10 min完成的標注框比單人標注更多，證明推測標注的效率更高。

圖11 每人10 min標注框數折線Fig.11 Line chart of annotatedbox number per 10 minutes

5 結束語

從標注流程入手，研究多人協作標注流程對標注效率的影響，通過實驗，證明多人協作標注可以提升標注人員的標注效率。多人協作標注流程相比一人標注、一人審核的傳統多人流程提高了63%的標注效率。

研究推測標注對標注效率的影響，通過研究內容進行實驗，得出結論。推測標注可以提升標注人員的標注效率。推測標注流程相比個人標注流程可以提高25%的效率。