基于改進RetinaNet的馬拉松號碼簿檢測方法研究

李井輝, 宋思宇, 湯偉業

(東北石油大學,計算機與信息技術學院,黑龍江,大慶 163318)

0 引言

以號碼簿的身份特征屬性和唯一性為關鍵線索,將馬拉松運動員識別問題簡化為號碼牌的檢測和識別問題,通過檢測和識別號碼簿識別運動員個體,可為賽事監管和過程管控的自動化管理提供幫助。

實際的拍攝圖像通常由多位攝影師以不同的角度、姿態和位置拍攝,這導致圖像中目標的比例、光照以及角度存在差異。此外,運動狀態下的身體擺動使得號碼簿上的部分字符產生角度傾斜或字體扭曲變形,從而導致號碼簿的檢測難度加大。當前基于深度學習的號碼簿檢測主要有文本檢測和傳統目標檢測兩種形式,由于號碼簿檢測對后續號碼簿信息提取和理解起到至關重要的作用,故而文本檢測算法的使用率較高。WANG等[1]將號碼簿視為一類特殊文字,通過多方向文本檢測算法來確定號碼簿區域,由于號碼簿自身以及背景文字的干擾,上述方法直接采用文本檢測算法會檢測到大量非號碼簿的文本信息,從而導致算法的檢測性能下降。WONG[2]利用YOLOv3分別檢測號碼簿及單個字符位置區域,通過多次的檢測來獲取目標區域,導致檢測速度過慢,無法滿足實時檢測的需求[3]。傳統目標檢測方法由于水平檢測框的限制,對于傾斜褶皺的號碼簿而言,要引入過多背景信息,對模型的訓練以及后續號碼簿的識別會產生干擾。現有基于深度學習方法的研究在簡單場景下具有較好的識別效果,但未解決在復雜場景下識別率差的問題。

針對以上問題,本文利用RetinaNet[4]較好地平衡了檢測的速度和精度,結合文本檢測方法的多角度特點,提出基于RetinaNet的旋轉目標檢測模型,針對多目標場景下傾斜扭曲號碼簿的漏檢問題,設計旋轉檢測框用于匹配傾斜號碼簿,為了避免旋轉檢測框中角度回歸的困難,利用環形平滑標簽(CSL)[5]方法將角度回歸問題轉化為角度分類問題,進一步優化傾斜號碼簿的檢測精度。實驗結果表明,相比其他基于深度學習的號碼簿檢測方法[6],本文算法對于形變號碼簿具有較高的檢測正確率,并且對目標的定位更為準確。

1 RetinaNet目標檢測模型

RetinaNet在特征提取階段采用的是基于殘差網絡(ResNet)[7]的特征金字塔(FPN)[8]形式,為了減少淺層特征的計算量,去除了通過FPN構建得到的P2層特征,保留P3、P4、P5的同時增加了2個高層次特征P6、P7,得到具有5個層次的特征,從而有效地從單分辨輸入圖片中構造出豐富的多尺度特征圖。

針對不同尺度的特征圖,RetinaNet在每個位置上都設置了9個不同大小和比例的錨框(Anchor),由于該部分產生了大量候選框,從而產生正負樣本失衡問題。Focal Loss[5]的提出有效地緩解了樣本不平衡導致的模型訓練難度大的問題,在標準交叉熵損失函數的基礎上設置了一個動態縮放因子,動態的降低訓練過程中易區分樣本的權重,從而使得模型訓練的損失更關注于難區分樣本。Focal Loss的定義如下式:

FL(pt)=-(1-pt)γlog(pt)

(1)

式中,(1-pt)γ為調制系數用來控制相關的權重值,超參數γ可根據訓練數據進行相應的調整,-log(pt)部分為交叉熵損失,具體公式如下:

(2)

式中,y∈{-1,1}為正負樣本的標簽,1表示為正例,p表示為模型預測y=1的概率,為了方便后續的使用將pt定義為

(3)

此時交叉熵損失函數簡化為

CE(p,y)=CE(pt)=-log(pt)

(4)

2 基于改進RetinaNet的號碼簿檢測模型

通過對相關實驗的分析發現,在馬拉松場景中,針對傾斜且密集分布的號碼簿,一方面要考慮目標框是否貼合號碼文本,另一方面要考慮目標框中是否引入過多背景或者其他目標信息。原始RetinaNet提供的水平檢測框具有一定的局限性,因此本文借鑒RRPN[9]旋轉框生成策略,在原水平檢測框基礎上設置具有角度信息的旋轉Anchor。

2.1 旋轉Anchor設置

基于馬拉松場景下的號碼簿特點,本文在原始RetinaNet的基礎上增加角度信息θ,通過5個參數(x,y,w,h,θ)來表示帶有方向的Anchor,x、y、w、h、θ分別表示Anchor的中心坐標、寬、高以及Anchor的長邊h與x軸的夾角,其中,θ的取值范圍在[-π/2,π/2]。考慮到拍攝距離等因素可能會導致圖像中號碼簿的大小存在差異,通過對不同場次號碼簿統計發現,除遮擋號碼簿以外,號碼簿的長寬比值變化較小。根據遮擋和傾斜號碼簿長寬比特點,將Anchor長寬比設置為1∶1、1∶2、1∶3,尺度大小依舊保持為20、21/3、22/3。為了更好地匹配傾斜號碼文本,在原有水平Anchor的基礎上增加6個方向角度-π/12、-π/6、-π/4、-π/3、-5π/12、-π/2。根據Anchor的生成規則,圖像特征圖上的每一點將生成72個不同角度、不同大小的Anchor。

2.2 角度分類方法

在傾斜目標的角度預測中,利用角度回歸的方式很難學習到精確的角度信息,導致檢測框中引入過多背景或者相鄰目標信息,對后續的識別產生一定的干擾。相比基于水平框檢測方法,改進后的旋轉RetinaNet在參數θ回歸過程中,容易受到角度周期的限制,從而產生邊界問題。角度回歸中的邊界問題如圖1所示,其中,檢測框的長寬是固定不變的,h為長邊,w為短邊。在基于180°角度范圍內,最佳的角度回歸路線是錨框逆時針旋轉到預測框,由于這種回歸方式超出了角度定義的范圍,回歸過程的損失值非常大。此時模型必須將Anchor順時針旋轉一個較大的角度,以獲取最后的預測邊界框。

圖1 基于180°范圍的角度回歸

針對角度回歸中的邊界問題,本文結合CSL,將角度回歸問題轉化為分類問題。CSL方法的主要思路是將目標角度作為一個類別標簽,通過分類的方式來限制角度預測的結果。簡單的分類方式就是將整個定義的角度范圍按照一定比例劃分,即在180°范圍內,若每10°為一類別,則可分為18類。CSL的具體表達式如下:

(5)

g(x)稱為窗口函數,其中g(x)可以為滿足以下4個條件的任意函數:周期性、對稱性、單調性以及g(x)≤1。r用來控制窗口半徑,通過對窗口函數的設置,使得模型可以衡量預測框與真實框之間的角度距離,即在一定范圍內越靠近真實值的預測值的損失值越小[6]。其中本文方法中的窗口函數為高斯函數。此時,旋轉檢測框的回歸表示為

tx=(x-xa)/wa,ty=(y-ya)/ha

tw=log(w/wa),th=log(h/ha)

(6)

tθ=(θ-θa)·π/180

(7)

(8)

3 實驗環境及數據集

3.1 實驗環境

本文所有實驗均在同一實驗環境下完成,實驗平臺為Inter?CoreTMCPU i7-9700K,8 GB RAM,NVIDIA GeForce GTX 2080 Ti,操作系統為Ubantu 16.04,采用CUDA10.0加速,實驗環境為Python 3.6,Tensorflow框架。號碼簿檢測所需的實驗數據來源于真實馬拉松賽事。

3.2 號碼簿檢測數據集

本文的研究對象為馬拉松場景下的運動員圖像,目前公開的馬拉松運動員數據集較少,僅有的RBNR數據集[1]不僅數據量少,而且與真實馬拉松場景下拍攝的圖片存在較大的差異。針對這一問題,本文在不同馬拉松網站上進行數據的收集工作,收集到的部分圖像如圖2所示。

圖2 號碼簿數據集示例

為了保證運動員數據集的多樣性,收集的樣本數據中包含各種天氣狀況、賽道起始終點、不同場次、不同拍攝角度的運動員圖片,此外,號碼簿的樣式、字體顏色、字體大小也需要考慮在內。最終在收集的圖片中篩選出5000張圖片作為實驗所需的馬拉松運動員數據集——Mathon。在對圖片進行標注工作的同時,選取4000張圖片作為訓練集,1000張圖片作為測試集。

4 號碼簿檢測實驗驗證

為了驗證本文檢測算法的有效性,在Mathon數據集上分別對RetinaNet、本文算法以及其他文本檢測算法進行相關的對比實驗。在測試階段根據圖像中號碼簿的分布情況,將測試集劃分為簡單場景和復雜場景。其中:簡單場景以單目標為主;復雜場景中號碼簿分布密集,傾斜遮擋以及小目標號碼簿居多。不同算法的檢測結果使用平均準確率(mAP)作為評價標準。

4.1 RetinaNet改進前后對比

在號碼簿檢測的對比實驗中,原始RetinaNet采用的是基于水平框檢測方法,而本文方法是基于旋轉框,由于兩種方法的數據集標注形式不一致,故對本文方法分別進行了兩組實驗:基于水平框和基于旋轉框的實驗。基于水平框的實驗中,忽略號碼簿的傾斜問題,分別對原始RetinaNet和本文算法進行對比,實驗結果如表1所示。基于旋轉框的對比實驗主要是針對角度回歸、角度分類方法的對比,實驗結果如表2所示。

表1 水平框檢測方法對比

表2 旋轉框檢測對比

從表1可以看出,在基于水平框的實驗中,RetinaNet在Mathon數據集上有較好的檢測效果。文本方法在簡單場景下雖然稍有遜色,但在復雜場景下有所提升,通過上述實驗結果對比,進一步驗證了本文方法的可行性。由表2的實驗結果可以看出,相比于角度回歸,角度分類方法的檢測效果更好。其主要原因是在角度范圍的影響下,角度的不確定性導致基于角度回歸方法的精度下降。

為了進一步展示基于水平框和基于旋轉框兩組方法的不同之處,在測試集中選取不同分布形式的的號碼簿進行相應的測試,號碼簿檢測效果如圖3所示。其中,圖片的左邊為基于水平框的檢測效果,圖片的右邊為基于旋轉框的檢測效果。當圖像中號碼簿分布密集且傾斜時,水平框方法更容易檢測到相鄰目標區域,而旋轉框方法由于角度的設置使得號碼簿的檢測更加靈活。在號碼簿的分布和背景的變化下,本文算法能準確地檢測到號碼簿區域,說明本文算法對傾斜號碼簿具有較優的檢測性能和魯棒性。

(a)密集分布

4.2 本文算法與文本檢測算法對比

對于傾斜形變的號碼簿而言,水平框檢測方法無法獲取號碼簿的精確位置,為進一步檢驗本文方法對于號碼簿的檢測性能,分別與CTPN[10]和EAST[11]兩種文本檢測方法進行對比實驗。基于旋轉框檢測方法對比結果如表3所示。

表3 旋轉框檢測方法對比

文本檢測與目標檢測方法的不同點在于文本檢測方法更關注于文字之間的空隙以及文本與背景的區分。CTPN方法針對的是橫向排列的文本定位,該方法通過生成固定寬度的豎直錨框來檢測文本區域,而在實際場景中,身體的擺動使得號碼簿的方向變化不定,因此CTPN方法對于不規則傾斜號碼簿的檢測性能大大降低。與CTPN方法相比,EAST方法更靈活。EAST針對文本區域提供了兩種形狀的文本預測框:旋轉框和水平框,以適應多角度的文本檢測。在馬拉松場景中,EAST方法針對傾斜號碼簿的檢測有了很大的提升,但對于復雜場景下的號碼簿存在漏檢以及誤檢情況,且對號碼簿的定位準確度也較差。由表3實驗結果可知,相比較于文本檢測算法,本文提出的號碼簿檢測方法在兩種場景下均有很大程度的提升,說明改進后的RetinaNet方法具有較好的檢測性能。

5 總結

針對馬拉松場景下號碼簿的密集分布、傾斜扭曲等導致現有的檢測方法準確率不高問題,本文提出一種基于改進RetinaNet的號碼簿檢測方法。以RetinaNet作為基礎網絡,設置旋轉檢測框用于傾斜目標的匹配,利用CSL方法將旋轉檢測框的角度回歸問題轉化為角度分類問題,從而滿足目標區域精確定位的需求。在自主創建的數據集Mathon上的實驗表明,本文提出的號碼簿檢測算法對于復雜背景、號碼簿尺度及傾斜扭曲等多種影響因素可較好地提取號碼簿區域,相比較其他方法,改進后的方法在一定程度上提高了檢測精度。