基于Faster RCNN的屏幕防手機拍攝算法的研究

王曉媛 張文濤 韓 磊

中國航天系統科學與工程研究院，北京 100037

隨著信息技術的不斷發展，使用手機對電腦屏幕拍照成為竊取敏感信息的便捷且隱蔽的手段[1]。近年來，因該手段導致的泄密事件正呈現逐年上升的趨勢，對網絡中重要信息的安全保密構成了嚴重威脅[2]。目前現有的防范方法主要有3種：信息隱藏顯示法[3]僅針對于文本文件的保護，無法抵御攝像攻擊；攝像頭檢測法[4-7]主要針對長期竊拍的隱藏攝像頭，目前眾多電磁信息對其影響較大；屏幕水印法[8-9]主要用于追溯，對魯棒性攻擊、幾何攻擊的抵抗性較差。綜上所述，上述3種方法均在一定程度上對待解決的問題有所妥協，而近年來國內外在目標檢測方面的深入研究為解決該問題提供了新思路。

傳統的目標檢測法有基于SVM[10]、HOG特征[11]和DPM[12]等多種方法，隨著智能時代的來臨，目前普遍使用基于深度學習的方法進行目標檢測，其中，2013年首次提出的基于區域的卷積神經網絡(Region-based Convolutional Neural Network，RCNN)[13]目標檢測法是近年來應用效果較好的方法之一，該方法結合了區域提名(Region Proposal)和卷積神經網絡(CNN)2種思想，相比于傳統方法，顯著提高了識別率。近年來，RCNN不斷發展與演進，Fast RCNN[14]利用Multi-task loss實現了多任務同時訓練，明顯加快了訓練和測試速度；Faster RCNN[15]在Fast RCNN的基礎上結合區域候選網絡(RPN)，通過共享卷積層和特征圖譜，實現快速目標識別訓練與測試。

本文針對手機拍攝屏幕的行為特點，以Faster RCNN算法為基礎，構建靜態圖片和動態視頻圖片相結合的數據集，對原始圖像數據進行特征提取后訓練，最終達到識別手機的效果，根據識別結果做出快速響應，阻斷手機拍攝行為，有效保護網絡中重要信息的安全。

1 Faster RCNN基本結構及原理

Faster RCNN相比于RCNN和Fast RCNN等目標檢測法，提高了檢測精度與速度，真正實現了端到端的目標檢測，可快速生成候選框，因此，選取Faster RCNN算法框架識別手機，以達到屏幕防拍攝的目的。

Faster RCNN結構示意圖如圖1所示，其可以簡單理解為3個模塊，分別為特征提取模塊、候選區域生成模塊和類別檢測模塊[16]。

圖1 Faster RCNN結構示意圖

1)特征提取模塊：該模塊的主要作用是獲取原始圖像特征圖。首先，對原始輸入圖進行歸一化處理，得到相同大小的圖像；然后利用基礎的卷積神經網絡模型，對其進行卷積和池化運算，提取圖像邊緣、目標邊緣等特征，最終得到空間上變小，特征深度更深的特征圖。特征圖在保留目標在原始圖像中的相對位置的同時，在深維度上編碼原始圖片上的所有信息。

2)候選區生成模塊：該模塊的主要作用是在特征圖上生成候選區域塊。RPN網絡，即區域建議網絡，是Faster RCNN中的核心部分。前一模塊輸出的特征圖為RPN網絡的輸入，首先對特征圖的每個位置產生anchors(即候選窗口)，經由Softmax分類器，確定anchors中是否包含目標物體，是則保留anchors，否則判斷其為背景；然后進行邊框回歸調整，最后輸出含有候選框的特征圖。

3)類別檢測模塊：該模塊的主要作用是判定候選區域塊的所屬類別，生成結果圖。感興趣區域池化(Region of Interest Pooling，RoI池化)和分類器是這一模塊的主要部分，前2個模塊輸出的特征圖和含候選區的特征圖均為RoI池化層的輸入，將候選框坐標映射到特征圖上，得到相同大小的矩形候選框；最后，利用分類器確定候選框內目標所屬的具體類別，最后輸出目標識別后的圖像。

在Faster RCNN算法中RPN網絡的應用使算法在檢測識別的時間大大減少，算法在GPU模式下，生成候選框，識別一張圖片僅消耗10ms的時間[15]，基本上能夠實現實時檢測。

2 數據采集與數據集建立

在算法和訓練模型相同的情況下，算法效果的好壞主要依賴于訓練數據是否恰當，合理采集數據圖片，進行預處理，建立圖片數據訓練集十分重要[17]。

2.1 數據采集

為合理設計手機識別的圖片數據集，需根據手機拍照屏幕的特點，從以下3個方面進行考慮：

1)手機在進行拍照時，需要一個支撐物進行支撐。在日常生活中、尤其在辦公環境下，人們大多采用手持的方式進行手機拍照，采集手持手機進行拍照的手勢動作，可以將手機與手作為一個強耦合的整體進行識別，如果屏幕中出現了手，就要加強對手周圍區域進行手機識別，圖2為手持手機拍照動作示意圖；

圖2 使用手機拍照的動作示意圖

2)使用手機進行拍照，在屏幕的可視范圍內，有時不需要出現整個手機及支撐物，只要手機攝像頭出現，便可進行拍照，圖3為手機攝像頭與屏幕檢測攝像頭之間的關系示意圖；

圖3 手機攝像頭與電腦屏幕間的關系示意圖

3)從拿起手機到使用手機進行拍照是一個連續的動作，具有時序性，在數據采集時錄制動作視頻，用連續的圖像作為數據集。

綜上，手機識別圖片數據集包含以下3類：

1)拍照手勢動作圖片集：包含單手和雙手2種形式，多種動作、多角度，共采集100張靜態圖片；

2)手機圖片集：目前市場上主流的智能手機品牌有20多種，出現單攝、雙攝等多攝手機，后置攝像頭在外形上多為圓形或方形，位置多在手機后的上中或左上方，多個攝像頭的排列多呈現橫排、豎排等集中排列形態，綜合以上考慮，選取100張靜態手機圖片；

3)拍照動作圖片集：采集100段拍照動作視頻，每5幀保存圖片，共選取9500張圖片。

2.2 數據庫建立

Faster RCNN屬于有監督學習，圖片集使用LabelImg工具數據標記圖片中的信息，標注的類別有：face(人臉)、hand(手)和phone(手機)，生成XML文件，內含圖片的位置信息、圖片的寬和高像素值、類別名稱、標注框的坐標點等信息。圖4為標注圖片示例。

圖4 標注圖片示例

使用深度學習方法，進行目標檢測與識別，多使用Pascal VOC數據集，該數據集格式規范標準，易于制作，使用方便[18]。為實現識別手機的任務，我們按照Pascal VOC數據集格式制作手機識別圖片數據集， JPEGImages文件夾中存放所有訓練集與測試集圖片，Annotation文件夾中存放與圖片名稱相同的XML文件，ImageSets中的Main文件夾中存放4個txt格式文件，分別存放用來訓練、驗證、訓練和驗證以及測試的圖片的名稱。

本文使用的數據集主要有以下2種特點：1)增加部分標注，在標注整體手機的同時，標注部分手機局部，增強局部特征識別，增加手機識別率；2)數據集采用靜態圖像與視頻幀圖像相結合的方式，采集多段使用手機拍照的視頻，內含拍照動作的時序性，增加手機拍攝的識別率。

3 實驗結果及分析

實驗使用的Faster RCNN算法基于TensorFlow深度學習框架，TensorFlow支持自動求導，不需要反向傳播求解梯度；加入了分布式，充分利用硬件資源，可最大化計算效率；并且具有較強的可移植性，編譯速度較快[19]。

3.1 實驗參數設置

Faster RCNN的特征提取模塊選擇VGG16基礎卷積神經網絡模型，修改目標類別名稱參數，本文需要識別的類別為3類。

針對不同的數據集，不同大小的目標，選擇合適的候選窗口anchor的大小和數量，是很必要的，可以加快收斂的速度，提高檢測速度[20]。其次，在對識別效果統計時，置信度的選擇對最終的結果影響也較大。

針對手機標簽的識別，將測試集的實驗結果分為如表1所示的4類，其中TP表示被識別的含手機正類樣本數(正確識別)，FN表示不被識別的含手機正類樣本數(錯誤識別)，FP表示被識別的不含手機的負樣本數(正確識別)，TN表示不被識別的不含手機的負樣本數(錯誤識別)。實驗模型評價方面，使用準確率(Accuracy，Acc)、精確率(Precision，P)和召回率(Recall)3個評價指標進行模型評價[21]。本實驗中，準確率是指識別正確(存在手機時正確識別出手機和不存在手機時未誤識別)的樣本數占樣本總數的比例；精確率指在所有被識別的樣本(包含誤識別)中正確識別的樣本數所占的比例；召回率指所有含手機的正類中被正確識別的樣本數所占的比例。準確率和精確率越高，表示實驗中手機樣本的識別效果越對；召回率越高，表示手機樣本的識別得越全。3個評價指標的計算公式如表1中所示。

表1 樣本分類說明表

3.2 實驗結果及分析

本文使用Python語言，實現了基于TensorFlow框架的Faster RCNN算法，對數據集中圖像數據利用Vgg16深度模型進行特征提取，通過RPN網絡生成候選區域，并由Softmax分類器及全連接層實現對候選區域的最終分類。通過前述分析可知，phone標簽的識別結果對屏幕防手機拍攝效果產生直接影響，為量化手機識別效果，本文將分別計算和統計準確率、精確率及召回率。選取96張圖片作為測試集，并對測試圖片進行有針對性的設計和分類，共分6種類型。如圖5所示，其中A類為手機后置、前置攝像頭正向對屏幕；B類為屏幕中僅出現部分手機；C類為手機安裝手機殼；D類為手機與屏幕間存在一定角度；E類為手機大部分存在故意遮擋的情況；F類為設置書本等干擾物的情況。

新生兒氣胸是一種常見的新生兒急危重癥，主要表現為氣促、發紺、吸氣“三凹征”等，嚴重將引起持續性肺動脈高壓及呼吸衰竭，危及患兒生命[1-2]。因此，及時診斷并采取有效措施治療尤為關鍵。新生兒氣胸常存在多個發生因素，本研究對氣胸新生兒及健康新生兒進行研究，旨在探討新生兒氣胸發生的高危因素，為治療及干預提供依據。現報道如下。

圖5 各類測試圖片示例

測試圖片集中存在一張圖片包含多部手機或者沒有手機的情況，288張圖片中共包含手機目標240個，具體分布如表2所示。

表2 測試集圖片類別表

試驗中分別設定置信度區間為0.6～0.95，從0.6起每增加0.05測試一次，對測試結果分別進行統計。測試結果如圖6所示。

圖6 各類測試圖片的手機識別結果示例

測試集圖片經算法識別后，手機的識別結果統計如表3所示。

表3 測試集手機識別率結果表

根據表3的結果，將3個評價指標的變化趨勢進行分析，具體如圖7所示。可以看出，隨著置信度的增大，手機目標的正確識別數逐漸增加，直至平穩，而隨著個別類型圖片的識別效果不佳，導致了精確率和準確率均出現了一定的下滑。

圖7 評價指標與置信度的變化趨勢折線圖

因此，從上述結果中可以分析如下：

1)基于Faster RCNN的手機識別算法對手機識別的精確率均在92.21%以上，最高可達到98.44%，說明算法對手機目標的識別能力較高，可以準確識別手機，達到屏幕防拍攝的目的。

2)隨著置信度的逐漸增加，精確率一直平穩增加，說明識別的目標中，正確識別的TP類數所占的比例增加，同時說明F類中誤識別為手機的FP類所占的比例減少。但當置信度從0.85增至0.95時，精確率均在98%以上，相比前一階段精確率稍微有所下降，因為達到此置信度后，FP類數目基本不發生變化，TP類數目下降，導致TP類比例有所降低。

3)置信度從0.6逐漸增加到0.95時，在準確率和召回率逐漸下降的過程中，可以發現有3個階段下降得比較明顯，根據對測試樣本的類別分類，分別統計這3個階段中準確識別手機數量減少的影響因素：

①置信度提高至0.75時，TP數的減少主要是由于C類和D類正確識別數減少，F類中誤識別數減少，其余類別識別情況基本不變；

②置信度提高至0.85時，TP數的減少主要由于D類測試集的手機識別數減少，F類中誤識別數減少，其余類別識別情況基本不變；

③置信度提高至0.95時，TP數的減少主要由于C類和E類測試集中的手機識別數減少，尤其是E類。

綜上可知影響準確率和召回率的主要因素是手機殼、角度旋轉和異物遮擋，當置信度較低時，干擾物被誤識別為手機的概率較大。當手機正對屏幕和僅有部分手機在畫面中時，識別效果較好。

3.3 屏幕防竊照方法對比

針對屏幕防手機拍照問題，本文的主要思想是利用計算機視覺識別出手機，并及時做出響應。而在此之前提出的3種解決方法適用于不同的應用背景，也有著各自的優缺點。現將這3種屏幕防竊拍方法與本文方法進行對比，具體情況如表4所示。

表4 屏幕防竊照方法對比表

4 總結與展望

本文利用Faster RCNN算法，實現了辦公環境下對手機的識別，結合識別后做出的及時響應，最終實現了屏幕防手機拍照，取得了良好的效果。

但從實驗結果數據看，識別效率還有待進一步提高。在手機安裝手機殼、手機與屏幕角度變換以及存在異物遮擋等情況下，存在少量的漏識別和誤識別。基于這些問題，后續研究中可繼續完善訓練集，增加對干擾物的學習，對測試數據集進行圖形處理，抑制復雜背景，優化RPN網絡中的候選區域生成與選擇過程，增強對攝像頭的識別等。