基于Raw I/Q和深度學習的射頻指紋識別方法綜述

陳 翔 汪連棟 許 雄 申緒澗 馮蘊天

(電子信息系統復雜電磁環境效應國家重點實驗室 洛陽 471003)

1 引言

輻射源組成器件的生產和裝配等存在一定的差異，這種硬件差異[1]使得同型號、同批次的輻射源具有一種固有的、區別于[2]其他個體的屬性，這種屬性會作用于無線電信號上，產生無意調制，但又不會影響輻射源實現其原有的通信或探測功能。通過一定的方法表征這種屬性就可以推斷無線電信號與輻射源之間的關聯關系，實現個體識別，稱之為射頻指紋識別(Radio Frequency Fingerprinting,RFF)[3]或特定輻射源識別(Specific Emitter Identification,SEI)[4]。人們起初將這種屬性描述為一種能夠區分輻射源個體的“細微特征”，進一步期望能夠如“指紋”，甚至“基因”一樣，具有很好的穩定性和魯棒性，只與輻射源的硬件差異相關，與無線信道、調制樣式、協議、接收機、溫度、時間等因素無關。因此，“細微特征”“射頻指紋”“電磁波信號基因”[5]等名稱可理解為人們期望輻射源個體識別能力達到的層次，而究竟達到哪個層次，還需進行實驗驗證，本文統一使用“射頻指紋”討論。

隨著網絡化、信息化、智能化的推進，無線電設備數量激增、電磁頻譜資源越來越稀缺，為了充分利用有限的頻譜資源，新的信號調制樣式和傳輸協議不斷出現，而智能化賦予無線電設備更強的頻譜感知[6]和自主調整載頻、調制方式等參數的能力，尤其在充滿對抗與博弈的領域中，將對電磁頻譜的爭奪推向了新的高度，這些因素導致無線電設備工作的電磁環境更加復雜，電磁頻譜的利用和管控更加困難，維護電磁空間安全面臨的挑戰更加嚴峻。射頻指紋來源于輻射源硬件差異，具有難以模仿和克隆的特性，可以增強無線網絡安全、保護數據隱私[7]，提高全球定位系統、廣播自動相關監視(Automatic Dependent Surveillance-Broadcast,ADS-B)系統等關鍵民用領域的抗欺騙能力[8]，提升電子情報偵察和電磁頻譜態勢感知等能力[9]，是維護國家電磁空間安全的關鍵技術之一，在民用和軍用領域都有著廣闊的應用前景[10]。如何在一個復雜、多變的電磁環境下，對非合作的未知信號進行射頻指紋識別是一個亟待解決的難題。

特征工程方法以特定領域專業知識為支撐，提取的特征具有較好的可解釋性，但手工設計特征費時費力，而且依賴復雜且特定于協議的知識[11]，缺乏靈活性；深度學習方法則以數據為驅動，能夠自動學習特征，快速靈活地隨任務調整，但可解釋性偏弱。深度學習方法在圖像處理、文本翻譯等領域已表現出超越特征工程方法的優勢，與圖像等數據不同，無線電信號沒有可直觀理解的視覺形式，需要使用接收機將射頻信號轉換為復基帶信號，并常保存為同向/正交(In-phase/Quadrature,I/Q)數據，I/Q數據尺寸一般為2×N，第1個維度為2，代表同向分量I和正交分量Q，第2個維度為N，代表沿時間方向的序列長度，與圖像格式類比，可看作狹長的灰度圖片，I/Q數據可以直接或經預處理后送入深度神經網絡(Deep Neural Network,DNN)模型處理[12]。早期基于深度學習的射頻指紋識別方法更傾向于先采用變換域處理方法將I/Q數據轉換為時頻圖等其他表示形式，然后再利用深度學習方法進行處理，但這種方式需要一些先驗知識，在非合作條件下存在限制。在無線電信號調制識別任務中，O’shea等人[12]在2016年首次證實了使用卷積神經網絡(Convolution Neural Network,CNN)模型直接處理I/Q數據的可行性，之后又在更大規模的數據集上驗證了該類方法的優勢[13]。2017年，DARPA啟動了射頻機器學習(Radio Frequency Machine Learning,RFML)項目，該項目直接利用原始RF數據作為機器學習技術的輸入，從而減少專家定義特征和先驗知識數量[9]，射頻指紋識別技術是該項目的關鍵應用之一。在射頻指紋識別任務中，受RFML項目支持的Riyaz等人[14]在2018年證實可使用CNN直接處理I/Q數據實現射頻指紋識別，并展示了端到端(End to End)的深度學習范式和不需要頻偏補償、協議格式等先驗知識及特定領域知識的優點。公開資料表明，使用CNN模型學習的特征來區分輻射源個體，比手工設計特征更可靠[15,16]，并且在大規模WiFi數據集[17]、ADS-B數據集[18]上的實驗進一步證實，深度學習方法相比特征工程方法的精度有大幅提升，且在低信噪比下仍能保持很高的正確率。越來越多的研究表明，直接使用I/Q數據作為DNN模型輸入的方法，在實現未知信號、未知信道環境下的射頻指紋識別方面具有巨大潛力。

雖然深度學習方法在射頻指紋識別中取得了較好效果，但仍然有很多難題需要解決，如訓練數據與測試數據分布之間的差異會導致深度學習模型性能惡化，造成這種數據分布差異的混雜因素(Confounding Factors)[19]有：訓練數據和測試數據不在同一天采集、無線信道發生變化、環境溫度變化導致振蕩器頻率發生漂移、使用不同接收機采集數據等等，如果在訓練時不采取額外措施，DNN模型更傾向于學習混雜因素表現的特征，得到一個特定于無線信道或時間的射頻指紋識別模型，而不是特定于硬件差異的射頻指紋識別模型。研究還發現，DNN模型會通過學習信號中潛在的標示輻射源ID的片段實現個體識別[20]，最終得到一個特定于協議的射頻指紋識別模型，而且DNN模型更傾向于利用這些特定信號片段作弊，產生虛高的正確率，因此，正確地使用深度學習方法是獲得特定于硬件差異的射頻指紋的關鍵。

本文將討論問題聚焦于如何利用深度學習方法直接處理I/Q數據，實現端到端的射頻指紋識別，從網絡結構和數據兩方面對基于Raw I/Q和深度學習的射頻指紋識別方法的相關研究進行回顧，厘清其發展脈絡和研究趨勢。本文首先對射頻指紋識別研究進行概覽，重點對基于Raw I/Q的DNN模型進行分析，然后對射頻指紋識別的開源數據集、數據表示方法和數據增強(Data Augmentation,DA)方法進行總結，最后進行全文總結和展望。

2 射頻指紋識別概覽

2.1 射頻指紋

輻射源的硬件差異包括DAC (Digital-to-Analog Converter)、I/Q調制器、濾波器、功率放大器等制造公差和組裝差異，這些硬件差異會作用于無線電信號，最終發射的無線電信號Tx(t)可表示為

其中，htx是輻射源的系統函數，反映了一種與輻射源個體硬件差異相關的無意調制特性，X(ω)是不包含硬件信息的有意調制信號x(t)的頻譜，W是信號帶寬，ωc是載波頻率，?表示卷積。

無線電信號Tx(t)在被接收機轉換為基帶信號Rx(t)之前，會受到信道衰落、頻率漂移、接收機非線性等混雜因素的影響，從而產生硬件差異導致的無意調制和信號的有意調制之外的失真，受混雜因素影響的基帶信號Rx(t)表示為

2.2 射頻指紋識別方法對比

圖1比較了深度學習方法在射頻指紋識別應用中的一些差異，根據是否將I/Q數據轉換為專家特征，分為基于專家特征和深度學習的射頻指紋識別方法、基于I/Q和深度學習的射頻指紋識別方法兩大類。專家特征變換是指短時傅里葉變換、小波變換、星座圖等方法，不同于DNN模型中的參數，專家特征變換需要手動設置參數，不能通過訓練得到。在基于I/Q和深度學習的射頻指紋識別方法中，專家特征變換的功能由DNN模型承擔，并且根據數據預處理的差異有兩種處置方案。方案1的預處理方式包含了“預處理①”和“預處理②”兩類，方案2僅使用了“預處理①”。“預處理①”是指無需先驗知識的數據預處理，如歸一化、切片、抽樣、插值、FFT (Fast Fourier Transformer)等操作，“預處理②”是需要先驗知識的數據預處理，如時間同步、載頻偏移和相位偏移補償等操作。本文將無需先驗知識的方案2稱為“基于Raw I/Q和深度學習方法”，并將FFT等看作I/Q數據的不同表示形式。

圖1 基于深度學習的射頻指紋識別方法對比Fig.1 Comparison of RFF methods based on deep learning

由圖1可看出，從基于專家特征和深度學習的射頻指紋識別方法到基于Raw I/Q和深度學習的射頻指紋識別方法，需要專家特征變換和預處理②的步驟逐漸減少，對先驗知識的依賴逐漸減弱，這一方面將深度學習端到端的處理流程向原始數據端推移，提升了方法的適用范圍、靈活性，另一方面對如何設計適合于射頻指紋識別的DNN模型提出了更高的挑戰，而且在沒有先驗知識可用時，只能直接利用Raw I/Q進行個體識別。下面分別對基于專家特征和深度學習的射頻指紋識別方法、基于Raw I/Q和深度學習的射頻指紋識別方法進行討論。

2.2.1 基于專家特征和深度學習的射頻指紋識別方法

基于專家特征的深度學習方法，在具有一定先驗知識時，可首先對信號進行同步、載頻偏移補償等預處理操作，緩解無線信道等不利影響，然后進行短時傅里葉變換、小波變換、星座圖等專家特征變換操作，將I/Q數據轉換為時頻特征圖、雙譜特征圖、星座圖等專家特征表示形式，最后將變換后的專家特征饋入DNN模型進行特征提取和分類識別。

2019年，Baldini等人[21]分別使用短時傅里葉變換(Short-Time Fourier Transform,STFT)、連續小波變換(Continous Wavelet Transform,CWT)和循環圖(Recurrence Plots,RP)方法將采集并幅度歸一化后的時間序列信號轉換為圖像形式，然后使用CNN進行分類，實驗結果表明CWT方法優于其他兩種方法。同年，Pan等人[22]首先對信號進行希爾伯特-黃變換(Hilbert-Huang Transform,HHT)，然后將希爾伯特譜轉換為灰度圖像，最后利用殘差網絡(ResNet)實現分類。同年，Peng等人[23]提出先將I/Q數據轉換為差分星座軌跡圖(Differential Constellation Trace Figure,DCTF)，然后再使用CNN實現分類，DCTF圖的生成不需要先驗信息進行同步，但需要根據經驗手動設置一些參數。2020年，Lin等人[24]提出先將Raw I/Q數據轉為具有統計意義的等勢星球圖(Contour Stellar Image,CSI)表示形式，然后再利用CNN模型進行分類，取得了很好的效果。2021年，袁澤霖[25]將時頻特征圖和雙譜特征圖融合之后，作為ResNet模型的輸入，實驗表明融合特征比單一特征好，但會占用更多計算資源。同年，Shen等人[26]使用STFT時頻圖作為輸入，使用CNN模型完成了分類，在利用載頻偏移(Carrier Frequency Offset,CFO)補償信息后，分類正確率得到進一步提升。

基于專家特征的深度學習方法在射頻指紋識別中已有大量效果很好的研究工作，在已知信號協議等先驗信息時，能夠針對特定問題，利用特定領域知識設計專家特征，最大化個體間差異，但該方法也存在一些不足，如需要領域知識的支撐、需要根據具體問題選擇合適的參數完成I/Q數據到專家特征的轉換、從I/Q數據到專家特征的轉換需要額外的計算量、專家特征可能特定于協議等。

2.2.2 基于Raw I/Q和深度學習的射頻指紋識別方法

Raw I/Q指未經處理的I/Q數據，這既表明接收機輸出的I/Q數據未發生信息的流失，也意味著沒有對其中不利于射頻指紋識別的混雜因素進行抑制。Shen等人[27]和Gritsenko等人[28]先利用關于信號的先驗知識對Raw I/Q數據進行載頻偏移補償、相位補償、時間同步等預處理，然后將預處理后的I/Q數據作為DNN模型的輸入，認為預處理在抑制無線信道衰落等混雜因素的同時，保留了I/Q數據中的射頻指紋。但Cekic等人[19]提出質疑，認為預處理后留在I/Q數據中的殘差可能會淹沒I/Q數據中的射頻指紋，不如使用數據增強方法來提升DNN模型對各種混雜因素的魯棒性。事實上，在非合作條件下，難以進行載頻偏移補償、時間同步等預處理，幾乎只有I/Q數據可利用。從目前的研究情況看，基于Raw I/Q和深度學習的射頻指紋識別方法至少具有以下一些優點：

(1) 不依賴特定領域知識和先驗知識，具有端到端的特點，使用數據驅動自動學習特征。

(2) 具有學習協議無關的射頻指紋的潛力，提取的射頻指紋更難偽造。依賴于特定領域知識和先驗知識的射頻指紋識別方法，一般是針對某一種協議進行設計，提取的射頻指紋可能特定于協議。而基于Raw I/Q和深度學習的射頻指紋識別方法，在使用相同的DNN模型時，能夠進行不同協議下的射頻指紋識別[29]，提取的射頻指紋獨立于物理層協議和調制方案[30,31]。還有研究指出手工設計特征可能被偽造，如通過對基帶信號的操作可改變載波頻率偏移[32]和相位偏移[33]，而深度學習方法提取的特征并沒有顯式表示，更難偽造。

(3) 可擴展性更好，部署靈活。采用預訓練或者遷移學習的方法，在一個預訓練模型的基礎上，能夠在少量樣本甚至零樣本的情況下，快速實現對未知環境下測試數據的射頻指紋識別，對不同協議或設備類型下測試數據[34,35]的射頻指紋識別。而且隨著研究的深入，有可能實現“一次訓練，隨處使用”的效果。

(4) 大規模和超大規模數量個體識別的潛力。深度學習方法擅長在高維特征空間下進行分類任務，深度學習方法已經能夠對數百個設備[17]甚至一萬個設備[11]進行個體識別，而傳統的特征工程方法一般是幾十個[36]到一百多個設備左右的規模[1]，深度學習方法更適合大規模個體識別問題。

以上對射頻指紋識別方法進行了概覽，分析了兩類方法的特點和適用范圍，并將問題聚焦于非合作條件下的射頻指紋識別。基于Raw I/Q和深度學習的射頻指紋方法對先驗知識的依賴更小、更符合端到端的學習范式，能夠利用DNN模型的非線性映射能力和復雜高維特征學習能力，在從數據中挖掘射頻指紋及各混雜因素間潛在關系方面似乎比其他方法更具優勢。深度學習研究中，可以從模型結構、訓練方法和數據3個方面提升性能，下面以僅有Raw I/Q為限定條件，對能夠直接使用Raw I/Q進行射頻指紋識別的DNN模型進行回顧分析，然后對射頻指紋識別的開源數據集、數據表示形式和數據增強方法進行總結討論。

3 使用Raw I/Q進行射頻指紋識別的深度神經網絡模型

深度學習是從數據中學習表示的數學框架，通常包含數十個甚至上百個連續的表示層，這些表示層幾乎總是使用神經網絡模型來學習[37]。全連接層、卷積層、循環層、Transformer等是構造DNN模型的基礎模塊，由這些基礎模塊組合可以構建出全連接神經網絡(Full Connected Neural Network,FCNN)、卷積神經網絡、循環神經網絡(Recurrent Neural Network,RNN)和Transformer模型等以及各種改進的DNN模型。生成對抗網絡(Generative Adversarial Nets,GAN)和自編碼器(Auto-Encoders,AE)也在射頻指紋識別中應用，屬于生成類網絡，其基礎模塊仍然由全連接層、卷積層等組成，常用于數據增強、降噪等處理，其中GAN模型還被用來探測和識別對抗性的流氓輻射源[38,39]，本文不對生成類網絡進行討論。圖2將目前基于Raw I/Q和深度學習的射頻指紋識別方法及文獻出處按照FCNN模型、CNN模型、RNN模型、Transformer模型以及幾何深度學習方法的類別進行了歸類。FCNN模型采用全連接方式，是一種早期的神經網絡結構，雖然也可以使用Raw I/Q作為輸入進行射頻指紋識別[39]，但是全連接結構不能提取和保持數據中的特征結構，難以獲得魯棒的射頻指紋，這一不足在小規模數據集上并不明顯，但隨著數據集規模的增大，FCNN模型的劣勢越來越顯著[29]。在現代深度神經網絡結構中，通常使用卷積層提取特征，使用全連接層在后端負責分類，本文不單獨對采用FCNN模型的射頻指紋識別方法進行介紹。CNN模型和RNN模型在射頻指紋識別中的引入較早，關于CNN模型的研究工作最多，Transformer模型和幾何深度學習方法的引入較晚，研究也很少，幾何深度學習方法是一種從對稱性、幾何穩定性和尺度分離角度對深度學習方法進行幾何統一的嘗試[40]，目前應用在射頻指紋識別中的是群等變卷積神經網絡模型。

圖2 基于Raw I/Q和深度學習的射頻指紋識別方法分類Fig.2 Classification of RFF methods based on Raw I/Q and deep learning

基于Raw I/Q和深度學習的射頻指紋識別方法雖然對專家特征和先驗知識依賴更少，但是對神經網絡建模的要求更高，文獻[62]指出增大射頻指紋識別數據集的規模和樣本多樣性，并不總能提高模型的泛化性能，需要更具有洞察力的神經網絡建模方法才能繼續提升模型性能，DNN模型的設計在射頻指紋識別中至關重要，下面按照圖2的分類對各種模型進行詳細回顧分析。

3.1 卷積神經網絡模型

CNN模型是射頻指紋識別中應用最多、最早的網絡結構，卷積和池化是其關鍵操作，CNN模型具有局部感受野、權值共享的特點。CNN模型首先在圖像處理領域應用和發展，在射頻指紋識別領域中的應用也按照類LeNet模型、類AlexNet模型、類VGG模型、殘差網絡、注意力機制等的路線發展，下面對各種使用Raw I/Q進行射頻指紋識別的CNN模型進行回顧分析。

3.1.1 基礎卷積神經網絡模型

(1) 類LeNet模型

能夠直接處理Raw I/Q的CNN模型首先于2016年應用在信號調制樣式識別[12]中，該CNN模型類似于LeNet模型，由2個卷積層和2個全連接層組成，這啟發了射頻指紋識別相關的工作。2018年，Riyaz等人[14]提出了RFF-CNN1模型(圖3(a))，由2個卷積層和1個全連接層組成。2019年，Sankhe等人[63]提出了ORACLE模型(圖3(b))，由2個卷積層和2個全連接層組成，第1個卷積層有50個1×7卷積核，每個卷積核分別提取I,Q兩路特征；第2個卷積層使用50個2×7卷積核，將I,Q兩路特征合并，經最大池化后送入全連接層分類，全連接層使用了Dropout層和L2正則化技術防止過擬合。圖3(a)和圖3(b)都是類LeNet模型[15,48,56]，通常只有兩三個卷積層，適合于解決小規模射頻指紋識別問題，常作為基準模型，是早期處理Raw I/Q的CNN模型。

(2) 類AlexNet模型

2019年，Restuccia等人[17]提出了DeepRadioID模型(圖3(c))，其網絡更深，是一種類AlexNet模型，可實現更大規模的射頻指紋識別問題。2020年，Sankhe等人[30]在50～500個設備的不同規模WiFi數據集上測試了DeepRadioID模型，實驗發現對于50個設備的WiFi數據集，當訓練數據和測試數據不在同一天時，識別率從85%下降到46%。同年，Al-Shawabka等人[57]對DeepRadioID模型進行了簡單修改，重復堆疊了5次圖3(c)中的基本單元塊，并增加了一個全連接層，在DARPA超大規模數據集上的研究表明無線信道會顯著影響分類精度。

(3) 類VGG模型

2020年，Elmaghbub等人[58]設計了RFF-CNN2模型(圖3(d))，是一種類VGG模型，基本單元塊由16個1×4卷積核的卷積層、批量歸一化(Batch Normalization,BN)層和最大池化層組成，通過重復堆疊基本單元塊完成特征提取，并使用一個平均池化層將特征聚合，然后通過分類全連接層和Softmax層輸出分類結果。2021年，崔天舒等人[59]提出了IQCNet模型，結構如圖3(e)所示，基本單元塊由2個卷積層和1個最大池化層組成，其特點是首先使用了32個2×1卷積核提取I,Q兩路的相關特征，有效降低了模型參數量和計算量，更適合輕量化部署。

圖3 使用Raw I/Q進行射頻指紋識別的基礎卷積神經網絡模型Fig.3 The basis CNN model inputted with Raw I/Q for RFF

以上回顧了幾種直接使用Raw I/Q進行射頻指紋識別的基礎卷積神經網絡模型，其設計主要受到LeNet等經典網絡模型啟發，由1～2個卷積層與最大池化層串聯組成基本單元塊，然后通過重復堆疊這種基本單元塊完成自動特征提取。卷積核沿著時間的方向滑動提取I/Q信號的局部時間關系，卷積核在整個信號切片上共享參數，符合射頻指紋的唯一性和不變性特點；池化層用于提高網絡在時間維度上的魯棒性并實現下采樣。在完成逐級特征提取之后，可以使用多個級聯的全連接層，也可以使用平均池化層進行特征聚合后再饋入分類全連接層，最終完成射頻指紋識別任務。

3.1.2 殘差設計

殘差設計[64]能夠很好地緩解網絡退化問題，降低梯度消失的風險，訓練更深的網絡。2019年，Gritsenko等人[28]參考ResNet-50模型，并根據I/Q數據的一維時間序列特點，設計了一種ResNet-50-1D模型(圖4(a))。ResNet-50-1D模型使用一維卷積層，標識模塊和卷積塊是基本單元塊，并配置有跳躍連接。在500個設備的WiFi數據集和ADS-B數據集上的實驗表明，ResNet-50-1D模型的性能比DeepRadioID模型分別提升了15%和7%。在超大規模(10000個設備)WiFi和ADS-B數據集上的實驗表明[11]：訓練集數據越多，ResNet-50-1D模型和DeepRadioID模型越準確；環境和信道條件會影響分類準確性；在ADS-B數據集上的準確性更高；在訓練前去除信道效應并不總是能帶來更好的結果；某些時候Deep-RadioID模型的性能會優于ResNet-50-1D，更深層次的網絡并不一定更好。2020年，翁琳天然等人[45]設計了一種ResNet模型，并與雙譜特征工程方法和基于Raw I/Q的CNN模型方法進行了對比，研究表明，深度學習方法對噪聲具有更強的魯棒性，且ResNet模型比CNN模型的性能更好。2021年，Zhang等人[46]設計了一種RFFResNet模型(圖4(b))，其參數數量為ResNet-34-1D模型的一半左右，使用手機信號的實驗表明，網絡的規模并不是越大越好，需要與數據集相匹配；在高信噪比下使用足夠規模的數據訓練，才能學習到魯棒的射頻指紋而不產生過擬合。

圖4 使用Raw I/Q進行射頻指紋識別的ResNet模型Fig.4 The ResNet model inputted with Raw I/Q for RFF

殘差設計是一種即插即用且簡單有效的方法，能夠方便地與其他方法集成，如在復數網絡中就能夠看到殘差設計的例子，隨著網絡層數的加深，模型的學習能力將進一步提升，更適合于解決大型數據集問題。

3.1.3 復數改造

復數是無線電信號的自然表示形式，復數DNN模型[65]可以直接處理復數，理論上可以獲得更好的效果，在射頻指紋識別問題中，Chen等人[66]在真實的LoRa (Long Range)和WiFi數據集上，進行了不同網絡層、網絡層的組件(卷積濾波器或其輸出)和網絡層輸出的實部、虛部分量等情況的消融(Ablation)實驗，證實了在模型參數量大致相同時，復數DNN模型能夠更有效地利用I路和Q路的特征信息，復數DNN模型的性能始終優于實數DNN模型。

2019年，Gopalakrishnan等人[20]設計了一種復數CNN模型(圖5(a))，該模型由2個復數卷積層和2個全連接層組成，首先使用2個復數卷積層提取特征，然后使用模值提取層將復數表征轉換為實數表征，并送入時間平均(temporal averaging)層。實驗表明，相比實數CNN模型，復數CNN模型在ADS-B數據集上性能提升了6.66%，在WiFi數據集上性能提升了1.64%；在訓練信號中添加高斯白噪聲能夠迫使網絡學習更魯棒的射頻指紋；訓練數據中應去除包含輻射源標識的信號片段，防止網絡學習信號中蘊含的輻射源ID等標識身份信息。Agadakos等人[29]和Stankowicz等人[42]也設計了復數CNN模型，在DARPA數據集上的實驗表明，復數CNN模型在射頻指紋識別任務中具有更強的表示能力和潛在的泛化優勢，在多種協議、信道衰落影響和信噪比變化的情況下具有更高的正確率，同等情況下所需網絡參數更少，對噪聲具有抑制作用。2020年，Cekic等人[19]繼續使用文獻[20]中的復數CNN模型研究了不同采集時間(訓練與測試不在同一天)、時鐘漂移和無線信道變化等混雜因素對射頻指紋的影響。結果表明，除非主動采取一些手段阻止深度神經網絡，否則神經網絡會主動學習混雜因素表現的顯著特征，而不是硬件的射頻指紋特征，并提出使用數據增強方法來提升網絡的泛化性能。2020年，Gu等人[43]設計了一種復數CNN模型(圖5(b))，其在每個復數卷積層和復數全連接層之后增加了1個復數BN層和1個Dropout層，可以加快訓練速度、避免過擬合，在無人機遙控實測數據集上的實驗表明，復數CNN模型優于實數CNN模型、FCNN模型。2020年，Wang等人[44]設計了一種復數ResNet模型(圖5(c))，其通過8個堆疊的復數殘差塊提取特征，然后使用3個全連接層分類，在20個設備WiFi數據集上的實驗結果表明，復數ResNet模型比復數CNN模型和基于等勢星球圖的實數CNN模型性能都好，其推理耗時在13.6 ms以內，比復數CNN模型的計算時間稍長，但遠小于基于等勢星球圖的實數CNN模型推理耗時，復數ResNet模型即使不進行載頻偏移和相位偏移補償也能夠達到很高的精度。

圖5 使用Raw I/Q進行射頻指紋識別的復數深度神經網絡模型Fig.5 The complex-valued DNN model inputted with Raw I/Q for RFF

在射頻指紋識別問題上，同等條件下復數DNN模型比實數DNN模型的性能更好，而且復數DNN模型對信噪比變化、時間、時鐘漂移和信道變化等混雜因素的魯棒性更好，對不同協議、個體數量規模等變化的適應性和擴展性更好。

3.1.4 其他改進方法

(1) 添加注意力機制的神經網絡模型

注意力機制能夠有選擇地加強重要信息的通道，抑制無效信息的通道，Peng等人[51]在CNN模型中引入了注意力機制SE (Squeeze-and-Excitation)模塊，在WiFi數據集上的實驗表明，添加了SE模塊的CNN模型在低信噪比下，正確率更高、性能更為魯棒。此外，如果能夠稍微利用一些先驗知識，還能夠進一步提升網絡的性能，如Weng等人[52]提出了一種利用消息結構的先驗信息輔助的注意力卷積網絡(Message Structure aided Attentional Convolution Network,MSACN)，該網絡將具有不同波形分布的信號部分分離并饋入識別網絡，然后對多個數據塊中的特征圖進行提取和合并，并且為低維離散信號設計了一種空間注意力機制。實驗表明，MSACN模型的正確率優于CNN模型[56]、ResNet模型[34]和卷積長短期記憶深度神經網絡(Convolutional Long short-term Deep Neural Network,CLDNN)[49]模型。

(2) 多采樣卷積神經網絡模型

2019年，Yu等人[54,55]提出了一種多采樣卷積神經網絡(Multi-Sampling Convolutional Neural Network,MSCNN)模型，其通過使用多個下采樣變換自動進行多尺度特征提取和分類，不同的下采樣變換能夠捕獲反映局部區域細微變化的短期特征和反映總體趨勢的長期特征，從而得到不同長度的多采樣基帶信號。在54個ZigBee設備數據集上的實驗表明，在視距、非視距和各種信噪比情況下，MSCNN模型都比CNN模型[56]的魯棒性更好。需注意的是MSCNN模型輸入的I/Q數據經過了頻率偏移、相位偏移的補償以及對齊預處理操作，雖然這些預處理需要一些待識別信號的先驗知識，但多采樣的處理方式具有很好的啟發性。

(3) 增強的擴張因果卷積神經網絡模型

2020年，Robinson等人[31]設計了一種增強的擴張因果卷積(Augmented Dilated Causal Convolutional,ADCC)模型，作者認為輻射源由具有因果關系的模擬組件組成，因果關系就是射頻指紋的屬性。ADCC模型使用堆疊的殘差塊從每個樣本的前1600個I/Q值中提取并產生2500個特征，然后使用較小的擴張卷積核從剩余的20個子序列中提取2500個特征，最后將殘差塊和擴展卷積核提取的特征串聯，作為最終的輸入特征。從較小子序列提取的特征不會受編碼有標定個體身份信息片段的影響，擴張卷積在不增加網絡參數的情況下擴大了感受野，這些優點使得ADCC模型能夠學習與協議無關的硬件指紋，在訓練數據與驗證數據的分布相似的情況下能夠獲得很高的準確率。作者進一步指出，均衡信號的預處理方法可能同時消除信道效應和輻射源的射頻指紋，不能推廣到所有的信號類型。

(4) 雙路卷積神經網絡模型

2020年，Tian等人[53]提出了一種雙路CNN模型，將WiFi前導信號的短訓練序列和長訓練序列分別送入兩個并行的支路，支路的網絡結構與ORACLE模型的卷積層基本一致，并在卷積層之后增加了BN層，經過兩個卷積層的特征提取之后，將兩個支路的特征圖融合，作為全連接層的輸入。

除了以上討論的基礎卷積神經網絡及其改進方法之外，研究者還利用DenseNet[67]、3D卷積神經網絡[68]、降噪自編碼器[69]、離散小波變換池化[70]等方法進行射頻指紋識別，為我們提供了開闊的思路。

卷積和池化是CNN模型的核心，它賦予了CNN模型平移等變性和局部感受野，是CNN模型解決問題的歸納偏好(inductive bias)[71]，是其能夠提取具有唯一性和不變性的射頻指紋特征的保證。通過加深網絡層次、改進訓練方法、進行復數化改造、引入殘差設計等手段可以進一步提升網絡的多層次特征提取和聚合能力。在具備待識別信號部分先驗知識的情況下，還可以利用先驗知識進一步對網絡結構進行改進，提升網絡針對特定信號的射頻指紋提取能力。此外，有研究者指出輸入端數據的平移，縮放等的微小差異可能導致CNN模型輸出概率的顯著變化[72]，CNN模型的平移等變性并不具有一般性，在一些情況下并不滿足平移等變性，CNN模型本身仍然需要改進。

3.2 循環神經網絡模型

RNN模型擅長提取數據的時間相關性特征，在視頻處理、語音識別等方面已得到了成功應用，簡單的RNN模型存在長期信息保存和短期輸入跳躍之間的矛盾，長短期記憶(Long Short-Term Memory,LSTM)網絡模型則很好地克服了這個不足，下面主要介紹RNN模型中的LSTM網絡等模型在射頻指紋識別中的應用。

3.2.1 長短期記憶網絡模型

2018年，Wu等人[49]提出使用LSTM模型進行射頻指紋識別，該網絡由1個LSTM層和1個Softmax層組成，在多個USRP數據集上的實驗表明，LSTM網絡模型在低信噪比時可取得很好的效果。同年，Jafari等人[48]也設計了一種LSTM模型，該網絡由3個堆疊的LSTM層和1個全連接層組成，在6個同型號的ZigBee設備上的實驗表明，FCNN模型和CNN模型的正確率明顯優于LSTM網絡模型。2021年，Al-Shawabka等人[50]設計了一種RFFLSTM模型(圖6(a))，該模型由3個堆疊的LSTM層和1個全連接層組成，每個LSTM層的神經元個數為輸入數據的長度，每個LSTM層之后使用概率為0.5的Dropout操作減少過擬合，在100個LoRa設備數據集上的實驗表明，總體上CNN模型[57]在所有場景中都比LSTM網絡模型工作得更好。

與CNN模型相比，RNN模型在射頻指紋識別中的研究工作相對較少。在小規模數據集上LSTM模型的性能優于CNN模型，而在大規模數據集上的實驗表明，CNN模型優于LSTM模型。LSTM模型效果不如CNN模型的原因可能是LSTM模型提取的是時間相關特征，而沒有關注空間相關特征，而這些時間相關特征并不是輻射源的射頻指紋，可能是特定于某種混雜因素的特征，比如網絡模型使用某一段時內的信道特征進行個體識別，當信道環境發生變化時，模型的性能就會顯著下降。

3.2.2 聯合CNN和RNN模型

聯合CNN和RNN模型可以同時利用CNN模型提取空間相關特征和RNN模型提取時間相關特征的優點，在無線電信號調制識別研究[73]中，已證實CLDNN模型比單獨使用CNN模型性能上有大幅提升。2019年，Roy等人[60]設計了一種RFF-Conv-LSTM2D模型(圖6(b))，該模型由2個ConvLSTM2D層和2個全連接層組成，在8個同型號USRP B210數據集上的實驗表明，RFF-ConvLSTM2D模型的正確率達到了97.2%，高于GRU模型(95.3%)和LSTM網絡模型(92%)。2020年，Soltani等人[61]設計了一種RFF-ConvRNN模型(圖6(c))，該模型由卷積單元模塊、RNN單元模塊和全連接單元模塊組成，其中卷積單元模塊由7個重復堆疊的卷積層和最大池化層組成。首先使用卷積單元模塊提取空間相關特征，然后使用SimpleRNN層提取時間相關特征，最后使用全連接層完成分類，在DARPA數據集(50個WiFi輻射源)上的實驗表明，在未使用數據增強方法的時候，RFF-ConvRNN模型正確率要優于DeepRadioID模型[57]，而當使用數據增強方法時，DeepRadioID模型的正確率反而略優于RFF-ConvRNN。2020年，Liu等人[33]設計了一種混合網絡模型(圖6(d))，該模型由具有擴展卷積和SE模塊的一維殘差卷積網絡(one-dimensional residual convolution network with dilated convolution and squeeze-and-excitation block,Conv-OrdsNet)和深度雙向長短期記憶(Deep BidirectionalLong Short-Term Memory,DBi-LSTM)網絡組成，輸入數據為固定長度且有3個通道，即I路、Q路和相位值，相位值用于輔助提取特征和加快收斂，在16個同型號USRP數據集[63]上的實驗表明，該模型不需要利用信號中的特定片段，在低信噪比條件下仍能保持高準確率，在相同正確率下需要的I/Q樣本更短；在消除了信號中功率、頻率偏移、相位偏移等不利影響后，該模型仍可以從信號中提取與身份相關的其他隱藏特征，具有更強的抗干擾能力和更好的魯棒性。

圖6 使用Raw I/Q進行射頻指紋識別的循環神經網絡模型Fig.6 The RNN model inputted with Raw I/Q for RFF

聯合CNN和RNN模型的特征提取能力，在一些問題上能夠獲得更好的性能，但也有研究指出，在測試數據與訓練數據分布不一致時，CNN模型的性能會略優于聯合CNN和RNN模型，導致這種反直覺結果的原因可能有兩個方面：一是CNN模型能夠捕獲信號中存在的具有平移不變性的特征，RNN模型能更進一步捕捉到不同尺度上重復出現的模式在時間上的相關性，這可能是頻率漂移類的長時特征，也可能是波形上升沿突變部分的短時特征，還有可能是無線信道等混雜因素所表現的時間相關特征，而且在不同場景下無線信道等混雜因素所引起的特征很可能比輻射源固有特征更為顯著，這將導致RNN模型的引入反而使得混合模型的性能惡化；二是CNN模型通過加深網絡層數，能夠獲得更大的感受野，從而具有挖掘更大時間尺度上模式相關性的潛力，這一定程度上彌補了CNN模型在時間關聯特征提取方面的劣勢。聯合CNN和RNN模型的一些實驗結果表明，設計更強大神經網絡模型的同時，還應時刻注意在數據集、數據增強方法、訓練方法等方面加以約束和驗證，否則可能造成過擬合，導致網絡泛化性能的下降。

3.3 Transformer模型

Transformer模型是不同于FCNN模型、CNN模型、RNN模型的結構，其完全基于注意力機制，通過編碼器和解碼器操作提取特征，2017年首次應用在文本翻譯[74]中，2020年首次使用純Transformer模塊構建的ViT (Vision Transformer)模型[75]實現了圖像識別，目前利用Transformer模型進行射頻指紋識別的研究較少。2021年，Xu等人[41]提出使用改進的Transformer模型和類內分割方法(Intra Class Splitting,ICS)進行未知輻射源識別，只使用Transformer模型的編碼器部分提取射頻指紋，該模型利用無線信號的符號率和采樣率作為先驗知識來修改self-attention中的節點連通性，用以降低計算復雜度和提取更魯棒的特征，在30個USRP數據集上的實驗表明，該方法能夠以高精度拒絕來自未知發射器的信號，分類精度優于現有的其他開集識別(Open-Set Recognition,OSR)方法。2021年，Shen等人[27]使用Transformer模型實現了可變信號長度下10個同型號LoRa設備的個體識別，但是該Transformer模型的輸入數據表示形式為STFT時頻譜圖，本文將使用STFT數據表示形式歸類到基于專家特征的一類方法，詳細討論見4.2節。

相較于CNN模型和RNN模型，Transformer模型具有全局視野和更好的并行計算能力，CNN模型和RNN模型一般只能處理固定長度的輸入數據，而Transformer模型能夠處理可變長度的輸入數據，這一特點使Transformer模型具有更好的靈活性和可擴展性。Transformer模型的應用也存在一些限制，如Transformer模型的歸納偏好更少，幾乎完全從數據中學習，而CNN模型和RNN模型具有局部感受野、空間等變性、時間等變性等較強的歸納偏好，達到相同性能，Transformer模型需要更多的訓練數據。在文本、圖像等領域已有不少開源、大規模、高質量數據集，在射頻指紋識別領域還較少，這限制了Transformer模型在射頻指紋識別中的應用。

3.4 幾何深度學習模型

雖然深度學習方法成功應用于很多領域，并形成了各種網絡結構，但DNN模型的設計并沒有統一的指導原則，似乎更倚重于經驗。2021年，Bronstein等人[40]提出以對稱性和不變性為第一原則，從中導出不同的歸納偏好和網絡架構，并將這種幾何化的嘗試稱為“幾何深度學習”。

對稱是一種保持某種性質或結構的變換，對一個給定的結構，所有變換的集合形成一個對稱群，如卷積層的平移等變性就是一種對稱性，輸入到卷積層的移動會在輸出特征圖中產生相同數量的移動，這在圖像處理中就是一種合理的幾何先驗，對應的直觀理解就是物體的類別與其在圖片中出現的位置無關。類比之，從無線電信號的不同時間片段中提取的射頻指紋應當保持一致，CNN模型的平移等變性對于射頻指紋識別問題是一種合理的對稱性假設，CNN模型在射頻指紋識別中的成功應用也證實這一假設的合理性。但實際中無線電信號會受到無線信道衰落、溫度變化引起的頻率偏移等混雜因素的影響而產生幅度、相位上的變化，這使得測試數據分布相對訓練數據分布發生了改變，可能導致了網絡模型性能的下降。如果能在平移等變性的基礎上，繼續賦予網絡合適的、額外的對稱性，那么就能進一步加強網絡模型針對射頻指紋提取的歸納偏好，提升網絡模型利用數據的效率，從另一個角度來說更強的歸納偏好等價于更多的訓練數據。另外，研究發現利用多個不同時間采集的數據、不同接收機采集的數據、數據增強方法、多樣化的輸入數據表示等訓練網絡，能夠提高網絡對輸入數據變化的魯棒性、有效降低測試數據與訓練數據分布不一致時的網絡模型性能的降級，但是這種依賴于數據多樣性的方法并不總是可行，比如采集的數據不可能覆蓋所有應用環境、數據增強方法中只能在一定范圍內對信號進行頻率偏移、相位偏移等操作，最終還是需要新的數據驅動方法[47]，如從幾何深度學習角度探索如何賦予網絡額外對稱性的方法就是一種有效的思路。假設我們期望從接收機輸出信號Rx(t)中提取一種不受信道等混雜因素影響的射頻指紋，這需要特征提取器f對Rx(t)及其變換)能夠保持不變。

其中，(t)是Rx(t)受到混雜因素影響后發生的某種變換，如信道衰落對無線電信號的作用。

以多徑信道衰落為例，接收信號Rx(t)的極坐標形式為reiθ,r∈R+,θ∈R，徑向分量r和角分量θ各自形成獨立的李群，徑向分量是標量乘法下的阿貝爾李群 R+，角分量是阿貝爾李群θ ∈R/2πZ}，與SO(2)群同構，則李群R+×U(1)可以捕獲幅度衰減(信道的增益)和角旋轉(信號相位的偏移)。

2021年，Brown等人[47]設計了一種信道魯棒表示網絡(Channel Robust Representation Networks,ChaRRNets)模型，該模型對群等變卷積神經網絡[76](Group equivariant Convolutional Neural Networks,G-CNNs)進行了復數改造，并引入了wFM運算[77]，使其適用于無線電信號處理。當信號帶寬小于信道相干帶寬時，可看作平坦衰落信道，此時可假設信號在每個頻率上都位于同一個流形上，每個頻率上受到的信道擾動都符合 R+×U(1)，即在每個頻率上的擾動具有不變性。仿真實驗表明，ChaRRNets模型具有對多徑衰落的魯棒性，并且模型中包含的域偏移大大增加了模型對訓練數據中不存在的多徑信道環境的泛化能力；DARPA數據集上的實驗表明，在大規模個體數量和較少訓練樣本情況下，ChaRRNets模型比復數CNN模型具有更好的分布外泛化能力，這將減輕數據收集的負擔。

目前幾何深度學習在射頻指紋識別中的研究工作很少，從群等變卷積神經網絡在射頻指紋識別中的應用效果看，合理的對稱性假設，能夠賦予網絡特殊的歸納偏好，從而大幅提升網絡對特定問題的特征提取能力，實現更高效的數據利用，得到泛化能力更強的模型，具有很大的潛力。

至此，本文對使用Raw I/Q進行射頻指紋識別的DNN模型進行了系統回顧，并對各研究結果進行了討論。從以上各研究工作的結論中也可以注意到，網絡模型與建模數據和訓練方法等是一個相互關聯的整體，提升射頻指紋識別能力還需要其他方面的配合，下面將對近年來射頻指紋識別研究在數據集、數據表示形式和數據增強方面的工作進行總結。

4 射頻指紋識別的開源數據集、數據表示形式和數據增強方法

4.1 開源射頻指紋數據集

數據、算法和算力是深度學習的3大支柱，高質量、大規模和開源的數據集是推動深度學習發展的重要力量。在無線電信號處理方面，由于其相對小眾的特點和對特定領域知識的依賴，無線電信號數據集的規模、數量和開源程度都很小。目前，在無線電信號調制識別中，RML2016.10a[12]和RML2018.01a[13]兩個數據集使用較為廣泛。而在射頻指紋識別中，雖然也存在一些開源數據集，但是由于射頻指紋識別相對調制識別的差異性，如射頻指紋更容易受無線信道等多種混雜因素的影響，導致建立射頻指紋識別數據集考慮的因素更多，投入更加巨大。另外，由于射頻指紋數據集具有潛在的應用價值，導致DARPA等建立的超大規模射頻指紋識別數據集并未開源，現有的開源射頻指紋數據集還遠不能滿足研究的需求。

表1列出了部分現有的開源射頻指紋數據集，并按照發射端配置，環境、信道、采集時間等配置，接收端配置3個部分進行了總結，以供后續數據集的建立提供參考。發射端通常選擇較為常見、數量巨大、獲取方便的WiFi信號、ADS-B信號、LoRa信號、ZigBee信號等作為研究對象。接收端一般使用USRP作為接收機，采樣率需覆蓋待識別信號的有效帶寬，并保持過采樣。根據研究目的進行環境、信道等配置，例如配置收發機之間直視和非直視的傳輸環境，在不同時間進行數據采集，改變收發機之間的距離，在實際工作環境或電波暗室中采集等。

表1 開源的射頻指紋數據集Tab.1 Open source dataset of radio frequency fingerprint

在早期的一些射頻指紋數據集上，深度學習方法已達到了很高的精度，但這并不能說明已經提取了魯棒的射頻指紋，在小規模、直視信道環境數據集上建立的模型并不能外推到大規模、非直視傳輸環境和不同時間段的測試環境。RMFL項目組在DARPA超大規模數據集上的研究[11,61]證實了這一點，輻射源數量的增加、不同時間采集的訓練數據和測試數據、不同的接收機等情況都會使個體識別率顯著下降。因此，在構建射頻指紋數據集時，需要考慮輻射源個體數量、收發機距離、多徑效應、溫度、不同接收機等各種因素，已有研究者按照SigMF標準[78]建立了多個射頻指紋數據集[79]，其使用元數據詳細描述采集I/Q數據時的發射端設置、環境和信道等配置、接收端參數配置等詳細信息。另外，在未知輻射源識別研究中，用于檢驗模型訓練數據分布外泛化能力的數據必須是未知數據，而且數據集中個體數量必須足夠多才能開展開集識別研究。樂波等人[80]的研究表明接收機畸變會對射頻指紋產生嚴重影響，目前大多數射頻指紋識別研究都是保持接收機不變，從而忽略接收機對射頻指紋的影響。但是，在射頻指紋識別應用的部署階段，我們更希望一次采集和訓練得到的模型能夠部署到不同的接收機上，而不是為每個接收機建立模型，因此建立多接收機的數據集也很有必要。

一個開源的、有一定規模的、高質量的射頻指紋數據集能夠讓研究者在同一基線上客觀地對比各自方法，在構建射頻指紋數據集時，還應考慮無線信道環境、溫度、采集時間和接收機等多種混雜因素的影響，以便為研究射頻指紋的魯棒性、模型的訓練數據分布外泛化能力、不同接收機上的射頻指紋識別部署等多種問題提供支持。

4.2 射頻指紋識別的數據表示形式

使用深度學習進行無線電信號處理是一個較新的研究方向，網絡輸入的最佳數據表示形式可能取決于DNN模型架構、學習目標和損失函數的選擇[88]，在無線電信號調制識別和在無線信號干擾檢測任務中發現，數據表示形式與任務和SNR相關[89]，合適的數據表示形式可提升DNN模型的性能。在射頻指紋識別中數據表示形式有I/Q、A/φ、FFT、自然對數(Nature Logarithm,NL)、差分I/Q等。表2列出了無先驗知識時，射頻指紋識別中有關數據表示形式研究的文獻及其結論，并給出了各項研究中使用的網絡模型、信號類型和設備數量。表2的STFT作為一種數據表示形式，為了實現較好的時頻特征提取，實際上需要一些知識來設置合適的參數。

表2 數據表示形式的研究Tab.2 Research of data representation

文獻[42]發現，在使用復數CNN模型時，采用I/Q+FFT表示形式比I/Q表示形式更好。文獻[90]發現，在使用LSTM模型時，采用I/Q+NL表示形式相比NL表示形式沒有顯著提升，但是結果更加穩定。文獻[51]發現，在低信噪比下，FFT表示形式比I/Q表示形式更好。文獻[91]發現，差分I/Q表示形式比I/Q表示形式更好，需注意雖然差分處理能夠減輕相位旋轉、載頻偏移和多普勒效應的影響，但是合適的延遲參數仍需要手工設置。文獻[85]發現，在使用CNN模型時，I/Q表示形式和A/φ表示形式更好，對變化信道更具魯棒性，可推測在頻域中信道對射頻指紋的影響比時域中更大。文獻[26]發現，STFT表示形式比I/Q表示形式和FFT表示形式都好，在采取頻偏補償后，3種表示形式的模型正確率都得到了顯著提升。文獻[50]發現，在設備數量少于10個時，LSTM網絡模型與A/φ表示形式和STFT表示形式的結合優于其他組合方式；在設備數量為10～49個時，A/φ表示形式優于幾乎其他所有情況；在設備數量大于50時，I/Q,A/φ,STFT 3種表示形式時模型的性能都很差。文獻[66]發現，在使用CNN模型時，在LoRa數據集上，I/Q表示形式更好；在Wired和WiFi數據集上，A/φ表示形式更好；在使用復數CNN模型時，在LoRa和WiFi數據集上，I/Q表示形式更好，在Wired數據集上，A/φ表示形式更好。

綜上所述，射頻指紋識別的最佳數據表示形式與深度學習架構、信號類型和任務規模相關，如文獻[50]的研究中發現，3種數據表示形式和兩種網絡模型的不同組合產生的性能就有很大不同，文獻[26]和文獻[50]的研究都發現對于LoRa這種線性調頻信號，針對時頻特征提取的STFT表示形式更具優勢。因此，所設計的網絡結構應盡可能利用I/Q及其衍生的其他數據表示形式，且當數據表示形式與網絡模型相適合時才會獲得較好效果，通過某種簡明的判別條件在多種數據表示形式或其組合中快速搜索最優數據表示形式，也許是一種兼顧正確率與效率的方法。

4.3 射頻指紋識別的數據增強方法

非合作條件下，有效數據少，DNN模型得不到充分訓練，容易發生過擬合，而且非合作還意味著需要在未知環境下進行射頻指紋識別，由此導致的訓練數據與測試數據分布不一致也是一大挑戰。使用信號協議知識均衡信道可能同時消除信道環境和射頻指紋特征，但均衡不能推廣到所有的信號類型[31]，數據增強(Data Augmentation,DA)方法是一種緩解以上問題的有效措施。數據增強方法能夠在一定程度上彌補訓練樣本匱乏的問題，并且通過賦予數據多樣性，能夠緩解過擬合問題，降低對某些混雜因素的敏感性，提高DNN模型的泛化能力。數據增強方法可以看作一種對深度學習模型的正則化處理[92]手段，與Dropout、權重衰減等顯式手段不同，數據增強方法并沒有降低網絡模型的容量和增加計算復雜度。數據增強方法已在圖像識別等任務中獲得成功應用，在無線電信號調制識別任務中，有疊加高斯噪聲[93]、施加信道衰落效應等數據增強方法。與信號調制特征不同，射頻指紋特征更容易受信道等混雜因素影響，如何進行數據增強、提高射頻指紋在混雜因素下的魯棒性是值得研究的問題。下面對射頻指紋識別的數據增強方法進行回顧討論。

(1) 高斯白噪聲

添加不同信噪比的高斯白噪聲可以模擬收發機間不同距離的衰減，是最常用的數據增強方法，該方法可以使模型在不同信噪比下都具有較好的性能。Shen等人[27]使用高斯白噪聲進行射頻指紋數據增強，分別采用在線、離線和無增強策略訓練了Transformer模型，實驗表明在線增強策略訓練的模型在噪聲魯棒性方面更好，訓練時間比離線增強策略的時間長。

(2) 信道衰落模型

特定信道環境下訓練數據建立的模型可能隨著信道環境的變化而惡化[19]，無線信道衰落模型是對實際無線信道統計上的仿真，包含了實際無線信道的知識，通過在訓練數據添加信道衰落效應可以提升模型對特定信道變化的魯棒性，如Merchant等人[94]使用Rayleigh信道模型進行數據增強，在訓練數據中引入了多徑效應，使得模型在多徑環境下的性能下降更小；Al-Shawabka等人[50]通過同時使用ITU-R信道衰落模型和高斯白噪聲，將測試與訓練數據集為同一天情況下的正確率從82%提高到91%，將測試與訓練數據集不在同一天的正確率從19%提高到36%；Shen等人[84]同時使用信道衰落模型和高斯白噪聲進行數據增強，其中信道衰落模型同時考慮了多徑效應和多普勒效應，將高速場景(多普勒頻移為100 Hz)下的正確率從68.6%提升到80%以上。

(3) 頻率偏移模擬

發射機和接收機之間振蕩器的頻率失配會產生載波頻率偏移，溫度、器件老化等因素都可能產生頻率偏移，而且采用高精度的發射機也可以對頻率偏移進行模擬，因此頻率偏移并不是可靠的射頻指紋，可以通過在信號中引入頻率偏移和相位偏移來緩解由此產生的誤分類[33]。Cekic等人[19]采用了同時使用信道衰落模型和載波頻率偏移(Carrier Frequency Offset,CFO)的數據增強方法，發現隨著訓練數據集中包含的不同時間段訓練樣本的增多，該數據增強方法的效果越來越接近于采用載波頻率偏移補償和數據增強的組合方法，也即在沒有先驗知識的情況下可以通過豐富數據多樣性來彌補先驗知識的不足。

(4) 復數濾波器

采用信道衰落模型的數據增強方法實際上對所使用的信道衰落模型有一個要求，即所施加的信道衰落模型與未知信道環境存在一定的相似性，當對信道環境未知時，該選擇哪一種信道衰落模型是一個難題。Soltani等人[61]利用復數FIR濾波器模擬無線信道對無線電信號幅度和相位的影響，引入類似信道衰落和噪聲失真來進行數據增強，使模型對未知的噪聲和信道變化具有魯棒性，該方法不需要有關波形的先驗知識，實驗表明使用數據增強后，CNN模型的分類正確率得到了至少35%的提升。

此外，還有利用變分自動編碼器(Variational AutoEncoders,VAE)[95]、生成對抗網絡(GAN)[39]和偽隨機積分[96]等進行射頻指紋識別的數據增強方法，并且不同的數據增加方法可以組合使用。

5 總結和展望

目前，在合作條件下或已具備部分先驗信息的條件下，并且訓練數據與測試數據的信道環境變化較小時，射頻指紋識別能夠取得很好的效果，并且在一些大規模數據集上進行了驗證。但是在信道環境未知，信號調制方案等先驗信息匱乏時，開展射頻指紋識別仍然是一件困難的任務，而且隨著輻射源個體數量的增加，難度還會不斷提升。本文從非合作條件下的射頻指紋識別需求出發，首先對射頻指紋識別研究的總體情況進行概覽，剖析了特征工程方法和深度學習方法在射頻指紋識別中的優缺點，在跟蹤和查閱了近年來國內外研究動態的基礎上，指出基于Raw I/Q和深度學習的方法是解決非合作條件下射頻指紋識別的一條非常有潛力的技術途徑。然后按照CNN模型、RNN模型、Transformer模型以及幾何深度學習方法的分類，對已提出的各種直接使用Raw I/Q進行射頻指紋識別的DNN模型進行總結分析，討論了各模型的優缺點和適用范圍，厘清了各種模型的發展脈絡，并指出通過對網絡模型進行合理的對稱性假設，賦予網絡歸納偏好能夠更高效的利用數據、減輕數據搜集的負擔、提升網絡模型的泛化能力。最后，對目前分散于各項研究中有關射頻指紋識別的開源數據集資源、數據表示方法和數據增強方法進行了系統的分類、整理和歸納，為后續研究工作提供一個較為清晰的方向。

將深度學習引入射頻指紋識別研究中，能夠簡化處理流程、形成統一的處理框架、降低對特定領域知識的要求。雖然在無線信道、頻率偏移等混雜因素影響下的射頻指紋識別研究已取得了一定進展，并初步探索了協議無關、信道彈性的射頻指紋識別方法，但是射頻指紋面臨的混雜因素多且難以控制，深度學習方法還在持續完善和更新，仍然存在許多難點問題需要深入研究，仍然有大量的基礎性研究工作有待推動。如深度學習具有黑盒建模的特點，其可解釋性偏弱，關于深度學習的可解釋性研究是一個值得注意的方向；各種混雜因素會導致數據分布的變化，進而導致深度學習模型性能的惡化，而遷移學習[97]能夠根據任務和環境的變化進行源域到目標域的遷移，是應對數據分布變化的一種有效手段；目前大部分射頻指紋識別是研究閉集分類問題，即研究如何在一個有限集合內進行射頻指紋識別，而如何對未知輻射源進行開集識別[41]是一個更貼近實際應用的問題；多輻射源下的射頻指紋識別是一個典型的工作場景，在多信號混合[98]時，如何在不損失各個信號射頻指紋的情況下，可靠、高效地分離多個信號是一個難點；接收機也會引入相位噪聲、時鐘偏移、IQ不平衡等畸變，從而對發射機的射頻指紋產生不利影響，如何減小接收機對射頻指紋的影響，實現射頻指紋在不同接收機之間的傳遞是一個值得研究的方向。此外，元學習[35]、聯邦學習[99]、孿生神經網絡[100]等方法也逐漸被應用在射頻指紋識別中，射頻指紋識別算法的邊緣計算節點部署工作[101,102]也已開展研究，隨著深度學習方法在理論、算法、模型、應用等方面的不斷進步，射頻指紋識別面臨的各種難題也將有所突破。