付曉梅 賈碧群 王思寧



摘? ?要:深度神經網絡中的自動編碼器(Autoencoder,AE)通過收發端兩個神經網絡模塊進行全局優化,利用端到端的訓練方式以提高通信系統的可靠性. 然而,現有對AE的研究未針對信道進行特殊設計,尤其對于時變的水聲信道的多徑效應,難以進行靈活調整,降低了該方法的實用性. 本文提出一種提高水聲通信系統信道環境適應性的Attention-Autoencoder網絡模型,基于Attention網絡可以高效地從大量信息中篩選出關鍵信息的特點,設計了一種針對水聲信道的Attention機制,該機制能夠增加網絡提取水聲信道特征的能力,使系統的適應性大大提高. 仿真驗證和湖試實驗結果表明,基于Attention-Autoencoder網絡模型的通信系統與基于文獻中AE模型和沒有引入神經網絡的水聲通信系統相比,具有更高的信道環境適應性.
關鍵詞: OFDM;水聲通信;注意力網絡(Attention);自動編碼器(Autoencoder,AE)
中圖分類號:TN? 929.3? ? ? ? ? ? ? ? ? ? ? 文獻標志碼:A
Research on Underwater Acoustic Communication System with
High Environmental Adaptability Based on Deep Neural Network
FU Xiaomei JIA Biqun WANG Sining
(School of Marine Science and Technology,Tianjin University,Tianjin 300072,China)
Abstract:The Autoencoder(AE) in the deep neural network is globally optimized through two neural network modules at the transmitter and receiver,and uses end-to-end training to improve the reliability of the communication system. However,the existing research on the AE does not have a special design for the channel,especially for the multipath effect of the time-varying underwater acoustic channel,and thus it is difficult to make flexible adjustments,which reduces the practicability of the method. This paper proposes an Attention-Autoencoder network model to improve the adaptability of the underwater acoustic communication system channel environment. Based on the Attention network's characteristic that it can efficiently filter out key information from a large amount of information,an Attention mechanism for the underwater acoustic channel is designed. The mechanism can increase the ability of the network to extract the characteristics of the underwater acoustic channel and greatly improve the adaptability of the system. Simulation verification and lake test results show that the communication system based on a comparision of. Attention-Autoencoder network model with the AE model in the literature and the underwater acoustic communication system without the introduction of neural networks,has a higher channel environment adaptability.
Key words:orthogonal frequency division multiplexing(OFDM); underwater acoustic communication;attention;autoencoder(AE)
水聲通信在海洋信息數據采集、環境監測、沿海石油勘探等方面發揮著重要的作用. 水聲信道由于具有快時變、窄帶寬、顯著的多徑效應和多普勒頻移等特性,是最復雜的信道之一[1],在水聲通信系統中需要準確估計和跟蹤信道狀態信息(CSI).
近年來,將深度神經網絡(Deep Neural Net-work, DNN)引入水聲通信的接收端,取得了一些積極進展,文獻[2]利用深度神經網絡代替信道估計模塊,與最小二乘(LS)算法相比提高了信道估計的精度;文獻[3]利用深度神經網絡直接代替信道估計與均衡,提高了系統的可靠性;文獻[4]使用深度神經網絡代替接收端的解調、信道估計與均衡及星座圖解映射幾個部分,較大程度地降低了系統誤碼率.
與僅用于接收端的DNN模型不同,自動編碼器(Autoencoder,AE)是一種由收發端兩個神經網絡模塊組成的模型,通常,AE模型中發送端網絡用于編碼,接收端網絡用于解碼[5-7];文獻[8]提出利用自動編碼器構建端到端的通信系統,將通信系統的接收端和發送端用自動編碼器替代,結果表明基于該自動編碼器的系統性能優于傳統的無線通信系統;文獻[9]將整個系統均用自動編碼器表示,包括編碼器、信道正則器和解碼器幾個部分,以便更加準確地恢復輸入的信號;文獻[10]利用自動編碼器實現一個端到端的通信系統,并將這一思路拓展到MIMO系統中;文獻[11]將自動編碼器應用到OFDM系統,利用自動編碼器代替OFDM 的發送端和接收端,結果表明在多徑信道環境下,基于自動編碼器的OFDM系統比傳統方法能更好地進行信道均衡和頻率偏移補償.
然而,現有的大部分的深度神經網絡均在無線通信中應用廣泛,由于水聲信道特征與陸上無線通信的信道具有不同的特性,現有的深度學習模型無法直接應用于水聲通信中. 研究過程中我們發現,大部分現有基于深度學習的系統只是把深度神經網絡當做一個“黑盒子”,沒有針對信道環境進行設計與優化,缺乏考慮實際測試場景的因素,無法根據特定的場景環境進行迅速調整,離線完成訓練的網絡無法適用于有一定變化的測試環境.
注意力(Attention)模型將網絡的權重重新分布,使注意力專注于重要的輸入,當神經網絡處理大量的輸入信息時,可以借鑒人腦的注意力機制,只選擇一些關鍵的信息進行處理并規避干擾,從而增加網絡提取特征的能力. 利用Attention網絡的特點,文獻[12]將Attention網絡設計成層疊結構用于全局圖像的感知與識別,以達到更加精準的圖片分類結果;文獻[13]中提出了一種順序注意模型處理圖像字幕,通過考慮相應的順序關系來處理視覺注意,從而很好地利用了單詞內在聯系來增強句子解碼過程中的視覺信息;文獻[14]提出了一種基于殘差學習和時空注意力機制的卷積神經網絡(R-STAN),使其更加注重區分時間和空間特征,解決了視頻中存在著大量的時空冗余信息的問題.
為了提高適應性,本文在傳統OFDM水聲通信系統中加入AE,并引入一種針對水聲信道的Attention機制,該機制能夠增加網絡提取水聲信道特征的能力,并保留了具體的通信模塊,如編碼、星座映射、調制、加循環前綴等過程,避免了整個基于Attention-Autoencoder的水聲通信系統成為一個巨大的“黑匣子”,使系統的可控性和環境適應性大大提高.
1? ?基于Attention-Autoencoder的水聲通信系統
基于Attention-Autoencoder模型的水聲通信系統框圖如圖1所示. 發送端的輸入是隨機生成的,經過星座圖映射為符號,符號映射方式為QPSK,串并變換后進行快速傅里葉算法逆變換(inverse fast Fourier transform, IFFT),從頻域信號X(k)獲得時域信號,記作X(n)∈RM. 將進入自動編碼器的發送端網絡訓練后記作x′(n),為了降低符號間干擾和子載波間干擾,在x′(n)的前端插入循環前綴(CP),得到t(n)∈RN. 進入Attention網絡后,通過激勵函數Tanh層和Softmax層得到概率權重后再與原輸入h(n)相乘,其目的是通過Softmax激活層將輸入的權重進行調整,更加忽略或側重某個輸入,從而更專注于找到未知水聲信道的顯著有效信息,這樣可以有效篩選數據,使系統的泛化能力提高,最后將Attention網絡的輸出還原成復數形式h′(n),再將信道h(n)與信號進行卷積,M表示信號 的長度,N表示信號t(n)的長度. 卷積過程如式(1)所示:
2? ?Attention-Autoencoder網絡模型
2.1? ?Attention網絡
2.2? ?Autoencoder網絡
3? ?網絡訓練
Attention-Autoencoder網絡模型以端到端的方式訓練信號數據,該模型使用離線訓練結合在線測試的方式以減少運行所消耗的時間. 基于Bellhop的水聲信道模型獲得不同環境下的訓練和測試數據集,訓練集與測試集的樣本個數分別為400和100,并結合真實實驗環境1、2、3、4進行進一步驗證. OFDM水聲通信系統的參數如表1所示,在每次仿真中會隨機生成 0,1 序列作為系統的輸入數據流,分別表示為導頻信息與信號信息,其比值為1 ∶ 1,導頻插入方式為塊狀導頻. 經網絡傳輸后接收到的數據和原始生成的隨機傳輸數據被稱為訓練數據. 神經網絡在訓練過程中通過調整每個神經元的權重,最小化輸出Y(k)與輸入X(k)之差.
4? ?仿真實驗與分析
4.1? ?水聲信道環境
本文基于Stojanovic等[15]模擬了7種不同的環境如表2所示,用來測試系統對環境的適應性. 分別考慮傳輸距離、最大時延擴展和多普勒頻移幾個影響因素.
4.2? ?Attention網絡對水聲信道沖激響應的影響
為了驗證上述Attention網絡的效果與作用,我們將未經過Attention網絡的水聲信道沖激響應與經過Attention網絡后的水聲信道沖激響應歸一化后進行了對比,如圖6所示.
圖6比較了利用仿真環境2訓練模型、用仿真環境3進行測試,經過Attention網絡和未經過Attention網絡的水聲信道沖激響應,從圖中可以看到,經過Attention網絡后的信道多徑數明顯減少,只保留了水聲信道中的最大徑,這表明利用Attention網絡機制可以有效地對水聲信道多徑信息進行篩選,盡量保留最大的信道沖激響應,過濾抑制其他的較小徑,這種設計針對強多徑的水聲信道具有較好的實際物理意義.
4.3? ?相同環境下不同的信道估計方法的影響
圖7對比了訓練集與測試集相同環境下(模型在環境2下訓練,環境2下測試)不同信道估計方法,將本文設計的基于Attention-AE的系統、未加Attention的AE系統、AE[11]和DNN接收機[4]相比,對系統進行評估. 從圖中可以看出在不同信噪比(SNR)下Attention-AE系統誤碼率始終最低,不僅優于基于傳統的信道估計方式LS和最小均方誤差(MMSE)的系統,且相較于不加Attention的AE系統、文獻中AE和DNN接收機系統,該Attention-AE系統的性能更佳,并在信噪比為25 dB時的誤碼率(BER)達到了10-4,而基于AE的系統只達到10-3. 因此可以得出,本文設計的基于Attention-AE模型的水聲通信系統可以對信道進行有效篩選,減小多徑對信號的影響,使得系統的性能進一步提高,誤碼率水平優于基于傳統的信道估計方法和AE的系統.
4.4? ?隨機多普勒頻移改變的影響
圖8為基于AE[11]與Attention-AE的系統在測試集為不同范圍的隨機多普勒頻移下的誤碼率(BER)對比圖,網絡模型均在仿真環境2下訓練. 從圖中可以看出測試集中不同范圍的多普勒頻移對基于AE和Attention-AE的系統都有一定的影響,且隨著多普勒頻移的增大,誤碼率也隨之增大. 相比之下,基于Attention-AE系統的誤碼率曲線比基于AE系統的誤碼率曲線低很多,說明基于Attention-AE的系統有較為出色的泛化能力并可以更好地適應與訓練集相比變化較大的測試集.
4.5? ?訓練集環境與測試集環境相同和不同的影響
圖9比較了在訓練集環境與測試集環境相同和不同時基于AE[11]和Attention-AE的系統在0~25 dB不同信噪比下的BER曲線. 環境相同時為兩種模型在環境2下訓練,在環境2下測試;環境不同時為兩種模型在環境2下訓練,環境5下測試. 從曲線可以看出兩種模型對環境的適應程度不同,基于AE的系統在訓練集與測試集環境不同時誤碼率與環境相同時相比有較大幅度的變化,說明基于AE的系統對環境的改變較為敏感,對環境的適應性較差,基于Attention-AE的系統在環境不同時的誤碼率曲線與基于Attention-AE和AE的系統在環境相同時的曲線基本重合,說明基于Attention-AE的系統對環境的適應性非常強,表明本文提出的網絡模型對環境適應性的提升是有效的.
4.6? ?傳輸距離改變的影響
圖10分析的是傳輸距離改變對基于AE和Attention-AE的系統BER曲線的影響,從圖中可以看出文獻[11]中的AE模型對環境的適應性(對傳輸距離的改變敏感)較差,誤碼率一直較高. 而Attention-AE模型展現了良好的環境適應性,可以在環境變動較大時仍得到較為良好的測試結果.
5? ?湖試實驗結果與分析
基于AE[11]和Attention-AE的系統也在真實實驗上得到了驗證. 相關實驗在天津大學衛津路校區敬業湖進行,實驗采用設備采集卡NI-4431,4432,WBT22-1601水聲換能器,Brüel & Kj?覸r 8104水聽器. 試驗區水深為6 m.
AE和Attention-AE模型均用仿真環境2進行訓練,分別用實驗環境1(傳輸距離6 m)、實驗環境2(傳輸距離100 m)、實驗環境3(傳輸距離300 m)和實驗環境4(傳輸距離300 m,隨機多普勒頻移約為0~10 Hz)進行測試,實驗環境4的隨機多普勒頻移由實驗者以約0.6 m/s的速度攜帶水聽器單向移動所得. 實驗發送端的水聽器發送信號,實驗接收端的水聽器接收信號,利用最小二乘法(LS)估計方法得到真實的水聲信道后作為模型的測試集測試模型的性能. 實驗的一些主要參數:載波中心頻率fc = 25 kHz,子載波個數N = 1 024,帶寬B = 8 kHz,發送端與接收端的采樣率均為96 kHz.
圖11為仿真環境2和實驗環境1、2、3和4的信道沖激響應,可以看出仿真環境的最大多徑時延擴展約為25 ms,實驗分別約為12 ms、30 ms、27 ms和37 ms.
圖12比較了利用仿真環境2訓練模型,用湖試環境4進行測試,經過Attention網絡和未經過Attention網絡的信道沖激響應. 從圖中可以看到,經過Attention網絡后的信道多徑數明顯減少,只保留了水聲信道中的最大徑,這表明利用Attention網絡機制可以有效的對水聲信道多徑信息進行篩選. 因此,利用Attention網絡對信道處理可以提高傳輸的準確性,在系統進行測試時,Attention網絡會對測試的信道進行篩選與處理,提高了整個系統的適應性.
圖13為基于AE[11]與Attention-AE的系統在仿真環境2進行訓練,在實驗環境2和3進行測試的誤碼率(BER)對比圖. 從圖中可以看出,在相同的訓練環境和實驗測試環境下,基于Attention-AE的系統的誤碼率均比基于AE的系統低,表明本文所提出的基于Attention-Autoencoder網絡模型的水聲通信系統在實際環境下測試仍具有較低的誤碼率性,證明了該網絡模型具有較強的泛化能力和信道環境適應能力.
圖14為基于AE[11]與Attention-AE模型的系統在測試集環境與訓練集相同及不同條件下的BER對比. 基于AE的系統在測試環境為實驗水聲信道環境SNR = 25 dB時,誤碼率也只能達到10-2,與訓練測試環境相同時的誤碼率相差較大,說明基于AE的系統對環境變化較為敏感,而基于Attention-AE的系統在環境相同與不同的情況下,曲線的誤碼率沒有較大變化,保持了良好的誤碼率水平,這表明基于Attention-AE的系統有較強的環境適應性,驗證了該系統的有效性.
圖15為基于AE[11]與Attention-AE的系統在測試集與訓練集環境相同及在仿真環境2進行訓練、實驗環境4 (信道受到多普勒頻移的影響)下進行測試的誤碼率(BER)對比圖. 從圖中可以看出實驗環境4的多普勒頻移對基于AE和Attention-AE的系統都有一定的影響. 相比之下,基于Attention-AE的系統誤碼率曲線比AE的誤碼率曲線低很多,說明該模型有較好的環境適應性.
6? ?結? ?語
本文從傳統的自動編碼器對環境的適應性較差的問題出發,在傳統OFDM水聲通信系統中加入AE,并引入一種針對水聲信道的Attention機制. 該Attention機制可以高效地從大量信息中篩選出少數關鍵信息的特點,以提高網絡提取特征的能力,在訓練集與測試集的信道環境參數相差較大時,基于該網絡模型的水聲通信系統仍具有較低的誤碼率. 經過仿真驗證和湖試實驗驗明,與現有的AE模型和沒有引入神經網絡的水聲通信系統相比,基于Attention-Autoencoder的水聲通信系統具有較強的信道環境適應能力,展現出更佳的系統性能.
參考文獻
[1]? ? STOJANOVIC M,PREISIG J. Underwater acoustic communication channels:Propagation models and statistical characterization[J]. IEEE Communications Magazine,2009,47(1):84—89.
[2]? ? JIANG R K,WANG X T,CAO S,et al. Deep neural networks for channel estimation in underwater acoustic OFDM systems[J]. IEEE Access,2019,7:23579—23594.
[3]? ? ZHANG Y W,LI J X,ZAKHAROV Y,et al. Deep learning based underwater acoustic OFDM communications[J]. Applied Acoustics,2019,154:53—58.
[4]? ? ZHANG J,CAO Y,HAN G Y,et al. Deep neural network-based underwater OFDM receiver[J]. IET Communications,2019,13(13):1998—2002.
[5]? ? JI D J,PARK J,CHO D H. ConvAE:a new channel autoencoder based on convolutional layers and residual connections[J]. IEEE Communications Letters,2019,23(10):1769—1772.
[6]? ? WADA T,TOMA T,DAWODI M,et al. A denoising autoencoder based wireless channel transfer function estimator for OFDM communication system[C]//2019 International Conference on Artificial Intelligence in Information and Communication (ICAIIC). Okinawa,Japan:IEEE,2019:530—533.
[7]? ? OSHEA T J,ERPEK T,CLANCY T C. Deep learning based MIMO communications[EB/OL].2017:arXiv:1707.07980[cs.IT].https://arxiv.org/abs/1707.07980.
[8]? ? D?魻RNER S,CAMMERER S,HOYDIS J,et al. Deep learning based communication over the air[J]. IEEE Journal of Selected Topics in Signal Processing,2018,12(1):132—143.
[9]? ? OSHEA T J,KARRA K,CLANCY T C. Learning to communicate:Channel auto-encoders,domain specific regularizers,and attention[C]//2016 IEEE International Symposium on Signal Processing and Information Technology (ISSPIT). Limassol,Cyprus:IEEE,2016:223—228.
[10]? OSHEA T,HOYDIS J. An introduction to deep learning for the physical layer[J]. IEEE Transactions on Cognitive Communications and Networking,2017,3(4):563—575.
[11]? FELIX A,CAMMERER S,D?魻RNER S,et al. OFDM-autoencoder for end-to-end learning of communications systems[C]//2018 IEEE 19th International Workshop on Signal Processing Advances in Wireless Communications (SPAWC). Kalamata,Greece:IEEE,2018:1—5.
[12]? ZHU Y S,ZHAO C Y,GUO H Y,et al. Attention CoupleNet:fully convolutional attention coupling network for object detection[J]. IEEE Transactions on Image Processing,2019,28(1):113—126.
[13]? FANG F,LI Q Y,WANG H L,et al. Refining attention:a sequential attention model for image captioning[C]//2018 IEEE International Conference on Multimedia and Expo (ICME). San Diego,CA,USA:IEEE,2018:1—6.
[14]? LIU Q L,CHE X J,BIE M. R-STAN:residual spatial-temporal attention network for action recognition[J]. IEEE Access,2019,7:82246—82255.
[15] QARABAQI P,STOJANOVIC M. Statistical characterization and computationally efficient modeling of a class of underwater acoustic communication channels[J]. IEEE Journal of Oceanic Engineering,2013,38(4):701—717.