音頻信號內容比對實用算法

文丨何連成

（廈門廣播電視集團首席工程師，廈門 361004）

1 廣播電視信號的傳輸環節及其被非法插播可能性分析

1.1 信號傳輸拓撲示意圖 廣播電視信號制作好以后，通過各種媒介傳輸到覆蓋設備的前端，進行編碼調制后送達最終受眾的終端。覆蓋方式主要包含無線覆蓋（發射機房）、有線覆蓋（有線電視網絡）、互聯網覆蓋（網絡數字媒體）、衛星覆蓋等，示意圖如下：

圖1 信號傳輸拓撲示意圖

一般來說作為覆蓋設備的機房，其信號源都需要有來自不同路由的主、備路，如圖中所示。主、備路由有各種不同的組合，如雙光纖（路由不同），或一路光纖、一路微波，也有些機房還會使用接收自衛星的信號作為備用信號源，如圖中的“發射機房”。

1.2 非法信號入侵的途徑 如圖1所示，以“發射機房”為例。由于傳輸路途可能很遙遠，實際上每一種傳輸路徑都有可能被插播。光纖可能被竊聽，獲取傳輸格式，然后切斷插入非法信號；微波傳輸，在靠近的地點使用大功率非法信號波束照射接收天線，可能壓制合法信號；衛星接收的信號源，當衛星被非法信號攻擊時，也可能被非法插播。

雖然實現上述插播方式有一定難度，遭遇到的可能性不高，但安全播出的要求很高，還是需要對一切可能的安全播出隱患做出防范對策。

2 防非法插播的技術策略和關鍵算法

2.1 技術策略分析選擇 如果直接對信號源的內容意義進行分析，判斷其內容是否符合政策和宣傳要求，那么按現有的計算機軟件軟件技術而言，不僅難度非常高，而且準確率和實時性也很難滿足要求。但是考慮到實際上信號源有多路的情況下，我們可以用更簡單的辦法來判斷是否有哪路信號路徑被插播。那就是把同一節目的來自不同路由的信號源拿來進行內容比對，如果所有路由的信號內容全部相同，那么說明信號是安全的；否則，說明其中必有一路信號被非法插播，這時就要馬上輸出報警信息，等待人工對信號內容進行識別判斷。如果信號源路由超過2路，也可以先把內容與眾不同的那一路排除出去，從內容相同的信號源中選一路輸出去播出，然后再報警請求人工監聽的最后裁決。

使用內容比對的方法，我們不需要對信號內容的意義做出判斷，只需要對不同信號源的內容是否一致做出判斷即可，這樣對技術上的要求就降低到了可行的程度。

2.2 音頻信號內容比對的依據 可用的技術手段，無非是用于音頻信號處理的電路硬件和對采樣數據進行分析的軟件。關鍵在于對信號源內容是否一致的特征提取。如果對某路音頻信號源的信號波形用示波器進行觀察，可以發現每當播音員講話或播放音樂時，示波器上都會出現相應的波包，而當出現節目間隙、語言語句之間的間隙、音樂之間的間隙的時候，示波器上的波形就近乎一條直線（幅度近乎零）。如圖2～圖5所示：

圖2 內容相同的兩路語言信號波形對比

圖3 內容不同的兩路語言信號波形對比

圖4 內容相同的含音樂背景的兩路信號波形對比

圖5 準白噪聲（上）與音樂（下）信號波形對比

我們可以把語音節目的內容，看成是由各種不同時間長度和幅度變化規律的波包，以及各種不同時間長度的間隙組成的信息系列。這種系列與節目內容一一對應，相同的節目內容必有完全相同的系列，而不同的系列則意味著不同的節目內容。圖2展示了兩路內容相同、沒有時延差的語言信號的信息系列，圖3是內容不同的信息系列。

因此，我們就把對內容的判斷轉化成對音頻信息系列的比對判斷，如果信息系列完全相同則內容相同，否則內容不同。從圖2～圖5可以看出來，只要比對的信號中有一路是純語言類，內容相同與否其特征非常明顯；音樂（或帶音樂背景）類信號之間，以及與準白噪聲之間的波包特征差別較小甚至難于分辨。

2.3 具體電路和關鍵算法 來自不同路由的音頻信號可能存在時間延遲，即不同步的問題。因此在進行信號比對之前必須先把兩路信號的時間點“拉”齊，一般是把先到達的信號延時然后與后到達的信號對齊在同一時間點。假設最大可能的信號時間延遲為5秒，用于信號比對的時長為3秒，下面討論不同處理算法的資源開銷。

2.3.1 直接對音頻信號高速采樣的比對方案 直接的音頻信號采樣，為了不漏掉任何一個信號上升下降細節，采樣率最好是最高信號頻率分量的十倍以上。調頻立體聲的音頻信號最高頻率達15 KHz，采樣率需要達到150 KB/S。因為比對前不知道兩路信號哪一路的延時更多，所以實際需要截取的信號時長是比對時長與最大信號延時時長之和，即8秒。每一路信號8 s時長的采樣數據個數為8*150K= 1200K。為了得到信號比對的結果，需要對每一路信號的采樣數據逐個后移，取其后3 s的數據與另一路信號的前3 s數據進行逐個比對，因此最大的比對次數為2*5*150K*3*150K=6.75*1011次，而每次比對都需要取數、運算、比較判斷、統計存儲等操作，最少也需要10個指令周期，就算都是單時鐘周期指令，總共也需要6.75*1012個時鐘周期，這一切需要在3秒內完成，所以每秒需要最少2.25*1012個時鐘，即時鐘頻率要達到2250GHz。這還只是進行兩路信號的比對運算量，如果要求更多路信號的比對，運算量還要大得多。這樣的運算速度對于單核的芯片是很難完成的，需要多核的高速芯片并行計算才可能實現。因此這種方案成本太高，現實可行性差。

圖6 音頻信號包絡檢波預處理

2.3.2 先對信號進行包絡檢波，再低速采樣的比對方案 如果先對音頻信號進行幅度變化的包絡檢波——簡單的預處理，那么雖然我們失去了波形的瞬間（毫秒級）幅度變化細節，但是還是可以保留語句、音樂等間隙和幅度變化的整體趨勢等最重要的特征信息，而這些信息對內容比對來說就已經足夠了，這樣做的結果就是可以極大降低比對所需要的運算速度。下面以圖6的預處理電路參數為例說明：

上圖中的檢波電路可以消除檢波二極管死區電壓的影響，即使只有幾十毫伏的音頻信號也能得到正常的包絡輸出。包絡跟蹤的R1C1 =47 ms，因此采樣周期可以取5 ms，即采樣速率200 B/S。對于時長3 s、最大可能延時量5 s的兩路音頻數據進行完整比對所需要的最大比對次數為2*5*200*3*200=1.2*106次，需要的總時鐘周期數為1.2*107 ,如果運算時間最長為3 s，則時鐘頻率要求為最小4 MHz。這樣的運算速度要求還不到上一方案的百萬分之一，使用價格便宜的51系列單片機就可以實現了。當然，使用運算速度更快的芯片或DSP 可以獲得更快的反應速度，實時性更令人滿意。

2.3.3 采樣數據的比對處理和判斷基準 在兩路音頻信號之間進行采樣數據比對，還要考慮信號本身的幅度問題。內容相同的信號幅度不一定相同，但對采樣數據進行比對時，其比例應該是相同的，這一比例值可以取一段時間長度（例如8 s）中兩路信號最大采樣值之比為“比例參考值”。

對于語言類信號，使用圖6的信號預處理電路，如果對一段時間長度3秒的采樣數據進行逐一比對，大量的實驗表明：1）如果內容相同，則采樣數據值之比與“比例參考值”誤差10%以內的比對結果（簡稱“比例一致性”）個數，可以占總比對個數的80%以上。這個結論在反復的實驗中至少有99%的準確性。2）如果內容不同，則“比例一致性”個數，占總比對個數的50%以下。這個結論在反復的實驗中至少有95%的準確性。3）如果把“比例一致性”的個數是否占總比對個數65%以上，作為語言類節目內容是否相同的判斷基準，則準確率可達99%以上。4）對報警實時性放寬要求，可以極大降低誤報率。每增加一次（3秒）比對內容不一致的累積才報警，誤報率可以降低100倍。

圖7

以上算法的準確性主要受信號的信噪比影響。信噪比20 dB以下的時候，當信號幅度小的瞬間噪聲電平的影響比率增大很多，影響了其判斷的準確度。為了修正這種影響，可以適當調整“比例一致性”的標準，例如當采樣值為最大值的十分之一以下時，改用與“比例參考值”誤差30%以內作為“比例一致性”的參考標準。

2.3.4 音樂節目信號之間內容比對的優化方法 從圖4看到，音樂節目或含有音樂背景的節目，其波包的特征比較不明顯，以上述算法去判斷準確率是比較低的。因為音樂信號由各種不同的樂器組合而成，不同樂器其頻譜是不同的，所以可以按頻譜對總信號進行分頻率段濾波篩選，分別進行檢波采樣，然后再用上述算法判斷，這樣做以后準確率依然可以很高。例如可以把300 Hz 以下的為一段（分出鼓類樂器），500 Hz～2000 Hz為一段（中音樂器），3000 Hz以上為一段（高音樂器）。分得越細準確度越高，但是計算量越大，要求的芯片處理速度越高。

2.3.5 準白噪聲信號的識別 某些情況下，當節目信號丟失時，信道完全由噪聲占據，表現為幅度連續的寬頻譜的“沙沙”聲，這里稱之為“準白噪聲”。“準白噪聲”與音樂信號在總波形的波包特征上差別不大，很難直接識別出來。但是，如果按頻譜對總信號進行分段篩選，分段后的波包特征，音樂信號與準白噪聲信號之間的差別還是很明顯的。準白噪聲信號無論是總信號波包還是分頻段的信號波包，都顯示出很“木”的特征，即起伏很小而且一直不變，信息含量很低；而音樂信號在分頻段之后，其波包顯得很活躍，并時刻在隨著內容的不同而變化著。根據這些特征可以對某路信號是噪聲還是音樂節目作出準確的判斷。

3 實用系統的組成與應用

現代化覆蓋設備的信號源，已經有很多是數字音頻信號，這種情況可以從其音頻分配器的分配口取出后進行數/模轉換，然后再進行內容比對處理，判斷結果作為報警觸發信號或自動切換的依據。如圖7所示：

圖中，語言類節目只需要用到“總包絡檢波”的采樣數據。“頻率段n”是用帶通濾波器實現的，用于音樂類節目的比對和噪聲信號的識別。

該比對系統不僅可以應用于中波和調頻廣播，也可以對電視節目的伴音進行比對，通過對伴音內容一致性的識別來判斷電視節目是否被插播，因為節目的語言被插播其后果遠超圖像被插播。

筆者敘述的算法屬于“模糊算法”范疇，這種智能性算法的準確度取決于對象特征提取的準確度和精細度。文中的模糊規則基準如“比例一致性”誤差范圍，“比例一致性”個數的占比等等，是在大量實際試驗中得出來的，該算法在實際測試中完全達到了預期的準確度，是可以進行產品化的實用算法。