同聲傳譯 解密搜狗同傳

技術宅

同聲傳譯 并不是一次簡單的機器翻譯

說到機器翻譯，相信很多朋友都在使用百度、有道等公司提供的在線翻譯。我們只要打開在線翻譯頁面，然后輸入需要翻譯的語句，選擇輸出翻譯語言即可快速完成翻譯。如果再借助語音輸入完成需翻譯語句的輸入，這就是一次簡單的同聲傳譯模型（圖1）。

不過在線機器翻譯準確度不高、機械性強、語義歧義等一直受人詬病，而要實現同聲傳譯，一是要求“同聲”，也就是可以同步識別發言者的語音，實現盡可能短的延遲；二則是“傳譯”，要求翻譯盡可能準確。隨著人工智能和深度學習技術的發展，同聲傳譯技術逐漸實現了上述兩個要求，比如搜狗的“搜狗同傳”技術就可以很好地實現“同聲”和“傳譯”（圖2）。

同聲+傳譯 搜狗同傳背后的秘密

如上所述，同聲傳譯技術并非簡單的語音輸入和機器翻譯的結合體。同聲傳譯講究的是“同聲”+“傳譯”，那么搜狗同傳這類技術是怎么實現這些要求？

首先是同聲。在王小川演講的演示中可以看到，在演講者完成一句話的演講后，背后的大屏幕幾乎在同一時間完成了語音和文字轉換。這看似簡單的語音到文本的轉換，實則是搜狗強大語音識別技術的實際體現。

要對某個人說出的語句進行實時、高效的識別，搜狗同傳先要實現精準的語音斷句，也就是對用戶說的每一句話進行判斷，從而可以準備識別用戶真正的表達意圖。因為用戶的演講是連貫的，如果無法實現準確的語音斷句，那么就很容易出現識別的偏差。舉個簡單的例子，“小王打敗了小李得了冠軍”這樣一句話，用戶在表述中不同的停頓就有完全不同的意思，如“A：小王打敗了，小李得了冠軍”，“B：小王打敗了小李，得了冠軍”。

為了提高語音斷句的能力，搜狗同傳算法通過能量檢測和基于深度學習模型的方式，對語音信號進行語音和靜音的判斷，這樣可以跳過對靜音片段的處理以提升解碼效率，同時語音片斷可以分割成多句并行識別，大大提高語音識別的效率。借助深度學習模式，搜狗同傳就可以準確識別語音斷句。比如上述例子，如果前文表達的是小王的實力強大，這樣通過上下文關系搜狗同傳就會使用A的斷句理解用戶的輸入（圖3）。

在語音識別部分，搜狗同傳使用了CLDNN+CTC結合的聲學模型和RNNLM語言模型，把經過語音斷句后的片段，通過聲學模型和語言模型轉換成文本。這樣借助“語音斷句算法+聲學模型+RNNLM語言模型”，搜狗同傳就可以準確識別用戶的演講，從而實現高效的“同聲”輸入識別（圖4）。

其次是“傳譯”。在完成對用戶語音的識別后就需要進行同步的翻譯。要完成文本的準確翻譯，其中的關鍵是文本斷句。搜狗同傳的文本斷句模塊借助內容平滑技術去掉無意義的詞語，使句子變得通順，然后通過規則和模型兩種方法進行語句劃分并加標點。這里還運用到了雙向GRU技術構建編碼端的結構。通過Attention機制在源端和目標端文本間進行對齊并生成當前時刻的句子級向量表示，并送至解碼端，解碼端逐詞解碼輸出翻譯結果。這樣翻譯后的語句通暢，可以很好地讓傾聽者看明白其他語言發言者要表達的意思（圖5）。

這樣通過“同聲”（語音短句+識別輸入）和“傳譯”（文本短句+逐詞解碼），搜狗同傳可以讓不同語言的演講者和傾聽者都可以看懂彼此的發言，實現全人類之間的順暢交流（圖6）。

同聲傳譯 讓我們溝通更便捷

隨著對外開放力度的加強，無論是對外貿易（如和國外合作廠商的協作），還是普通用戶的對外交往（如和國外網友的Skype交流），我們都需要和不同語言的用戶進行交流，但是由于語言的障礙，使得這些交流變得異常困難。

不過隨著類似搜狗同聲傳譯技術的發展，借著這些技術我們就可以和國外的網友、同事進行無障礙的交流，這將極大地提高我們之間的溝通效率。比如對于國外有分部的公司，通過會議室投影儀的展示，不同國家的員工可以無障礙瀏覽和理解一種語言制作的PPT。對于希望學習其他語言的網友，借助同聲傳譯遠程在線課堂，即使身在中國，也不會由于母語的限制而看不懂國外教師的演示，大大提高了在線學習的效率。

正是看到同聲傳譯的發展潛力，目前各大IT巨頭也在發展各自的同聲傳譯技術。比如谷歌在開發神經網絡機器翻譯技術，并且在YouTube視頻使用即時同聲傳譯字幕（圖7），騰訊公司則推出人工智能同聲傳譯解決方案“騰訊同傳”，科大訊飛推出智能語音翻譯機。隨著AI技術的發展，這些同聲傳譯技術必將會給我們和世界的交流帶來更多的便利。