核電廠增強現實技術應用中實時音視頻解決方案與應用

馬玥竹，桑 瑋

（上海核工程研究設計院有限公司，上海 200233）

0 引言

目前，核電廠的就地運維和檢修工作因為缺乏可將電廠參數、房間信息、通道信息、設備信息等重要信息呈現給運維人員的集成平臺，導致核電廠存在人員誤入危險區域、誤入冗余通道的房間及誤操作冗余通道設備等潛在風險。同時，就地運維人員通過一次側表計的讀數來對設備狀態進行評估，其設備巡檢及維修的效率也存在瓶頸。上述問題均可歸結為就地維修人員對現場工作環境實時認知的缺失，為核電廠運維增加了一定的安全隱患。

增強現實技術（Augmented Reality，縮寫AR）作為當前最先進的交互技術之一，可通過將虛擬和現實“無縫”集成的方式，一定程度上解決就地維修人員對現場工作環境的實時認知缺失問題[1]。AR結合了計算機圖形圖像技術、空間定位技術、可視化技術以及交互技術，可在展現真實物理環境信息的同時，將現實世界難以實現的輔助虛擬數據信息通過增強現實設備疊加顯示在真實物理環境中，真實和虛擬兩種信息相互補充、疊加，具有實時交互性。該技術可將運維人員所需的重要信息，通過增強現實設備疊加展現在數據相關設備周邊的方式，支持運行人員對設備的監測、調試和檢修活動，增強工作人員對電廠狀態、設備狀態、維修步驟及安保防護等方面的認知，提升核電廠安全、可靠及經濟性，有必要將增強現實技術與電廠運維緊密結合。

實時音視頻技術與增強現實技術融合，可使就地維修人員在現場看到的真實環境疊加參數信息實時傳輸給遠程專家，遠程專家即可實時輔助就地維修人員。在核電廠大修期間、事故工況下、遇到較為棘手的設備維修問題或需多人進入危險區域的情況下時，可通過就地人員佩戴的AR設備遠程連接專家或廠家維修人員等專業人員，輔助就地人員進行設備維修。專家可在不到達現場的情況下，通過就地人員的第一視角身臨其境地了解現場真實狀況，并且同時可看出AR技術疊加在設備旁的設備參數等信息，在線提出維修建議，支持就地人員進行設備的檢修，提高就地人員的檢修效率。

1 實時音視頻需求

將增強現實技術用于就地運維的過程中，若能實現增強現實端與遠程專家的遠程實時音視頻功能，將大大提高就地運維人員的工作效率，并將各項活動數據存檔，提升核電廠活動的可追溯性。

增強現實技術與實時音視頻技術結合，需要注意以下幾點：

1）實時音視頻功能：在核電廠就地運維過程中，實時音視頻應達到在網絡條件允許的情況下就地操縱員可與遠程專家進行實時音視頻交互，視頻應支持1Mb以下的視頻碼流。由遠程專家輔助就地操縱員對設備進行檢修，并且應允許多方進行實時音視頻通信。

2）視頻標記功能：遠程專家應可對視頻畫面進行標記并傳輸給就地操縱員，標記包括文字標簽、箭頭、方框橢圓等。

3）跨平臺性：考慮到市場上增強現實設備不同開發商其運行平臺也有所不同，實時音視頻技術需具有跨平臺性，不依賴于特定的增強現實設備。

2 實時音視頻解決方案

根據上述實時音視頻技術的需求，解決方案采用了網頁技術通信（Web Real-Time Commutation，縮寫WebRTC）的方式進行實時音視頻傳輸。

2.1 WebRTC背景

WebRTC是谷歌公司收購的Global IP Solution公司所研發的一項實時通信技術[2]，該技術于2010年發布以來，已成為實時通信技術的熱點。WebRTC技術可支持網頁瀏覽器進行實時音視頻對話，同時還支持增強現實、遠程協作及文件傳輸等實時性交互式應用，目前已被W3C納入了HTML5標準。WebRTC提供了音頻采集、視頻采集、視頻編解碼、網絡傳輸及顯示等功能，主要是讓開發者能夠基于瀏覽器，在無需任何插件的情況下，輕量、便捷地開發出豐富的實時多媒體應用。在開發過程中，開發者也無需關注多媒體的數字信號處理過程，只需編譯Javascript程序即可實現。

由于WebRTC基于瀏覽器的特性，WebRTC支持跨平臺：Windows、Linux、Android等平臺均能通過瀏覽器（幾個主要瀏覽器如Firefox、Chrome、Opera等均推出了可支持WebRTC的版本）運行基于WebRTC開發的瀏覽器應用。

WebRTC技術的主要優點如下：

1）開放的標準：WebRTC已加入到由W3C和IETF標準組織共同定義的開放的HTML5標準中。W3C的WebRTC工作組為開發者定義了基于瀏覽器的Web API，用于幫助Web應用完成Web瀏覽器之間點對點或點對多點之間的實時通信。

2）靈活的應用：WebRTC提供簡單的、可擴展性強的技術框架。開發者可以根據不同的業務場景及技術需求靈活選擇音視頻的路由方式、同用戶間的交互方式、呼叫協議、身份認證及與其他網絡的互聯方式等。

3）技術的融合：WebRTC技術由于其跨平臺性及輕量化的特性，可以輕松與其他先進技術相結合，如虛擬現實技術、增強現實技術、混合現實技術和人臉識別技術等。同時，也可以通過瀏覽器端的通信能力和HTML5技術靈活開發出在線的多人實時應用。

2.2 WebRTC系統架構

WebRTC系統架構如圖1所示[3]，WebRTC系統架構根據面向用戶的不同，分為3個部分：

1）面向瀏覽器應用開發者部分：瀏覽器應用開發者可調用W3C制定的Web API來開發WebRTC瀏覽器應用。

2）面向瀏覽器廠商部分：不同瀏覽器之間的雙向媒體流可通過PeerConnection API來進行管理，可發送和接受媒體流。

3）面向瀏覽器廠商的自定義部分：使用JSEP[4]（JavaScript session establishment protocol，JavaScript會話建立協議）進行媒體自定義參數的協商。

圖1 WebRTC系統架構Fig.1 WebRTC Architecture

圖2 遠程專家客戶端頁面Fig.2 Page of remote expert client

上述三部分內容同時共享WebRTC核心庫，核心庫包括音頻模塊、視頻模塊及傳輸模塊。

2.3 WebRTC解決方案中實時音頻處理流程

在增強現實技術與實時音視頻技術結合的解決方案中，音頻處理流程如下：

WebRTC將音頻會話抽象為一個通道，如需進行多人會話則需建立多個通道。以一個通道為例，實時音頻的處理流程包括3個活動線程：錄音線程、音頻接收線程和播放線程。

1）錄音線程：負責音頻的采集。首先，通過麥克風來采集音頻，當采集到的音頻緩存到固定長度后，統一進行音頻處理；隨后，將處理后的音頻送到通道，經過音頻編碼解碼器進行編碼并封裝成RTP包，通過Socket發送。

2）音頻接收線程：負責接收通過Socket發送的RTP包，將RTP包解封后解碼音頻數據，送入NetEQ音頻模塊緩存。

3）播放線程：負責聲音的播放。播放線程首先依次獲取通道中NetEQ音頻模塊存儲的參與了會話的音頻幀，然后對這些音頻幀進行處理。將已處理過的音頻幀進行多通道的混合得到一個混合音頻，將該混合音頻傳遞給AudioProcessing模塊進行分析，分析后音頻可通過播放設備播放出來。

2.4 WebRTC解決方案中實時音頻處理流程

在增強現實技術與實時音視頻技術結合的解決方案中，視頻處理流程如下：

WebRTC可進行多路視頻會話，以一路視頻會話為例，實時視頻的處理流程主要包括6個活動線程：視頻產生線程、視頻采集線程、視頻接收線程、視頻解碼線程、投遞線程和顯示線程。

1）視頻產生線程：由相機產生視頻畫面，該線程將產生的視頻畫面封裝成視頻幀后以一定幀率投遞到Capturer。

2）視頻采集線程：Capturer采集被投遞的視頻幀，并對視頻幀進行畫面處理。畫面處理完成后，送入視頻編碼解碼模塊進行視頻幀的編碼及發送。

3）視頻接收線程：接收并解析RTP/RTCP數據包。

4）解碼線程：由于解碼時間相對編碼時間較長，因而設立單獨解碼線程完成視頻幀的解碼。

5）投遞線程：接收并緩存解碼后的視頻幀投遞給顯示設備。

6）顯示線程：在視頻顯示設備中輸出視頻畫面。

3 實時音視頻應用

實時音視頻技術應用在增強現實平臺上時，分為遠程專家客戶端和就地操縱員端，支持多用戶實時音視頻。

3.1 遠程專家客戶端

遠程專家客戶端為遠程專家指導的操作平臺，遠程專家可通過該平臺與就地操縱員進行即時消息通信、視音頻通信，同時在音視頻通信中提供數字白板功能。數字白板功能可在視頻中進行簡單批注，并通過圖片方式發送給就地操縱員端。

遠程專家客戶端以專家與就地運維人員的遠程視頻頁面為典型畫面，如圖2所示。左邊部分為數字白板功能，可實現對遠程視頻的簡單批注，并發送給就地運維人員的增強現實顯示終端，如圖3所示。右邊部分為遠程專家客戶端與就地運維人員增強現實顯示終端的即時消息功能，可實現雙方簡單的文字交流。

圖3 遠程專家客戶端數字白板頁面Fig.3 Digital whiteboard of remote expert client

3.2 就地操縱員客戶端

就地操縱員客戶端遠程協助。就地操縱員可通過增強現實顯示終端中的就地操縱員客戶端與遠程專家進行音視頻交互，遠程專家端發出的即時信息、數字白板信息及遠程專家視頻畫面均可通過增強現實顯示終端增強顯示于就地操縱員眼前。就地操縱員可同時看到上述內容及就地真實物理環境，提高溝通效率與工作效率。

圖4為就地操縱員客戶端遠程專家實時音視頻頁面。

4 結束語

WebRTC作為一種構建在Web瀏覽器基礎上的實時音視頻通信技術，可使用戶在使用過程中避免安裝插件或軟件的復雜步驟，直接在支持WebRTC技術的瀏覽器上進行實時音視頻通信，用戶體驗一致性高。對于開發者而言，開發者不需考慮操作系統及其不同版本，只需關注功能本身，而不必關注流媒體信息的處理過程。這種實時音視頻技術對使用者和開發者而言都是輕量級的，利于應用的開發和使用。

圖4 就地操縱員客戶端遠程專家實時音視頻頁面Fig.4 Digital whiteboard of remote expert client

基于WebRTC技術開發的實時音視頻交互應用的跨平臺性使得其應用范圍更加廣泛，在核電廠管理及運維的過程中還可以與除了增強現實技術以外的其他技術相融合，如：圖像分割、人臉識別、基于SIP的VolP電話等技術。實時音視頻技術與上述技術的融合對如何提高核電廠運維的安全性、高效性及經濟性是日后還需研究的內容。