基于幀率提升算法的核電大修遠程專家支持系統設計

羅俊 韓輝 徐奎 劉石橋 李小輝 景應剛

一、引言

在核電廠大修期間，參與工作人員數量超過千人，涉及的專業眾多，而且人員之間、團隊之間的協作關系復雜，核電廠的廠區面積大，各個區域的通信許可管控嚴格，導致傳統的面對面交流方式變得困難重重，不可避免地帶來了溝通、效率、成本浪費等問題。核電大修需要更加高效、便捷的溝通方式。

為了提高核電廠相關設備維修的溝通和工作效率，基于維修現場已搭建的無線傳輸網絡，移動終端、觸摸式顯示屏或臺式工作站等設備，面向核電大修溝通、對現場進行遠程可視化技術支持，開發一套多方視頻會議通訊網絡系統與辦公協作軟件迫在眉睫。

為此，本文設計實現一套遠程專家支持系統，目標是在核電廠智能維修系統中建設遠程專家支持應用，實現廠內大修指揮中心的大修協調人員或廠外專家與檢修現場的視頻通訊，通過共享實時檢修畫面、檢修記錄數據和相關技術資料，多方專家可實現遠程快速維修決策。并提供檢修方案，解決大修過程中產生的異常或復雜問題，有效控制大修周期和保證大修質量。具體來說，系統功能劃分為四大模塊，分別是遠程支持、遠程見證、遠程會議和后臺管理。其中，遠程支持模塊提供核電廠工作人員在現場遇到的問題，或需要請求相關領域專業人士進行支持時的問題解決功能，廠內工作人員發起遠程專家支持流程，被邀請或請求的專家在遠程或核電廠集中場所進行應答和響應。遠程見證模塊主要提供質量控制功能，包括人員遠程出席見證活動的質量見證平臺及電子簽字確認等功能。遠程會議模塊提供遠程會議相關功能，主要包括通過手持終端、PC或會議室召開會議，提供實時音視頻通話、會議室管理、遠程監控視頻接入、會議歷史管理等功能。

二、系統總體設計

遠程專家支持系統采用B/S三層架構體系，將整個業務劃分為數據訪問層、業務邏輯層和表現層。

三、關鍵算法設計

遠程專家支持系統的技術關鍵是實時音視頻通信和傳輸，其中，傳輸視頻的幀率是影響所傳輸的視頻流暢性的關鍵參數，也是客戶對遠程視頻支持質量判定的直觀體現。隨著高清多媒體技術的飛速發展，人們需要高幀率的視頻。在視頻傳輸過程中，發送端幀率受視頻采集和編碼器性能影響較大。攝像頭采集視頻數據傳輸到編碼器，經編碼器編碼后的實際輸入幀率并不等于攝像頭采集到的幀率，即若視頻采集圖片速度快，而編碼器編碼速度慢，則編碼器任務隊列中將累積多余的圖片幀，為滿足實時視頻會議的低時延要求，編碼器需要及時處理最新的幀，常見措施就是丟幀，即編碼器任務隊列中有多個視頻幀時，僅對最新一幀進行編碼。該策略將降低發送端幀率，在實際應用中導致接收端黑屏、卡頓等現象。實時視頻會議情況下，網絡狀況不佳將導致接收端丟幀。同時，與編碼類似，解碼也會導致丟幀。接收端的幀率減少直接影響視頻質量。針對接收端提供良好的幀率提升策略，即在接收端針對接收到的原視頻幀序列，計算并插入一組新視頻幀，是十分重要的。傳統的幀率提升方法包括基于運動估計和補償的方法，而光流算法以其良好的效果得到了學者們越來越多的關注。但光流算法多通過采用將雙向光流和附加網絡（如深度估計）相結合的方式來生成中間幀，難以應用于實時視頻傳輸的場景。

（一） 基本思想

為了解決上述問題，本文提出一種改進的基于流的視頻幀率提升算法。該法以RIFE（Real-Time Intermediate Flow Estimation）方法為基礎，通過簡化中間光流估計模型，以達到更快的計算速度，從而滿足遠程視頻會議的實時性要求。算法由光流估計和融合網絡兩部分構成，其中，光流估計用于輸入圖像的中間光流估計，融合網絡則是一個類似U-Net的網絡結構。經后向變形操作后生成對應幀的模糊中間光流，再通過融合網絡融合生成最終的結果。

（二） 算法流程

本文使用一種改進的L-K（Lucas-Kanade）金字塔光流法進行光流估計。Lucas-Kanade是由Bruce D. Lucas等人提出的一種兩幀差分光流估計方法，它假設光流在像素點的鄰域是一個常數，然后使用最小二乘法對鄰域中的所有像素點求解基本的光流方程。當圖片中物體的運動速度較快時會出現跨度較大的情況，此時算法會出現較大誤差。因此，在L-K方法基礎上加入圖像金字塔結構，最底層為原始圖像，越往上圖像分辨率越小，上層金字塔中的一個像素可以代表下層金字塔中的兩個像素。算法流程包括如下步驟：

1. 金字塔的構建

以原始圖像作為金字塔底層，逐層向上，不斷降低分辨率，生成上層的圖像，構建圖像金字塔。

2. 基于金字塔的光流計算

從最上層開始，計算并使得每個點的鄰域內匹配誤差和最小，以得到該層圖像中每個像素點的光流。同時，上一層的結果反饋到下一層作為輸入，繼續計算位移，重復該步驟，得到大致的圖像運動稀疏光流。

3. 殘余光流計算

在整個金字塔迭代過程中，還需要對于每一層的殘余光流進行計算，最終得到有效的光流估計。

四、系統實現

（一）系統開發環境

系統開發平臺的硬件配置為：CPU Corei5-8300H 2.30GHz，硬盤500G（SSD），內存20GB。

系統實現所需相關軟件包括：操作系統Windows10，數據庫MySQL5.7 社區版，開發環境JDK8和Python3.8，開發框架為SpringBoot、Mybatis、Pytorch。

（二）數據說明

算法在Vimeo90K數據集上進行訓練，包含有分辨率為448 * 256分辨率的3000多組圖像，每組圖像為三元組，即包含3張連續幀。

（三）實驗及結果分析

對系統執行功能測試，并展開相關性能測試。

1. 系統響應能力測試

測試系統對正常請求進行及時響應的能力。進入系統首頁，通過模擬用戶登錄的情況，來查看系統響應能力，測試結果表明整個登錄過程至進入界面耗時為2.63秒。系統響應登錄操作耗時為1.2秒，反映了本系統能夠在較快的時間內響應用戶的需求。

2. 幀率提升算法有效性測試

分別測試系統在不使用和使用幀率提升算法的情況下，視頻會議畫面的質量。通過開啟多個會議窗口測試視頻通信結果，在不使用幀率提升算法的情況下，在網絡出現波動的情況下遠程會議視頻會播放不流暢，出現了明顯的卡頓。使用幀率提升算法后，遠程會議視頻能夠保持穩定幀率播放，緩解了網絡波動造成的視頻卡頓，為與會人員提供了更好的觀感。

五、結語

遠程專家支持系統開發完成后，經測試后上線運行，經一個月的觀察，運行穩定。使用視頻幀率提升算法后有效提高了視頻會議時畫面的流暢度，對關鍵場景與見證畫面的展示提供了更好的支持。該系統的投入使用，大大節省了人力成本，有效解決了現場維修的技術支持問題，提高了質量控制等多方面的企業工作效率。

作者單位：羅俊 中國核能電力股份有限公司

韓輝、李小輝 江蘇核電有限公司

徐奎、劉石橋、景應剛 中核武漢核電運行技術股份有限公司