營銷類多媒體信息發布系統終端自動化運維

陳艷，葉德建

?

營銷類多媒體信息發布系統終端自動化運維

陳艷，葉德建

摘 要：隨著終端規模的增加、系統部署時間的增長，營銷類多媒體信息發布系統由于傳統單服務器模型在存儲、性能可擴展性的限制，實時監控及故障預警與處理機制的缺乏而難以運維。利用流媒體細分行業云提供的云存儲、云計算等基礎服務重新設計架構，實現線性可擴展；分析信息發布系統業務特色及運維需求，確定終端監控指標體系及基于有限狀態機的實時監控方案，降低故障處理時間，提高系統可運維性；重點講述基于字符串最長公共子序列的終端播放邏輯正確性檢測，基于幀率、圖像質量的視頻失真評估模型，實現視頻播放質量的實時監控。實驗顯示運維方案既能滿足終端性能需求，又能達到運營預期。

關鍵詞：營銷類信息發布系統；流媒體云平臺；大規模機頂盒終端；自動化運維

體，上海，201203

葉德建（1976-），男，浙江，復旦大學，軟件學院，網絡信息安全審計與監控教育部工程研究中心，副教授，研究方向：網絡多媒體，上海，201203

0 引言

營銷類多媒體信息發布系統為企業構建業務互動營銷管理平臺，商業價值與服務質量之間關系密切，業主十分關注其達到的宣傳效果與資金投入是否成正比，因此播放邏輯（精確到秒）、廣告播放質量等的監控對廣告運營而言至關重要。傳統主觀多媒體服務質量監控手段，采用人輪詢的方式因耗費大量人力難以實現，亟需定制符合業務需求的自動運維方案。

信息發布系統無法實時監控，一是缺乏存儲、計算資源。隨著終端數量的增多，服務器對數據處理不及時；隨著部署時間的增長，歷史離線數據難以存儲、分析處理。二是缺乏有效的運維監控方案及故障預警與處理機制。學術界現有相關研究圍繞受眾營銷有效性展開，采用傳感器及人臉識別、姿勢檢測、運動檢測、人流量分析等機器挖掘技術，從觀看人數、時間等方面衡量信息發布系統對受眾的推銷影響[1]。傳感器的引入，為系統增加了器材購置、運維等的開銷，無法廣泛應用于產業界。文獻[2]提出了客觀服務質量的監控方案，基于日志輸出提取指標數據依賴于日志數據的準確、完整、及時，在終端實際運行中難以保障。此外，兩者均缺乏故障檢測、故障處理機制，無法完全滿足廣告自動化運維的需求。

因此，論文首先基于流媒體業務云搭建信息發布系統業務，利用存儲、計算等云服務設計系統架構，實現系統的線性可擴展。其次從業務、運維需求中提取監控指標，利用大數據處理平臺對采集的流式數據進行數據挖掘，著重設計并實現對大規模終端的播放邏輯正確性、視頻控件播放質量的實時監控。最后展示數據挖掘結果并測試監控模塊對終端資源的消耗。實驗數據及生產部署顯示，監控方案對終端資源消耗合理，且滿足運維預期。

論文的創新性在于：（1）利用云技術設計系統架構，實現線性可擴展；（2）建立適合多媒體信息發布系統的運營指標體系；（3）設計適合機頂盒終端的播放邏輯、視頻質量監控方案。

1 自動化運維

1.1 基于云的多媒體信息發布系統

Clear云為流媒體視頻行業細分云，為信息發布系統、OTT網絡電視、酒店VOD等流媒體應用提供存儲、計算基礎服務。

系統架構如圖1所示：

圖1　信息發布系統架構圖

信息發布系統部署在Clear云平臺上，主要包括smartpub信息發布子系統（用于終端、多媒體資源等信息管理、節目的編輯與定時定點發布）、iips終端服務器（負責與終端的交互，推送節目，處理終端請求）、monitor終端監控平臺（負責實時處理終端上報的心跳和日志，監控終端實時狀態）3個業務子系統，及Clear日志服務、Clear大數據處理服務（提供批處理和流式數據處理）、Clear分布式文件系統（存儲日志等離線數據）、Clear分布式對象存儲（存儲視頻、音頻、圖片、JavaScript等靜態文件）、Clear分布式消息中間件5個云平臺子系統。通過分布式消息隊列粘合各個子系統，同時保持子系統間的松散耦合，實現功能線性可擴展。

系統中主要有4路數據流：（1）系統管理員在smartpub信息發布子系統編輯節目，并通過iips終端服務器發布到終端；（2）機頂盒終端到mongodb布局數據庫中獲取發布的布局，然后從swift分布式對象存儲中獲得相應多媒體文件；（3）終端將心跳、日志等數據上傳至log日志服務器，經過nsq消息中間件分發到monitor終端監控平臺，基于spark等大數據平臺處理后將故障結果推送至移動互聯網應用，通知相應運營人員；（4）終端通過iips終端服務器實現軟件更新。

1.2 監控指標體系

筆者從宜信貸、中民福彩等實際項目中提取出信息發布系統的運維需求：

（1）商用多媒體信息發布系統主要為企業推銷形象，管理員集中發布節目后，終端必須嚴格按照時間表、播放列表、播放日程進行播放，因此需要圖形化展示終端播放流程，并監控其播放邏輯是否符合預期。

（2）為提高系統競爭力，需要保障多媒體控件展示質量。圖片、文字、音頻數據量相對較小，通過HTTP資源下載，質量容易保障。對于實時發布的節目，為減少啟動延時，視頻采用HLS傳輸協議，因此需要為系統提供視頻客觀質量評估方法，實時評估播放內容。

（3）為運維人員提供終端在線狀況視圖，并統計終端使用情況，如在線盒子、活躍盒子、新增盒子、啟動頻率、地域分布、版本分布、存留分析等。

（4）終端硬件資源使用數據，根據當前資源使用情況及經驗閥值，判斷當前終端是否健康。

基于上述需求，系統監控指標如表1所示：

表1　終端監控指標

其中終端在線狀況及終端硬件資源使用情況比較簡單，本論文不做過多討論。

1.3 基于有限狀態機的終端狀態管理

系統為每一個智能終端維護一個有限狀態機，如圖2所示：

圖2　終端有限狀態機

來自性能、播放狀況、播放邏輯等的數據挖掘事件、心跳事件和預警措施事件將觸發其狀態的改變。終端一共有3個狀態：正常態、退化態、故障態。初始時系統處于正常態，當播放質量變差、性能指標降低、播放邏輯打分變低時，系統進入退化態。當系統恢復正常時，其回退到正常態。當出現3次心跳超時、播放故障、資源過載、及播放邏輯混亂時，系統將從正常態或者退化態直接進入故障態，此時通過運維人員的人工干預，可以回到正常態。

1.4 播放邏輯

對于信息發布系統而言，客戶非常關注其播放效果，如投放的廣告，是否按時播放、播放次數是否符合預期。因此播放邏輯的檢測非常重要，主要檢測管理員發布的節目，預定播放邏輯和實際播放邏輯的對比，并計算兩者匹配程度。1.4.1 多媒體控件實體關系

信息發布系統中多媒體控件實體關系如圖3所示：

圖3　多媒體控件實體關系

一個頻道有多個布局，一個布局有多個多媒體控件，多媒體控件可以分為視頻、音頻、文字、圖片控件，而一個控件可以播放多個多媒體文件。系統可以在布局和多媒體文件（視頻、音頻、文字、圖片）兩個層面定義開始播放時間、節目時長、播放次數。

1.4.2 播放邏輯

播放邏輯即，根據發布的頻道獲得其基于時間軸的素材播放列表。首先需要確定頻道中各個布局的播放列表。布局根據播放優先級分為插播布局、定時布局和常規布局。插播布局最先播放，定時布局則是在規定時間點播放，常規布局則在插播布局之后，定時布局之間播放，其處理流程圖如圖4所示：

圖4　布局播放列表生成流程圖

布局調度開始后，首先確定插播布局播放時間，遍歷每一個插播布局，按其規定次數播放插播布局。然后，確定定時布局播放時間，遍歷每一個定時布局，如果其規定開始播放時間比當前時間軸可調度時間小，則其規定播放次數由于時間被占用而減少，系統將按調整后的播放次數播放當前布局。最后，確定常規布局播放時間，遍歷每一個常規布局，從時間軸上找到每一次播放所對應的插播布局與定時布局之間的時間間隔，播放當前布局。

在確定布局開播時間、播放時長后，則需要確定其內部每一個組件的媒體文件播放列表。由于各個組件獨立運行，因此可以單獨調度，組件調度流程圖如圖5所示：

圖5　組件素材播放列表生成流程圖

組件節目調度開始后，如果素材已播放時間大于其規定的播放時間，則調度結束。否則將遍歷組件中每一個多媒體文件，進行規定次數的播放。

1.4.3 播放邏輯正確性檢測

對于發布到終端的頻道，系統從布局展示邏輯、組件素材展示邏輯兩個層面獲得其預期播放邏輯；同時從終端播放日志可以獲得其實際播放邏輯。獲得基于時間軸的預定播放邏輯和實際播放邏輯后，系統給出基于開播時差、播放完整度、播放列表匹配度的播放邏輯總分，來衡量實際播放邏輯與預期播放邏輯的差別。

首先需要對素材進行匹配，找出預期播放列表與實際播放列表的最長公共子素材＜布局1，布局2，布局4＞為其最長匹配素材播放列表，如圖6所示：

圖6　播放列表匹配示意圖

比較兩個播放序列，可以發現在實際播放中出現了漏播和播放延遲。

可以將該問題轉化為字符串最長公共子序列這一經典算法，定義如果播放列表一的所有素材按其在時間軸的順序出現在播放列表二中，則播放列表一為播放列表二的子串，并利用動態規劃求解。用數學表示，序列X=＜x1,x2,...,xm＞為預期播放列表，xi為X中第i個播放素材，Y=＜y1,y2,...,yn＞為實際播放列表。設X和Y的一個最長公共子序列為Z=＜z1,z2,...,zk＞，其中X{zi}為X中zi對應的播放項，Y{zi} 為Y中zi對應的播放項。

素材zi開播時差得分T(zi)，如公式（1）：

其中SX{zi}為X{zi}的開始播放時間，即預期開播時間，SY{zi}為Y{zi}的開始播放時間，即實際開播時間，得分在[0,1]區間，隨開播時間差指數衰減，α為系統可調時間參數。

素材zi播放完整度得分D（zi）如公式（2）：

其中DX{zi}為X{zi}的播放時長，即預期播放時長，DY{zi}為Y{zi}的播放時長，即實際播放時長，得分隨時長差線性衰減，在[0,1]區間。

素材列表播放邏輯總分S（X,Y），如公式（3）：

為平均匹配得分，對于公共播放列表Z中每一項，其分數為時間偏差與播放完整度的乘積，S(X,Y)在[0,1]。

假定布局中組件列表為C=＜c1,c2,...,cl＞，ci為C中第i個組件。布局內所有組件播放綜合得分如公式（4）：

其中S（ci）為組件ci播放邏輯得分，wci為組件ci的權重，通過權重值的分配可以為視頻、音頻組件賦予更高的權重。

當X、Y表示布局播放列表時，布局得分如公式（5）：

單項得分為布局內組件播放得分、時間偏差與播放完整度綜合得分，其值在[0,1]區間內，得分越高，說明播放邏輯越好。

1.5 視頻質量監控

視頻質量評估主要分為主觀質量評估和客觀質量評估，客觀方法分為全參考、半參考、無參考模型[3]。主觀質量評估由人對觀看的視頻進行打分，最可靠最有效，但需要大量運維人員的參與，代價昂貴。客觀方法中全參考模型，需要同時獲取參考多媒體文件與測試文件，將終端播放畫面傳回云端，或者在終端預先下載存儲參考多媒體文件，為存儲、帶寬資源有限的機頂盒添加了過重的負擔；無參考模型不依賴參考文件，準確性較低，需要實時提取視頻空間、時域信息，計算復雜度高，不適合嵌入式設備。而現有半參考模型基于計算、帶寬等因素的考量同樣不適宜直接應用在信息發布系統中，因此，論文基于Thomas Zinner提出的影響QoE （Quality of Experience，服務體驗質量）的幀率、圖像質量因素結合人類視覺特性，提出了簡化版視頻質量評估模型[4]。

視頻失真包含空域失真和時域失真兩種類型。對于空域失真而言，一個失真畫面往往包含多種失真，而對所有失真進行建模計算量大且無法覆蓋所有失真。文獻[5]指出，使用daubechies9/7小波基對失真圖像進行小波變換后，每個子帶的系數都服從廣義高斯分布，相應的高斯分布系數可以唯一地刻畫該子帶的失真特性，因此，可以提取子帶系統統計直方圖作為特征向量來描述圖像。

參考人眼視覺效應，畫面出現失真時，物體運動越快，失真越容易被掩蓋，因此，空間失真是運動矢量與空間失真的綜合作用。空間失真Ds模型如公式（6）：

其與運動矢量M負相關，與畫面失真度S’正相關。畫面失真度S’，如公式（7）-（9）：

終端播放幀率與參考幀率偏差越大，畫面連續感越差，時域失真越明顯。此外運動矢量越大，畫面轉變得越快，人眼對失真感知度越明顯，因此系統中用幀率F（Fr為參考幀率，Fa為實際幀率）和運動估計M來估計當前時域失真Dt，如公式（10）：

論文綜合考慮空域失真Ds和時域失真Dt，視頻實時失真D如公式（11）：

視頻質量算法框架如圖7所示：

圖7　視頻質量評估框架

對于終端視頻，每隔一定時間抽樣當前播放內容畫面，提取特征向量并傳輸到云平臺。在Clear云平臺，也對相應幀提取特征向量，同時進行視頻復雜度分析，最后基于三組輸入進行視頻質量分析，獲得質量得分。該算法采用部分參考模型，在保證質量評估準確性的前提下，減少了終端機頂盒的數據傳輸，同時將終端計算量移到云平臺，充分利用云平臺計算資源，降低終端計算量。

2 實現與測試

2.1 播放邏輯展示

系統采用amCharts的時間序列圖展示播放邏輯。參考布局如圖8所示：

圖8　參考頻道布局播放列表

圖為測試頻道的布局播放列表，其中all和video單次播放55分鐘，其播放順序為all-all-video-video。

其中all布局有四個組件，各組件內媒體文件播放列表如圖9所示：

圖9　all布局各組件素材播放列表

從上到下依次為圖片組件、文字組件、音頻組件、視頻組件。

all布局中視頻組件的第二次播放處理結果，如圖10所示：

圖10　素材播放邏輯處理結果

圖10中粗線為預期播放列表，灰線為測試播放列表，其中總分為0.736分，播放邏輯較差。

2.2 視頻質量監控展示

不同畫面質量分析結果如圖11所示：

圖11　圖像質量分析

圖片左上角為參考畫面，中間為網絡情況良好時的視頻播放效果截圖，右上角圖片為網絡差時視頻播放效果的截圖。第二排為圖像第一維度水平方向細節小波變換系數統計直方圖，可以看到，圖片失真嚴重時，其直方圖差異明顯，因而失真分數高。

終端對單幀采樣圖片（分辨率為1920×1080）處理時間曲線，如圖12所示：

圖12　圖像處理時間

可以看到處理時間穩定在450ms左右，當視頻切換時，其處理時間上升到1000ms，但會在短時間內急劇下降。因此當采用間隔在0.2秒以上時，通過大小為2~3的線程池，終端能較好完成任務。

2.3 監控模塊資源消耗

將終端監控模塊集成到客戶端，客戶端為ARM Cortext-A9處理器、1GB內存、Android4.2的海美迪Q3II機頂盒。在播放相同節目時，對有監控模塊和沒有監控模塊的CPU和內存資源消耗情況進行了采樣，并計算平均資源使用情況，如圖13所示：

圖13　監控模塊資源消耗

集成監控模塊以后，系統CPU增加7%，內存使用增加2%，運維監控模塊增加的硬件資源消耗可以接受。

3 總結

本文通過分析營銷類信息發布系統隨著終端規模的擴張難以自動化運維的原因，提出了基于流媒體云平臺的架構設計，既滿足業務自身需求，同時為運維提供有力支持；結合業務特色和運營反饋，從終端播放邏輯、控件播放質量、終端資源消耗、終端在線情況4個方面給出了基于有限狀態機的終端實時監控方案，重點講述了播放邏輯檢測、視頻質量評估的設計與實現。實驗證明該方案既能滿足系統性能需求，又能達到運營預期。

參考文獻

[1] Yin K C ,Wang H C, Yang D L. A study on the Effectiveness of Digital Signage Advertisement[C]//IEEE/2012 International Symposium on Computer,Consumer and Control(IS3C)[C]. 2012, 169-172.

[2] 李露露, 葉德建, 劉新. 一種自動精確衡量信息發布系統客觀服務質量的方法[J].計算機應用與軟件, 2015, 32(1): 74-77.

[3] Seshadrinathan K, Soundararajan R. Study of Subjective and Objective Quality Assessment of Video[J].Transactions on Image Processing, 2010, 19(6): 1427-1441.

[4] Zinner T, Hohlfeld O, Abboud O. Impact of frame rate and resolution on objective QoE metrics[C].IEEE/2010 Second International Workshop on Quality of Multimedia Experience, 2010, 29-34.

[5] Moorthy A K, Bovik A C. Statistics of nature image distortions[C].IEEE/ International Conference on Acoustics Speech and Signal Processing, 2010, 962-965.

Automated Maintenance for Advertising Multimedia Digital Signage Terminals

Chen Yan, Ye Dejian
(Software School ,Fudan University, Shanghai 201203, China)

Abstract:With the increasing of terminal scale and deployment time, the information publish system for marketing multimedia is hard to maintain because the traditional single server model has the limits of storage and performance scalability, and the lack of real-time monitoring schema, fault alarm and handling mechanism. This paper uses the basic services such as cloud storage and computing provided by the industry of streaming media segmentation to redesign the architecture and realize linear expansion. It analyzes the business characteristics and maintain requirement of the information publish system, and determines the index system of monitoring terminals and the real-time monitoring scheme based on finite state machine. It reduces the time of error handling and improves the system operations. Then it focuses on the logic validity check of terminal player based on longest common sub-sequence and the evaluation model of video distortion based on frame rate and image quality, to realize the real-time monitoring for the playing video quality. Experiments demonstrate that this solution is effective and acceptable.

Key words:Advertising Digital Signage; Multimedia Cloud; Large-Scaled Set-Top Box; Automated Maintenance

收稿日期：（2015.04.15）

作者簡介：陳 艷（1989-），女，湖南，復旦大學，軟件學院，網絡信息安全審計與監控教育部工程研究中心，碩士研究生，研究方向：網絡多媒

基金項目：上海市科委科技發展基金攻關項目

文章編號：1007-757X(2016)01-0025-05

中圖分類號：TP31

文獻標志碼：A