視頻拼接技術下斗輪機無人值守的可行性研究

龐占洲

（1.太原理工大學，山西 太原 030024；2.內蒙古岱海發電有限責任公司，內蒙古 烏蘭察布 013750）

0 引言

煤場運行時，需要利用視頻監控系統獲取煤場全貌圖像。但傳統視頻監控系統只能監測攝像機附近一定范圍內的圖像，無法覆蓋整個煤場，且視線相對狹窄；同時，要求視頻觀察人員對場景具有較高的熟悉度，工作人員需要頻繁切換視線，但各個圖像的相似度較高，導致工作負擔較重，影響其工作效率，并無法清晰觀察煤場全貌，可能會因無法及時發現安全隱患而導致安全事故的發生。斗輪機無人值守能夠解決以上問題，因此斗輪機無人值守技術的研究和應用已經成為工業自動化領域的熱門話題，其中視頻監控系統是實現無人值守的重要手段。視頻拼接技術是指將多段視頻進行拼接，形成一個完整的視頻，可以對斗輪機進行全方位的監控，提高生產效率和安全性。但是，如何解決視頻拼接過程中可能出現的畫面跳轉、分辨率不一致等問題，仍需要進一步研究和改進。

現階段，此研究領域專家利用多種方法已得到了較好的研究成果。文獻[1]針對破碎站設計了一種無人值守監控系統，采用了視頻分析技術以及物聯網技術。該系統包括感知層、傳輸層、數據層、服務層和用戶層。文獻[2]提出了一種煤礦智能化主運輸系統無人值守關鍵技術研究方法。

以上方法雖然可以對無人值守的視頻畫面遠程監控，并且不需要人工參與，減輕了工作壓力，但是無法實現空間層面大場景分割隔離與集成，因受到視頻監控畫面重疊影響，存在過度累積特征點的問題，無法獲取全局監測信息，因而不具備充分的應用價值。為此，本文提出一種新的視頻拼接技術下斗輪機無人值守的可行性研究方法。

1 拼接視頻俯視投影變換

由于斗輪機通常是在礦山等露天場所進行作業，其操作區域較大，需要使用多個攝像頭進行全方位監控，而不同的攝像頭角度和位置不同，拍攝到的畫面也存在差異，這就需要對拍攝到的視頻進行俯視投影變換，使得各個攝像頭拍攝到的畫面能夠拼接成一個完整的畫面，從而實現全方位監控。只有經過俯視投影變換，才能夠消除拍攝角度和位置帶來的影響，使得拼接后的視頻畫面更加連貫和準確，提高無人值守的監控效果。

本節通過視頻拼接融合技術實現煤場的全景展示，進而在多個圖像同步展示與拼接的基礎上，獲取更高的工作效率[3]。由于在無人值班情況下，需要在地面上形成一個完整的俯視全景圖，因此必須將影像投射在一個水平面上。利用單應性矩陣對側視圖展開頂視投影變換處理，將側視圖轉化成俯視圖，從而得到以水平地面為基礎的立體圖像[4]。

設左右兩相機的核心坐標系分別為Z1、Z2，尺度因子分別為λ1、λ2，參數矩陣分別為E1、E2，基于此，計算空間中左右兩相機下的像素坐標點，可表示為：

基于此，單應性矩陣可表示為：

單應性矩陣不只是描述同一平面的像素點之間的關系，更是同一個平面在任意坐標系之間都可以建立單應性變換關系，如圖1 所示。

圖1 拼接視頻俯視投影變換示意圖

投影轉換是最常用的一種影像轉換方法，可以用來描述包括平移、旋轉、縮放等各種轉換的情形，在這樣的轉換之下，轉換之前和之后的平行線仍維持平行[5]。基于此，本文提出了一種基于矩陣線性的圖像轉換方法。仿射變換可以處理對象的一切與其位置有關的變化，但不能處理全部情形[6]。若被攝對象在三度空間中出現了轉動，則該對象將經受一次投影轉換。在這樣的轉換中，轉換前后仍然是一條線，如此，二維向三維的轉換就可以用其投影轉換來表達[7?8]。

設a為平移矩陣元素，對于左右兩相機核心坐標系z的點(x,y)進行投影變換映射后，得到的平面投影變換公式為：

結合圖1 可知，投影變換存在8 個獨立參數，對于該投影變換下的相應點均可通過公式（3）被唯一確定[9]。

2 視頻無縫拼接的可行性研究

2.1 特征點提取

在一般情況下，常規的特征提取方法只能提取一張完整的圖片，而且所提取的特征點也不能完全覆蓋整幅圖像。然而，在實際應用中，需要對交疊范圍內的角點感興趣[10]。對疊加部分圖像的重疊區域或靠近重疊部分的外擴區進行檢測，不僅可以降低計算量和縮短計算時間，還可以大幅度地減少檢測到的角點數[11]。

為此，使用SIFT 算法確定特征點的候選點。該算法是通過圖像金字塔形式來構建尺度空間的，在一幅圖像中，基于平面投影變換結果，尺度空間的高斯函數可表示為：

式中：δ表示尺度系數，該值越大說明圖像越模糊，反之則越清晰[12]。在確定尺度空間的高斯函數情況下，構建尺度空間：

式中：“⊕”表示卷積運算；Im(x',y') 表示輸入的m個圖像[13]。通過改變尺度系數能夠獲取圖像金字塔不同尺度空間的圖像。

為了對特征點檢測區域進行限定，視頻圖像特征點檢測區域的大小需要根據具體的應用場景來選擇，通常不少于源圖像的1/3，不超過源圖像的1/2。先通過柵格法對特征點進行預處理，再對各個柵格中的圖像進行檢測[14]。用4×4 的格子將一幅圖片分割成16 個小塊，在此基礎上，通過控制各柵格內所能探測到的特征點數目，防止特征點的過多積累。

2.2 圖像融合

通過2.1 節的提取視頻特征點，可以對斗輪機進行精確定位和跟蹤，從而實現自動控制和無人值守。然而，在實際應用中，由于斗輪機作業區域較大，不同的攝像頭拍攝到的畫面也存在差異，因此需要對監控圖像進行融合，消除不同攝像頭之間的差異，使得監控畫面更加連貫和準確。

在圖像匹配時，需要考慮被匹配的2 幅圖像之間存在較大的交疊區域，保證有充足的公共特征可供配對。本文提出了一種基于面積的圖像拼接算法，該方法的加權平均法屬于對直接平均法的改良，對重疊區域的像素值不再是簡單疊加，而是先確定權重再疊加平均。

加權平均法的權重表達式如下：

式中：hi、gi分別表示輸入圖像的寬和高[15]。

將該權重表達式代入到如下公式，可得到融合后的圖像中各點像素值：

式中：ω1、ω2分別表示待融合圖像I1、I2的權重。加權平均法的優點是避免了重疊區域灰度值的直接疊加，從而使得重疊部分不會有明顯的拼接痕跡。

2.3 拼接處理

對其中一路視頻圖像的關鍵幀選擇的方式是：先選取視頻圖像的第1 幀作為關鍵幀，接著判斷當前幀和上一幀圖像的差值是否大于閾值，當差值大于規定的閾值后，即確定該幀為視頻關鍵幀，并獲取該幀的視頻圖像數據。然而，如果在一段時間內沒有關鍵幀出現，則說明拼接的視頻存在著畫面卡頓的問題。為了防止這種情況的發生，提出了視頻拼接技術下斗輪機無人值守的可行性研究方法，這樣可以保證拼接的視頻具有一定流暢度。融合視頻圖像的拼接處理流程如圖2 所示。

圖2 視頻拼接流程

先確定是否為視頻的首幀圖像，如果為首幀圖像，則對圖像進行配準處理，求出單應性矩陣，并對圖像加以融合；如果不是首幀圖像，可對選中的關鍵幀用首幀圖像運算出的單應性矩陣加以拼接，并通過融合算法進行融合。待選出的所有關鍵幀圖像拼接完畢后，再將已拼接好的所有視頻幀輸出，從而產生視頻流，實現斗輪機無人值守下的視頻有效拼接。

3 可行性驗證

3.1 實驗樣本圖像獲取

斗輪機無人值守的裝備是4 個魚眼攝像機和1 個視頻圖像采集卡，在對攝像機選取時，首先攝像機的視野要盡量開闊，視角越大，所蘊含的信息就會越多，對輔助煤場操作的安全也會更有利。在視頻數據收集卡的選取方面，采用了一種能夠實現4個信號的PCI總線的采集卡。

通過攝像頭采集的圖像如圖3 所示。

圖3 攝像頭采集的原始圖像

3.2 驗證指標

設置匹配正確率為實驗研究的重要指標。匹配正確率表示圖像配準過程中正確匹配點對數目占全部匹配點對數目的百分比，計算公式為：

式中：N表示正確匹配點的數量；M表示全部匹配點的數量。匹配正確率的數值越大，表示正確匹配點對數目越多，則算法精度越高，性能越好。

3.3 驗證結果分析

使用文獻[1]提出的破碎站無人值守監控方法、文獻[2]提出的煤礦智能化主運輸系統無人值守方法以及本文方法完成對比實驗。在性能驗證中對比匹配正確率指標，對比結果如表1 所示。

表1 不同方法匹配正確率對比結果 %

由表1 可知，使用本文方法的特征點匹配正確率均高于95%，其余方法特征點匹配正確率均低于70%。

使用三種方法對比分析視頻拼接結果的峰值信噪比，對比結果如圖4 所示。

圖4 不同方法視頻拼接效果

由圖4 可知，使用文獻方法完成的視頻圖像拼接結果中不僅存在較大縫隙，而且圖像拼接錯亂，而本文方法的視頻圖像整體拼接效果更為理想。

4 結語

在本文研究的斗輪機無人值守系統中引入了視頻拼接技術，實現了視頻的無縫拼接與有效融合，增強了數據整合能力，并可實現數據動態分析，能夠對大量視頻信息展開實時處理。通過深度融合復雜視頻信息，能夠及時發現斗輪機運行故障問題，大幅提升斗輪機視頻監控的質量及效率。