基于三維視頻融合的礦山視頻監控技術研究

苗作華 湯 陽 任 磊 王夢婷 謝 媛 戰 川 李宏亮

(1.武漢科技大學資源與環境工程學院,湖北 武漢 430081;2.冶金礦產資源高效利用與造塊湖北省重點實驗室,湖北 武漢 430081;3.北京道亨軟件股份有限公司,北京 100012)

當前智慧礦山建設正向著安全、高效、綠色的方向發展,對礦山信息的呈現從二維到三維進行轉變[1]。視頻監控是礦山生產監管的重要手段之一,傳統的礦山視頻監控技術往往采用平面列表的可視化方式,與三維地理信息結合不緊密,通常采用給視頻編號的方式記錄其攝像監控設置的位置,只有熟悉現場的人員才能對監控區域進行快速定位,監管效率低,阻礙了智慧礦山建設[2]。通過融合三維模型地理空間位置信息與實時監控視頻,將對礦山風險預測、危機預警、安全監管等方面起到重要的輔助作用。因此,可以使用三維可視化技術對傳統礦山視頻監控技術進行改進。

近年來,諸多學者對礦山三維可視化技術進行了大量研究。周羽[3]結合地表建模及可疊加遙感技術對礦山進行了全方位的立體建模,實現了地上地下一體化顯示;李昀等[4]基于WebGL 構建了三維礦山巷道系統架構,實現了三維巷道可視化、二維三維一體顯示和路徑分析應用功能;黃青青等[5]基于Unity 3D平臺實現了對大孤山露天鐵礦的三維可視化,真實地展示了大孤山露天鐵礦復雜的礦巖關系和時空關系,增強了三維立體直觀的表現效果。上述研究對礦山三維可視化技術進行了完善,將礦山數據與三維地理信息相結合,進行了可視化展示,增強了虛擬三維場景的真實性,為礦山的開發管理和日常調度提供了依據,但是礦山生產變化快,時效性強,空間位置信息不斷變化,上述研究利用已有的數據進行三維可視化展示,缺乏時效性,往往只具有展示作用。將實時數據進行三維可視化能幫助管理人員及時處理礦山生產的突發事件,有助于提升管理效率、保障生產安全。一些其他領域的學者嘗試將三維模型與實時的視頻信息進行融合,產生了三維視頻融合技術[6]。HU[7]利用構建紋理幾何體的方式,將視頻圖像作為紋理構建幾何體,融合到三維模型上;DE 等[8]采用投影融合方式,將視頻圖像投影到三維模型表面。目前三維視頻融合技術處在發展階段,仍存在一些問題需要進一步解決,如三維模型與視頻紋理不契合,攝像機由于拍攝角度出現偏差導致視頻圖像失真、紋理產生畸變[9]。

針對以上研究存在的不足,本研究使用三維可視化技術對傳統的礦山視頻監控技術進行改進,提出一種基于三維視頻融合的礦山視頻監控技術,通過構建紋理幾何體的方式,將實時監控視頻與礦山三維模型進行融合。構建紋理幾何體的方式相較于投影融合方式的優勢在于:當視頻數量過多時,采用投影融合方法會影響著色器執行;當接入多視頻時,用構建紋理幾何體的方式進行三維視頻融合穩定性更高。因此,本研究采用構建視頻紋理幾何體的方式進行三維視頻融合,三維場景漫游更穩定,同時針對視頻紋理畸變的問題,使用拉普拉斯網格形變算法對紋理畸變進行校正,使三維視頻融合更貼近礦山真實的生產環境。

1 技術路線

本研究基于三維視頻融合思路提出的礦山視頻監控技術,其技術路線主要分為構建礦山三維模型、獲取礦山實時監控視頻、搭建三維場景3 個部分,如圖1所示。

圖1 三維視頻融合的技術路線Fig.1 Technical route of 3D video fusion

1.1 礦山三維模型構建

礦山三維建模步驟為:① 利用無人機傾斜攝影技術收集礦山現場數據[10-12];② 使用context capture軟件針對視頻監控區域進行初步建模;③ 由于無人機傾斜攝影測量技術對于精細物體的建模效果不佳,故本研究通過3D Studio Max 軟件對三維模型進行細部修正,優化模型細節,為視頻融合提供三維模型基礎。對模型缺損或存在懸浮物的部分進行了修正、優化,結果如圖2所示。

1.2 礦山實時監控視頻獲取

本研究通過攝像機采集實時視頻圖像并與磁盤相互連接,實現視頻信息同步存儲。攝像機采集的原始視頻通過編碼器轉為網絡傳輸格式,發送到流媒體服務器。客戶端可以通過流媒體服務器提供的數據傳輸接口,經過HLS 協議獲取視頻[13]。流媒體服務器的工作原理如圖3所示。

圖3 流媒體服務器工作原理Fig.3 Working principle of streaming media server

1.3 三維場景搭建

搭建三維場景的具體步驟為:導入構建的礦山三維模型,調整模型的位置、角度、大小等參數以符合虛擬現實場景;導入礦山實時視頻數據,以視頻作為紋理生成視頻幾何體,對其進行裁切,保留視頻圖像清晰、光線佳、形變小的部分;最后將模型和視頻幾何體通過特征點提取、特征點匹配、紋理畸變校正等步驟實現三維視頻融合。

2 三維視頻融合

本研究通過構建視頻紋理幾何體進行三維視頻融合。具體實現步驟為:首先采集三維模型與視頻幾何體的特征點,確定模型與視頻幾何體特征點的對應關系;然后對視頻區域進行三角網格劃分,為紋理校正做準備;最后將模型與視頻幾何體進行特征點匹配,同時通過拉普拉斯網格形變算法對視頻幾何體的頂點進行調整[14-16],對三角網格進行變形處理,從而校正畸變的紋理,實現三維模型與視頻的融合。為了提高三維視頻融合的渲染效率,攝像機安裝位置和鏡頭角度一旦確定之后不宜隨意更改,防止視頻幾何體拼接處出現錯位、減少特征點提取和匹配的計算量,在提取特征點時可以抓取具有代表性的視頻畫面。

2.1 特征點提取和匹配

本研究用SIFT 算法采集模型與視頻幾何體上的特征點,并使用人機交互方式修正部分點的位置,去除雜亂的點。利用上一步得到的特征點,在視頻幾何體中添加特征點作為頂點,使用Delaunay 三角剖分方法,對視頻幾何體進行三角網格劃分,為后續紋理校正做準備。為了使紋理校正時的紋理變化更均勻,在進行三角網格劃分時可以采用手動或自動方式在視頻幾何體上添加一些非特征點。最后通過模型和視頻幾何體特征點之間的位置關系,進行特征點匹配。

2.1.1 SIFT 算法特征點提取

SIFT(Scale-invariant Feature Transform)是一種能檢測圖像局部特征的算法。視頻具有動態性,存在動態變化的物體,并且不同時刻的現場光照強度和天氣狀況不同,會影響對視頻圖像的特征點提取。該算法具有較強的穩定性,能在一定程度上適應圖像旋轉、尺度和亮度的變化[17-18]。用SIFT 算法對相同區域的三維模型與視頻圖像進行了特征點提取,結果如圖4所示。

圖4 SIFT 算法提取特征點Fig.4 Feature points extracted by SIFT Algorithm

采用SIFT 算法能夠快速提取特征點,但進行特征點匹配時要保證模型和視頻幾何體提取的特征點數量相同,所以還需要通過人機交互方式剔除雜亂的特征點,調整部分區域特征點的位置,使三維模型與視頻幾何體的特征點相對應。

2.1.2 Delaunay 三角剖分

Delaunay 三角剖分是將有限的點集合組成封閉線段平面圖。平面圖中的邊不包括點集的所有端點,線段之間不交叉,在平面圖中所有的平面都是三角形平面,且每個三角形平面的合集都為凸包。在進行視頻融合時,為了使視頻融合效果更佳,視頻幾何體需經過裁切,去除重疊部分或圖像質量不佳部分,因此視頻幾何體會被裁切成任意凸多邊形或凹多邊形。幾何體在進行三角剖分時,要保證其輪廓形狀不發生改變,需要使用有約束條件的Delaunay 三角剖分方法,考慮約束線段即幾何體的輪廓線,采用遞歸割耳法,先將影響區域調整為簡單多邊形,再遞歸尋找并割去多邊形的“耳”,最終將影響區域重新三角剖分[17]。將無約束和有約束的Delaunay 三角剖分方法對三角網格劃分結果進行對比,結果如圖5所示。圖5(a)使用常規的Delaunay 三角剖分方法進行三角網格劃分,三角網格構成了多邊形ABFEC;圖5(b)使用有約束條件的Delaunay 三角剖分方法進行三角網格劃分,三角網格構成了多邊形ABFECD,剔除了三角形ADC部分。因此,用有約束條件的Delaunay 三角剖分方法能約束三角網格輪廓,該方法能實現對任意輪廓的視頻幾何體進行三角網格劃分。

圖5 Delaunay 三角剖分Fig.5 Delaunay triangulation

2.1.3 特征點匹配

從三維模型上選取的特征點具有高程數據,特征點之間存在高差。初始視頻幾何體為一平面,其特征點之間高差為零。本研究特征點匹配方法是將三維模型的特征點坐標數值通過與視頻幾何體特征點之間的映射關系,賦給視頻幾何體的頂點[19]。如圖6所示,三維模型特征點A、B、C、D、E、F分別與視頻幾何體特征點G、H、J、I、K、L對應,將三維模型上特征點的坐標賦給視頻幾何體的頂點,視頻幾何體的位置和形狀發生變化,實現與三維模型的融合。

圖6 特征點匹配示意Fig.6 Schematic of feature point matching

2.2 紋理畸變校正

特征點匹配結果中容易出現視頻紋理畸變現象,其原因有:① 攝像機所拍攝的視頻圖像會因為透視原理產生距離視點近的物體大、距離視點遠的物體小的現象,因此將視頻圖像作為紋理與模型融合時會出現紋理不匹配的情況;② 三維模型精度不夠高,模型紋理與現實場景有偏差,導致模型與視頻圖像不契合。本研究采用拉普拉斯網格形變算法,從視頻幾何體的紋理上進行調整,使視頻紋理與三維模型更貼合。

2.2.1 拉普拉斯網格形變定義

傳統的三維曲面基于笛卡爾坐標系,只能描述每個頂點的空間位置信息,而基于曲面微分的表達方式能夠描述包括尺寸和方向在內的局部信息[14]。拉普拉斯坐標能表示點與相鄰三角網格點之間的相對位置關系,因此包含了三維曲面的局部特征信息,在進行特征點匹配時,利用拉普拉斯網格形變算法能保持局部紋理細節,減少紋理扭曲。在拉普拉斯網格形變算法中用M={V,E,F}表示n個頂點構成的三角網格集,V表示頂點坐標集,E代表邊集,F代表三角面片集。頂點i∈M,頂點坐標表示為νi=(xi,yi,zi),為傳統的笛卡爾坐標。頂點的拉普拉斯坐標可定義為

式中,N(i)={j|(i,j)∈E}表示能與頂點i構成邊的頂點,點j是點i的相鄰點;ωij為點j相對于點i的權值,本研究取ωij為均勻權值1/di;di為頂點i鄰接點個數。n×n階拉普拉斯矩陣Ls中的元素可表示為

2.2.2 網格形變計算

在進行特征點匹配時,要保證特征點與非特征點的相對關系不變,即保持局部特征不變,可以通過拉普拉斯變換來實現。在矩陣Ls和矩陣δ中分別添加特征點和輪廓點,輪廓點用于確定網格形變的邊界。特征點和輪廓點可以統稱為錨點。添加錨點的拉普拉斯坐標公式為

式中,a為錨點個數;Ln×n為三角網集中所有頂點構成的拉普拉斯矩陣;δn×3為三角網格中所有頂點的拉普拉斯坐標矩陣;LAa×n為所有錨點的拉普拉斯矩陣;δAa×3為錨點的拉普拉斯坐標矩陣;x為網格形變后頂點笛卡爾坐標集合。

由于式(3)是超定方程組,有唯一最小二乘解,則x可以表示為

輪廓點保持固定不變;當特征點匹配時,特征點的笛卡爾坐標改變;非特征點為了保持其拉普拉斯坐標盡可能不變,其笛卡爾坐標會隨著特征點的笛卡爾坐標改變,由式(4)可得到匹配后所有頂點的笛卡爾坐標V,從而對紋理畸變進行校正。網格形變原理如圖7所示。圖7 中黃點為輪廓點,綠點為非特征點,紅點為特征點。當紅點移動時,非特征點隨特征點移動,使幾何體頂點發生變化,紋理也隨之改變。

圖7 拉普拉斯網格形變原理Fig.7 Principle of Laplace mesh deformation

為了驗證將拉普拉斯形變算法應用于視頻融合紋理畸變校正的可行性,本研究選擇礦山監控視頻用于構建視頻幾何體,并對其進行拉普拉斯網格變形處理,過程如圖8所示。圖8(a)中的紋理為視頻監控原始圖像,由于攝像機角度原因導致道路突出過大,與實際場景的道路特征不相符。圖8(b)將視頻幾何體進行三角網格劃分,并對黃圈區域利用拉普拉斯網格形變算法進行調整,紅點為特征點,其周圍非特征點隨著特征點向右移動,使道路凸出部分收縮。圖8(c)為紋理變形后的視頻幾何體,道路凸角變大,道路凸出部分收縮。

圖8 視頻幾何體網格變形的過程Fig.8 Mesh deformation process of video geometry

3 試驗與分析

3.1 試驗數據與環境

本研究以武鋼資源集團烏龍泉礦業有限公司某露天礦為例開展相關試驗,通過利用蒼穹數碼技術股份有限公司的KQGIS 軟件對采場區域數據進行格式轉換、配準和編輯等預處理。試驗硬件環境為:顯卡NVIDIA GeForce GTX1660 SUPER,運行內存16 GB,操作系統window10,瀏覽器Chrome。試驗以基于WebGL 協議的CesiumJS 接口庫進行開發。圖9(a)為融合前的三維場景,圖9(b)為引入多路視頻與三維模型進行融合后的結果。

圖9 三維視頻融合效果Fig.9 3D video fusion effecs

3.2 試驗結果與分析

3.2.1 穩定性驗證

文獻[20]用投影融合方法,基于WebGL 協議通過CesiumJS 接口進行視頻融合。為了驗證本研究方法頁面渲染的穩定性,使用CesiumJS 接口構建三維場景,記錄加載1～10 路視頻時頁面的幀率變化情況,同時保證視頻畫面大小、位置等變量相同,使用投影融合方法加載視頻,記錄其幀率變化。兩種方法的對比結果如圖10所示。

圖10 視頻融合頁面平均幀率對比Fig.10 Comparison of average frame rate of video fusion page

頁面幀率大于20 幀/s 時,能實現三維場景的正常漫游,當頁面幀率小于20 幀/s 時,三維場景會出現明顯的延時卡頓現象,因此頁面幀率是否大于20幀/s 是檢驗頁面渲染穩定性優劣的重要指標。由圖10 可知:當視頻數量大于5 時,使用投影融合方法無法滿足三維場景的正常漫游要求,會出現卡頓現象;本研究方法在視頻數量達到10 時,其融合幀率為22 幀/s,場景仍能實現流暢的渲染。進一步分析可知:使用本研究方法加載1～10 路視頻,頁面渲染的幀率均高于使用投影融合方法加載視頻的頁面幀率。

綜上可知,投影融合方法在視頻數量少時可以進行三維場景的正常渲染,視頻數量過多時則不能滿足常規的操作要求;本研究采用的三維視頻融合方法可穩定地進行三維場景漫游,對于三維場景中的視頻融合具有較強的適用性。

3.2.2 優越性驗證

傳統投影融合方法忽略了紋理的畸變,本研究視頻融合方法相較于傳統的視頻融合方法來說,能有效地進行紋理畸變校正,使用拉普拉斯網格形變算法解決了因三維模型紋理與視頻圖像存在差異而產生的不匹配問題,提高了三維視頻融合之后的視覺觀感效果。拉普拉斯網格形變算法常用于調整三維模型的頂點,約束其局部特征,本研究使用拉普拉斯網格形變算法來調整視頻幾何體的頂點,對局部紋理特征進行調整,從而實現真實感更佳的三維視頻融合。傳統投影融合方法與本研究方法進行三維視頻融合結果對比如圖11所示。

圖11 三維視頻融合紋理畸變校正Fig.11 Texture distortion correction of 3D video fusion

圖11(a)是使用投影融合方式進行三維視頻融合的結果,圖中顯示三維模型與視頻圖像大致實現匹配,但在部分特征上視頻圖像的紋理與三維模型沒有實現融合。使用本研究方法進行三維視頻融合結果如圖11所示,圖中對紋理畸變部分進行了校正。以圖11 中框選的部分特征為例,圖11(a)中視頻圖像水坑區域紋理扭曲傾斜,導致視頻圖像中該特征區域與三維模型不貼合;圖11(b)對視頻幾何體水坑區域的紋理進行了校正,通過拉普拉斯網格形變算法使視頻幾何體該部分的紋理與三維模型進行了有效融合。

4 結論

(1)傳統的礦山視頻監控存在視頻數量多、視頻圖像關聯性不強、缺乏三維空間位置信息等問題,在很大程度上影響了智慧礦山建設。本研究提出的基于三維視頻融合的礦山視頻監控技術利用三維可視化方式將視頻與三維模型相融合,解決了傳統視頻監控缺少位置信息的問題,使位置信息與視頻緊密聯動,有效提高了監管效率。該方法較以往三維視頻融合方法相比,渲染穩定性更高,使用拉普拉斯網格形變算法對視頻幾何體紋理畸變進行校正,實現了融合度的大幅提高。

(2)本研究方法不足在于,實時視頻的動態性降低了特征點的選取效率、影響了特征點的代表性。提高特征點的選取效率和精度,從而提升三維視頻融合效率,是未來的重點研究方向。

致 謝

感謝武鋼資源集團烏龍泉礦業有限公司對本研究試驗所需露天礦區域三維數據、圖像數據采集提供的幫助,感謝蒼穹數碼技術股份有限公司對本研究試驗采場區域數據預處理給予的KQGIS 軟件支持。