基于球面全景圖像拼接的變電站內部可視化研究和應用

文/邢顯鋒 勞衛倫

隨著電力行業快速發展，變電站是電力建設的重要基礎。面向不同類型的變電站，對巡檢人員的要求不盡相同。傳統的變電站培訓方式主要是專題講座和實地培訓，學員的學習效率不高。目前，基于球形圖像繪制技術和智能移動終端技術的持續發展，全景圖像拼接發揮著越來越重要的作用。該技術最重要的兩個步驟就是：特征點匹配和圖片匹配。特征點匹配主要采用SIFT算法實現，目的是為了找到兩幅圖像相同的特征點并將其進行匹配。圖片匹配則是找到圖像之間所有重疊的部分，將其拼接后得到一幅全景圖。通過全景圖重現技術，用戶體驗變電站場景變得更逼真，需要攜帶的硬件設備也更加輕便。因此，本文論述的是如何使用基于全景圖形拼接技術重現變電站內部可視化，并用于電力培訓，讓學員真切感受“實體化”的變電站。

1 技術背景

球形全景圖拼接是目前國內外圖像處理應用領域較廣泛的新興技術之一。球形全景圖主要通過硬件設備實現增強現實技術，應用領域包括軍事訓練，科技研發，教育培訓等領域。近年來，隨著智能終端技術革新，快速高效的計算能力和優秀的硬件性能，球形全景圖的素材收集變得更加便捷，取得的圖像質量也明顯改善。

技術特點：球形全景圖像是超廣角圖，可以通過一個視角把附近環境保存。超廣鏡頭要求視角水平為360°，垂直為180°。球形全景圖制作主要分兩個步驟，一是收集球形全景圖素材，二是使用相關軟件拼接素材后通過Android等相關技術嵌入到增強現實設備中。

1.1 收集素材簡單、快速

一個正常的場景所需的時間平均為20分鐘左右。總的來說，相對于另一種主流重現場景技術的三維建模更加快速。其次，拍攝場景如出現多種物品、多變的光線以及復雜紋路，并不影響收集素材的復雜度。

1.2 球形全景圖源文件占據資源小

一張球形全景圖占有文件資源大約1-2M，因此非常適用于軟件應用和網絡傳輸。球形全景圖自身設置了加載順序，先呈現低像素的全景圖，然后分組加載剩余的模塊部分。因此，提高了用戶使用效率，無需等待過長的加載時間。

1.3 球形全景圖具有全方位特性

用戶擁有360°水平視角、垂直角度上下180°的球形全景視角。即使獲取的素材照片是平面的，也可通過軟件處理后得到全方位的視角，讓用戶體驗到三維立體化的效果。

1.4 球形全景圖具有虛擬現實性

用戶可以佩戴虛擬現實眼鏡，通過球形全景圖為基礎的虛擬現實應用，進行虛擬漫游。

2 技術原理

2.1 單應性矩陣

在計算機視覺領域，空間同一平面的任意兩幅圖像，通過單應矩陣聯系（假設在針孔相機模型中），即一個相機拍攝空間同一平面的兩張圖像，它們之間的映射關系可以用單應矩陣表示。舉個例子，兩架相機拍同一空間上得到兩幅圖像A、B，其中圖像A到圖像B存在一種變換，而且這種變換是一一對應的關系，這個變換矩陣用單應矩陣表示。業界常用的計算機視覺語言中，OpenCV中可以用函數fi ndHomography計算得到單應矩陣H。要實現兩張圖片的簡單拼接，只需找出兩張圖片中相似的點(至少四個，因為homography矩陣的計算需要至少四個點)，計算一張圖片可以變換到另一張圖片的變換矩陣(homography單應性矩陣)，用這個矩陣把一張圖片變換后放到另一張圖片相應的位置(就是相當于把兩張圖片中定好的四個相似的點給重合在一起)。通過這種方法，就可以實現簡單的全景拼接。另外，因為拼合之后圖片會重疊在一起，還需要重新計算圖片重疊部分的像素值。

2.2 RANSAC算法

RANSAC(Random Sample Consensus)即隨機采樣一致性，該方法是用來找到正確模型來擬合帶有噪聲數據的迭代方法。給定一個模型，例如點集之間的單應性矩陣，RANSAC算法可摒棄噪聲點的同時，找到正確的數據點。

2.3 求解單應性矩陣

雖然SIFT是具有強穩健性的描述因子，當這方法還會存在一些錯誤的匹配。而單應性矩陣需要選取4對特征點計算，萬一選中了不正確的匹配點，那么計算的單應性矩陣肯定是不正確的。因此，為了提高計算結果的魯棒性，要把這些不正確的匹配點給剔除掉，獲得正確的單應性矩陣。通過RANSAC算法，隨機抽取不同的4對特征匹配坐標，計算出單應性矩陣。

2.4 圖片融合

在圖片融合的過程中，需要重新計算重疊區域的像素值。為了快速實現一個圖像的線性漸變，對于一個重疊的區域，靠近左邊的部分，讓左邊圖像內容顯示的多一些，靠近右邊的部分，讓右邊圖像的內容顯示的多一些。假設alpha表示像素點橫坐標到左右重疊區域邊界橫坐標的距離，新的像素值就為newpixel=左圖像素值×(1-alpha)+右圖像素值×alpha。這樣就可以實現一個簡易快速的融合效果。

2.5 球面投影模型

根據收集到場景的圖片，經拍攝設備的旋轉獲取特定視角，在不同視角如果將圖片直接拼裝會呈現扭曲的狀況，對視角的真實性產生嚴重的損壞。因此，需要將各自視角拍攝的平面圖像整合到一個球面正投圖像，然后再進行拼接，把球面光學信息和明暗度以一幅圖像的形式再現，獲得表示實景圖像的像素點在視點空間方位信息的過程。假設相機拍攝方向為（α,β）,實景圖像任意一個內部像素點P的圖像坐標為（x,y），在球形全景圖上的對應的點為p，點p在球形全景圖的圖像坐標為（x,y），點p(x,y)xyz中的坐標為(x-W/2,y-H/2,-f)，其在XYZ下的坐標為（u，v，w），因此p在視坐系下坐標為（u,v,w）,計算公式為式1所示。

3 應用簡述

球形全景圖可根據各種應用場景，使用不同拍攝設備和處理軟件。接下來根據變電站內部場景的可視化進行了驗證。

3.1 拍攝設備

（1）魚眼鏡頭：魚眼鏡頭是一種焦距為16mm或更短的并且視角接近或等于180°的鏡頭。為使鏡頭達到最大的攝影視角，這種攝影鏡頭的前鏡片直徑很短且呈拋物狀向鏡頭前部凸出。魚眼鏡頭僅拍攝需1到4張魚眼圖即可做成球心全景圖。

（2）全景云臺是為了獲取球形全景圖素材而使用的云臺，具備一個具有360度刻度的水平轉軸，可以安裝在三腳架上，并對安裝相機的支架部分可以進行水平360度的旋轉。

3.2 相關參數和結果

基于球形全景圖實現變電站場景的可視化，我們所需相關硬件VR眼鏡和智能手機。球面全景圖像拼接的變電站內部可視化效果如圖1所示。

圖1：球面全景圖像拼接的變電站內部可視化效果圖

4 結語

本文基于球面全景圖像拼接的方法，提出了變電站內部可視化的研究和應用，為變電專業的人員培訓、檢測、擴展提供了基礎數據，提高了變電站電力培訓的真實性、互動性和趣味性，具有一定的可行性和現實意義。