基于場景分析的建筑圖像水平自適應調整方法

王　嶺，許穎浩，沈　笠，周　軍

(1. 上海文廣科技(集團)有限公司，上海　200233；2. 上海文廣互動電視有限公司，上海　200072；3. 上海交通大學圖像通信與網絡工程研究所，上海　200240)

基于場景分析的建筑圖像水平自適應調整方法

王嶺1，許穎浩2，沈笠3，周軍3

(1. 上海文廣科技(集團)有限公司，上海200233；2. 上海文廣互動電視有限公司，上海200072；3. 上海交通大學圖像通信與網絡工程研究所，上海200240)

摘要:建筑圖像是一類經常會在電視節目中出現的內容。攝像機非水平位置拍攝建筑物會影響建筑圖像畫面的美感。建筑類自然場景圖像傾斜自動調整，其技術核心在于如何檢測出圖像拍攝時的水平傾斜角。針對建筑圖像的自適應水平調整要求，基于成角透視原理，利用建筑的輪廓線，通過邊緣檢測及霍夫變換提取出主要偏向水平直線的參數，基于直線參數方程得到平行線的透視消失點，再利用建筑物的兩個水平消失點估計得到成像傾角，最后通過圖像旋轉變換得到調整后的圖像，相關實驗結果驗證了所提方法的有效性。

關鍵詞:邊緣檢測；霍夫變換；圖像水平

在當前的電視節目中，建筑物是畫面中經常出現的內容。在拍攝建筑的時候，如果攝像機沒有處于水平狀態，畫面中的線條就會因透視效果而呈現傾斜匯聚，使整個畫面看起來不舒服。為了拍攝內容的水平以實現其一點或二點透視效果，需要一些輔助方法來確保攝像機水平，一般采用帶水平儀的三角架來固定攝像機，從而保證整個畫面內容的水平。

采用輔助手段固然可以保證拍攝出水平的畫面，但更多情況是在沒有輔助方法的情況下通過主觀調平拍攝的畫面，這類圖像畫面中或多或少地存在水平失真情況。如何通過圖像后期處理方法，將失真圖像進行水平調整，以提高畫面質量具有實際意義。

本文針對包含建筑物的圖像，基于透視成像原理[1]，通過對建筑物中所包含的平行線檢測，得到水平方向的兩個消失點。這兩個消失點的連線就是拍攝時攝像機的實際水平線。通過圖像旋轉變換，使圖像中建筑物水平消失點水平，即可實現整個畫面的水平調整。

1透視成像基本原理

人們通過一個面來看事物時，觀看的視線與該面交成的圖形，稱之為透視圖[2]。如果保持繪圖時眼睛與圖形的相對位置，則觀看透視圖所得的視覺體驗，就像在原處觀看一樣。透視圖符合人們的視覺印象，而照相機的成像原理與人眼接近，所以攝影獲得的照片也完全符合透視的規律。

消失點，也稱為消點、滅點，它是指不平行于畫面的直線無限遠的投影點。3D空間中，由于透視投影，無窮遠的東西會在畫面上聚集于有限的范圍內。例如，在真實世界中兩條平行先會在畫面中相聚一點，該點即為平行線方向的消失點。

視平線、地平線是過視心所做的水平線，或者說是地平面盡頭與天空交界的水平線。觀察者平視時，視平線與地平線重疊，即視平線與地平線重疊；當觀察者仰視或者俯視時，視平線與地平線分離，兩者呈平行關系。地平線是一種消隱線，在計算機視覺中，消隱線是平行平面在無窮遠的地方相交而產生的一條交線在像平面的投影[1]。

成角透視就是景物縱深與視中線成一定角度的透視，景物的縱深因為與視中線不平行而向主點兩側的余點消失(圖1)。攝像機調在水平模式下成像就是成角透視，基于成角透視的原理，針對建筑物圖像，通過檢測畫面中建筑物水平平行線的兩個水平消失點，得到水平消失線，該水平消失線與水平線的偏差反映了圖像成像時的水平偏差。在檢測該水平偏差角度基礎上，通過圖像旋轉處理即可得到水平調整后的圖像。

圖1　成角透視原理

2建筑圖像傾斜角自動檢測方法

通過上文分析可知：求得以左右消失點確定的圖像中地平線的傾角，是檢測建筑類場景圖像傾角的關鍵步驟。根據消失點的定義，即不平行于畫面的直線無限遠的投影點，消失點在建筑類圖像中可以表示方形物寬度和深度的兩個不同平面上的平行邊線的匯聚點求得。

2.1算法總體框架

基于成角透視原理，針對一幅建筑圖像，其自動水平調整方法的整體框架如圖2所示。提取合適的建筑物輪廓邊緣是求得成角透視消失點的關鍵。

圖2　水平調整算法框架

首先，對于輸入的建筑圖像，通過邊緣檢測方法提取偏向于水平方向的邊緣，即建筑物兩個立面上的水平平行線所對應的直線特征，利用Hough變換提取具有一定長度特征且偏向水平方向的直線參數，再通過最小二乘方法擬合得到兩個平面上水平方向直線的消失點，最后根據這兩個成角透視消失點與水平線的夾角，對圖像進行旋轉變換，即可得到水平調整后的圖像。

2.2邊緣提取

霍夫變換是直線檢測的經典算法，但是霍夫變換的操作對象是二值圖像。因此，需要通過邊緣檢測算法提取建筑圖像兩個垂直立面中的水平直線。

邊緣檢測是圖像處理和計算機視覺中的基本問題，邊緣檢測的目的是標識數字圖像中亮度變化明顯的點[3]。常用的邊緣檢測算子有一階的Robert算子、Sobel算子、Canny算子[4]及二階的Marr-Hildreth算子等。其中，Canny算子通過最優預平滑濾波器實現梯度最大邊緣檢測[4]。

采用Canny算子可以較好地提取圖像中的邊緣信息。但對于圖像水平自適應調整應用來說，本文的目標是提取圖像中在傾角上偏向于水平的線段。因此，邊緣檢測算法提取到的垂直線段相對來說成為一種噪聲數據。如果能過濾出有價值的輪廓、剔除不具有參考價值的邊緣信息，無疑是十分有幫助的預處理。

通過對于Canny算子與Sobel水平算子邊緣提取方法(圖3)，可以看到Sobel算子較好地檢測出偏向水平方向的輪廓線條，同時具有計算量小、速度快的特點。相比Canny算子，作為基于霍夫變換的直線檢測預處理，Sobel算子能更好地篩選出有用信息，能幫助減小下一步直線檢測的計算量。

圖3　Sobel算子與Canny算子邊緣檢測對比

2.3直線檢測與消失點估計

采用水平方向優先的Sobel算子，已較好地完成了圖像中邊緣的二值化檢測處理，在此基礎上需要提取圖像中的直線及參數，用于下一步的消失點擬合計算。

Hough變換是圖像直線檢測的基本方法[5]，它通過將檢測到的邊緣點，通過極坐標變換，將輸入圖像中的每個像素到映射到(ρ，θ)空間中，通過累加統計，得到直線的參數化方程。

考慮到針對圖像水平調整的成角消失點檢測是提取偏向水平方向的直線，為此本文添加了角度限制和長度限制作為約束條件。在角度限制方面，剔除了斜率在±45°之外的直線。在長度限制方面，考慮到圖像中存在各種邊緣噪聲，對于Hough變換檢測到的直線段，通過選擇長度較長的直線，可以提高所檢測直線的質量。

2.4水平線提取及圖像旋轉變換

基于成角透視原理，利用上一步基于Hough變換提取的兩個垂直平面上偏向水平方向的直線，計算這些直線兩兩之間的交點。

理論上這些直線在成角透視條件下交于兩點，但是由于鏡頭畸變導致的圖像幾何失真、邊緣提取誤差等，導致所提取的參數化直線存在一定噪聲，不同垂直平面上水平直線的兩兩交點實際上不可能聚于某一點，因此，可以通過數據篩選原則剔除前10%、后10%的數據后求平均值，以此提高所提取的消失點的可靠性(圖4)。

圖4　消失點分布

3實驗結果與分析

基于上述所提方法，本文使用圖5用于整個算法測試。從圖5大樓整體角度可以直觀看出，圖像有較為明顯的左傾情況，大樓輪廓以及墻壁外立面的線條有較好的指向消失點特征傾向，即具有成角透視特征。因此，可以通過本文所提方法分別提取位于地平線上的左右兩個消失點，測量兩消失點直線與水平線的傾角即可檢測該圖像的傾斜角。

圖5　實驗用圖

針對圖5實驗用圖，整個調整過程中各步驟結果如圖6所示。對于圖5中方框內含有大樓特征區域圖像利用Sobel算子提取兩個建筑面上的水平直線(圖6a)。設定Hough變換的中θ的間隔為0.5°，通過Hough變換(圖6b)檢測直線長度大于80像素的直線段，對于所檢測的直線，通過方向一致性檢驗，剔除直線方法基本不一致的線段(圖6c)。

圖6　實驗用圖傾角檢測及調整流程

采用同樣方法，對其他2幅建筑圖像進行消失點檢測，得到其傾角分別是+6.427 6°(圖7)和-4.878 4°(圖8)，在此基礎上進行圖像的旋轉變換即得到水平自動調整后的圖像，可以看到圖像效果有明顯改善。

4小結

本文實現了基于場景內容分析的建筑圖像自適應水平調整，采用Sobel邊緣檢測算子進行了快速的邊緣檢測與篩選，在此基礎上通過將長度、角度未達到閾值的線段排除，霍夫變換成功提取了有價值的直線參數。此外，在數據處理方面，對于分布有較大偏移的消失點，本文予以剔除，依照的原則為保留中間80%的數據后取平均，以減小誤差，防止突變量影響最終的圖像調整結果。通過上述步驟，本文成功地實現了傾斜建筑圖像水平自適應校正。

參考文獻：

[1]HARTLEY R，ZISSERMAN A. 計算機視覺中的多視圖幾何[M].韋穗，譯.合肥：安徽大學出版社，2002.

[2]劉廣濱. 繪畫透視教程[M]. 南寧：廣西美術出版社， 2007.

[3]LINDEBERG T. Edge detection and ridge detection with automatic scale selection[J]. International journal of computer vision，1998，30(2)：117-154.

圖7　左傾拍攝圖像調整前后對比

[4]CANNY J. A computational approach to edge detection[J]. IEEE transactions on pattern analysis and machine intelligence，1986，8(6)：679-714.

[5]BALLARD D H. Generalizing the hough transform to detect arbitrary shapes[J]. Pattern recognition，1981，13(2)：111-122.

王嶺(1973— )，高級工程師，主要研究OTT、IPTV相

圖8　右傾拍攝圖像調整前后對比

關技術；

許穎浩(1984— )，碩士生，主要研究NGB相關技術；

沈笠(1991— )，本科，主要研究圖像處理技術；

周軍(1969— )，副教授，主要研究立體電視技術。

責任編輯：時雯

Architecture image horizontal adaptive adjustment based on scenario analysis

WANG Ling1， XU Yinghao2， SHEN Li3， ZHOU Jun3

(1.ShanghaiMedia&EntertainmentTechnology(Group)Co.Ltd.，Shanghai200233，China；2.ShanghaiInteractiveTelevisionCo.Ltd.，Shanghai200072，China；3.InstituteofImageCommunication&NetworkingEngineering，ShanghaiJiaoTongUniversity，Shanghai200240，China)

Abstract:Architectural is a kind content that often occurs in various types of TV programs. The camera placed in a non-horizontal position will affect the beauty of the captured architectural image. The core technology for inclined architectural image adjustment is how to detect the level of the inclined shooting angle. In this paper， an automatic inclined architecture image adjustment method is proposed based on the principle of angled perspective. The edge detection and Hough transform are applied to extract the architecture’s contour. And then two vanishing points for perspective parallel lines are estimated to get the inclined angle of the image for image horizontal adjustment. The experiment results demonstrate the method proposed in this paper.

Key words:edge detection；hough transform；image horizontal hunting

中圖分類號：TN941.1

文獻標志碼:A

DOI：10.16280/j.videoe.2016.06.002

基金項目：國家科技支撐計劃項目(2015BAK05B03)；上海張江國家自主創新示范區專項發展項目(201411-JA-B108-002)

作者簡介：

收稿日期：2015-11-11

文獻引用格式：王嶺，許穎浩，沈笠，等.基于場景分析的建筑圖像水平自適應調整方法[J].電視技術，2016，40(6)：5-9.

WANG L， XU Y H， SHEN L, et al.Architecture image horizontal adaptive adjustment based on scenario analysis[J].Video engineering，2016,40(6)：5-9.