基于像素偏轉模型和機器學習的室外圖像天空像素檢測

孟祥環，羅素云

（上海工程技術大學 機械與汽車工程學院，上海201620）

0 引 言

圖像中的天空像素檢測一直以來都是計算機視覺技術的挑戰，并且具有廣泛的應用，例如：自主車輛或無人機導航、實時天氣分類、圖像編輯、天空替換和場景解析。在城市氣候研究方面也發揮著重要作用，如：使用魚眼攝影計算天空視角因子（SVF），用于城市的氣象監測［1］。

在計算機視覺的相關研究中，天空檢測技術大體上可以分為以下幾種，一種是遍歷圖片中的所有像素點，逐像素地尋找與天空相關的像素點。這種方法側重于尋找與天空相關聯的單個像素，如采用一種基于物理的方法，利用圖片中的顏色變化來識別天空［2］；基于顏色值和每個顏色通道的二維多項式生成天空像素概率圖，進而進行天空的識別［3］；另一種方法則側重于尋找天空和地面邊界，利用改進的能量函數優化和圖像的梯度信息來優化提取天空邊界線［4］，然而實際的城市場景中，天空部分容易被建筑物、旗幟或其他障礙物隔開，造成天空區域不連續，使天空區域的識別變得十分困難［5］。隨著深度學習的快速發展，多層卷積網絡被廣泛的應用于各種場景之中，它通過使用訓練好的語義分割卷積神經網絡（CNN）模型，對室外圖像中的不同類別（如天空、建筑物、樹木和汽車）進行分類，例如SegNet和模型框架，但是它并不是專門為天空像素識別而設計的，這種方法需要大量的數據集和高性能的計算機做支撐。

不同的天空識別方法間進行橫向對比是很困難的。首先，在大多數的研究報告中并沒有準確度指標；其次，很多論文使用不同的指標和基準數據集進行報告。如：有報告得出90.4%的藍天像素正確檢測和13%的錯誤檢測的結論［2］；有論文得到了魚眼圖像中標記的SVF均方根誤差（RMSE）為0.06［6］；有論文得到80%的驗證圖像的準確度為0.90，75%的圖像的準確度為0.95［7］；有論文使用SegNet，得到了天空像素識別的準確度為0.96［8］。

考慮到天空檢測的復雜性，本文提出了像素偏轉模型，利用該模型可以在廣泛的照明和天氣條件下對圖片中的天空部分進行識別，相比以往算法，具有自適應性。本文在Camvid語義分割數據上測試一些現有的天空像素識別方法，并證明了這種新的自適應算法在識別天空時具有更高的精確度。

1 像素偏轉模型

計算機儲存圖像時是以像素為基本單位的。為了更好的描述BRG三通道圖像像素灰度值的特點，本文提出了像素偏轉模型如圖1所示，通過像素偏轉角可以簡單快速的找到亮度值差異比較大的像素點，這些像素點多代表天空、雪、河流等白色場景物體。

圖1 像素偏轉模型Fig.1 Pixel deflection model

BRG三通道圖像單個通道的最大灰度值為255，圖1將3個通道的灰度值放在三維坐標系中表示，即X軸正方向代表B通道的像素值；Y軸正方向代表G通道的像素值；Z軸正方向代表R通道的像素值。則像素點的三維坐標可以表示為b（x b，0，0），g(0，y g，0)，r（0，0，z r）。

3個通道的最大灰度值點在三維空間構成了一個三角形，如圖1（a）。這個三角形所在平面的法向量為定義此向量為三通道像素平面標準法向量，所有其它像素點構成的三角形都應該在空間體o-bgr內部，其構成的平面的法向量為＝（z r y g，z r x b，y g x b），如圖1（b）所示。具體的公式推導過程如下：

設空間中有三點的坐標為：p1＝（x1，y1，z1），p2＝（x2，y2，z2），p3＝（x3，y3，z3）。則該平面內有向量y3-y1，z3-z1）。 平面的法向量為式（1）：

其中：a，b，c為式（2）：

將點b，g，r代入平面的法向量方程得出像素平面的法向量，式（3）：

像素平面法向量和標準像素法向量的夾角為式

（4）：

θ即為像素偏轉角，arccos為反余弦函數。像素偏轉角可以反應某一點像素在3個通道的分布規律。當像素偏轉角比較大時，3個通道的像素值偏差較大。當像素偏轉角較小，接近于0時，說明此像素點3個通道的灰度值十分接近。

2 圖片中天空部分的識別

2.1 數據集的制作及特征提取

神經網絡的訓練需要大量的數據作為支撐，為了使本文的天空識別算法得到良好的識別效果，制作了一個包含3 231張照片的數據集，如圖2所示。這個數據集里的圖片來源于Corel1k數據集，SVT谷歌數據集，CityStreet城市街景數據集和實景拍攝。數據集中包含了豐富的場景，如：城市街道場景、高速行駛場景、空曠自然風光、雨天陰天特殊場景和郊區林蔭道等。將其天空部分和非天空部分進行提取，組合成天空和非天空提取圖片（分辨率為3 096×5 504），用于天空特征的提取和訓練。

圖2 特征訓練提取數據照片Fig.2 Image of feature training data extraction

待訓練的特征經過提取，特征包括三通道的像素值，像素偏轉角和像素點灰度最小值，經過篩選得到319 552條數據，部分數據見表1，并將天空部分像素標簽設置為10，非天空部分標簽設置為0。

表1 訓練過程中所用到的特征Tab.1 Features used in the training process

2.2 BP神經網絡模型的建立

BP神經網絡模型是一種基于誤差反向傳播算法的多層前饋網絡，是目前建立變量與因變量之間關系最廣泛的神經網絡模型之一，適用于本文通過特征參數預測能見度，其基本結構由輸入層、隱藏層、輸出層組成。

其主要的公式如式（5）～式（10）：

其中：輸入層用字母X定義，下標用i表示，X i為輸入節點；隱藏層用字母Y定義，下標用j表示，Y j為隱藏層節點；輸出層用字母Z定義，下標用k表示，Z k為輸出節點；式中為輸入層到隱藏層的權重為隱藏層到輸出層的權重，f為激活函數；q1為隱藏層各個節點闕值，q2為輸出層各個節點闕值；L為誤差函數，為數據中實際值，Z k為輸出節點；η∈（0，1）為學習率，負號表示梯度下降的方向為梯度下降值。

輸入層即有5個輸入量，分別為X1、X2、X3、X4、X5，分別代表的是B G R三通道的像素值，V（x）三通道中最小的像素值和像素偏轉角θ。五個特征參數，即輸入層為5個節點。

隱藏層的節點沒有明確的標準，通常是通過公式來確定。在實際問題中，隱含層節點數的選擇首先是參考公式（11）來確定節點數的大概范圍，然后用試湊法確定最佳的節點數。

其中，i為輸入層節點數；j為隱含層節點數；k為輸出層節點數；a為0～10之間的常數。

對神經網絡進行多次仿真訓練，發現隱含層節點數為10時，能夠達到最優的預測效果。

2.3 模型的訓練及評估

基于圖片的特征參數及對應的訓練目標值作為神經網絡的輸入和輸出，隨機選取70%（223 686個樣本）的數據進行網絡訓練，15%（47 933個樣本）的數據進行神經網絡模型的驗證，15%（47 933個樣本）的數據進行模型的測試評估。通過BP神經網絡預測值的回歸分析如圖3所示，可以看出數據的訓練結果優秀，多元統計系數R2為0.971 22，預測值與實際值的一致性較好。因此，基于天空偏轉模型的BP神經網絡天空識別準確可靠。

圖3 BP神經網絡的回歸分析Fig.3 Regression analysis of BP neural network

2.4 誤識別像素點的處理

圖片中會有小部分的明亮干擾點，這些干擾點極易被誤識別為天空像素。這些干擾點的主要來源有：白色建筑、斑馬線、反光玻璃、大理石雕刻、白色廣告牌，白色車輛和穿白色衣服的行人等。為了準確的識別出天空，去除個別像素點的干擾，對錯誤識別的像素點進行剔除。首先，經過BP神經網絡模型得到二分類圖片（天空和非天空）；其次，對二分類圖片進行連通域計算；最后，舍棄連通域面積小于10的像素點。誤識別像素剔除效果如圖4所示。

圖4 誤識別像素剔除效果Fig.4 Error recognition pixel culling effect

通過圖4中的二分類圖片可以看出由于白色建筑和斑馬線的存在，造成了較多天空區域像素點的錯誤識別。在經過本文算法處理后的二分類圖像中，可以看出誤識別的像素點被很好的剔除掉了，并準確的識別到了天空部分。

2.5 算法流程

本文的算法流程如圖5所示。首先對待檢測的圖像I進行遍歷，得到初步的二分類圖像I1；計算二分類圖像的連通域，刪除面積小于10的連通域，得到精確的二分類圖像I2；利用公式（12）得到最終的識別結果。

圖5 算法的流程圖Fig.5 Flow chart of the algorithm

其中：I為待檢測圖像；I2為精確的二分類圖像；R為識別結果。

3 實驗結果與分析

3.1 Camvid數據集的使用

Camvid是第一個帶有語義標簽的視頻集合數據集，提供了ground truth標簽，將像素與32個語義種類相關聯。該數據集從行駛汽車的視角進行捕捉，解決了算法之間進行定量評估時實驗數據集的不統一的問題。Camvid的32個語義種類中包括天空，數據集中天空部分標注的像素為：R＝128，G＝128，B＝128，因此可以對不同算法的天空識別準確率進行定量評估。

3.2 算法的評價指標

在進行語義分割結果評價時，常常將預測出來的結果分為4個部分：true positive，false positive，true negative，false negative，其中negative就是指非物體標簽的部分（可以直接理解為背景），positive就是指有標簽的部分，如圖6所示。prediction圖被分成4個部分，其中大塊的白色斜線標記的是true negative（TN，預測中真實的背景部分），紅色線部分標記是false negative（FN，預測中被預測為背景，但實際上并不是背景的部分），藍色的斜線是false positive（FP，預測中分割為某標簽的部分，但是實際上并不是該標簽所屬的部分），中間熒光黃色塊就是true positive（TP，預測的某標簽部分，符合真值）。

IoU指標就是交并比，在語義分割中一直作為標準度量被使用。交并比不僅僅在語義分割中使用，在目標檢測等方向也是常用的指標之一，如圖7所示。其定義為式（13）：

圖6 預測結果Fig.6 Prediction results

圖7 語義分割的評價指標——IoUFig.7 Evaluation index of semantic segmentation--IoU

3.3 算法主觀評價

將本文算法與Otsu算法、YeHu算法、Graphcut算法和Mask-Rcnn算法進行比較。對比實驗基于ubuntu系統，Python語言和Camvid數據集實施，識別結果如圖8所示。

圖8 算法主觀評價Fig.8 Subjective evaluation of the algorithm

從圖8可以看出Otsu和Yehu算法的識別效果最差，graph-cut和Mask Rcnn的識別效果較好，本文的識別效果最為出色。Otsu和Yehu算法存在天空錯誤識別的問題，具體表現在白色物體的錯誤識別，均有較大面積的非天空區域被錯誤識別；Grapncut算法對天空部分的識別優于Otsu和Yehu算法，但是對天空細節的識別不夠精確，建筑的誤識別也比較嚴重；Mask Rcnn算法識別的準確度較高，基本沒有錯誤識別，但是天空和背景的邊界不夠清晰，過于簡單；本文算法的處理結果優于本文提到的其他算法，能夠在準確識別圖片中天空部分的同時排除白色背景的干擾，能夠準確找到天空和背景的邊界，尤其是天空和樹木間的復雜邊界部分，本文算法相比于其他算法結果優秀。

3.4 算法的定量分析

為了定量的分析算法的識別結果，本文對不同算法在Camvid數據集上的識別結果進行了統計，結果見表2。從表2可以看到，5種算法均能將圖片中的天空部分識別出來，但是不同算法對非天空部分的錯誤識別差別較大；Otsu算法、YeHu算法、Graph-cut算法的IoU值較低，這主要是因為3種算法錯誤識別的天空像素點比較多；Mask-Rcnn算法相比于其他算法，錯誤識別的天空部分面積最小，但是由于該算法識別到的天空像素總量相對較少，IoU的值并沒有很高；本文算法正確識別到的天空像素最接近Camvid數據集里原有天空像素面積，算法的天空識別效果較為出色，IoU值最高，達到了91.7%。

表2 算法的定量分析Tab.2 Quantitative analysis of the algorithm

4 結束語

本文提出了一種基于BP神經網絡的天空區域檢測算法，并創新性的提出了天空偏轉模型，利用該模型成功的描述了天空像素點的特征。本文整理了多場景條件下的天空數據集，收集了不同天氣情況下的天空像素特征，并成功用于BP神經網絡進行訓練，得到了很好的識別結果；將本文算法與Otsu算法、YeHu算法、Graph-cut算法和Mask-Rcnn算法進行主觀評價和定量分析，從主觀評價可以看出本文算法在對天空邊緣細節的處理和排除背景中白色物體的干擾方面，相比與其他算法表現突出；從算法的定量分析可以看出本文算法的交并比領先于其他算法，達到了91.7%。