基于時空關(guān)系的視頻去霧霾算法設(shè)計與實現(xiàn)

李遠(yuǎn)情

(遼寧對外經(jīng)貿(mào)學(xué)院 遼寧 大連 116000)

視頻在我們的日常生活中占據(jù)著越來越重要的地位。但在現(xiàn)實生活中各種各樣的因素都可能影響視覺系統(tǒng)成像的質(zhì)量，導(dǎo)致我們獲得的視頻質(zhì)量產(chǎn)生某種程度上的退化。目前，絕大多數(shù)的視覺系統(tǒng)是否能正常工作，都和天氣狀況有著緊密的聯(lián)系。在惡劣天氣中，出現(xiàn)的最頻繁的是霧霾。視頻去霧技術(shù)指的是用一定的技術(shù)手段去除視頻中霧的影響，來得到高品質(zhì)的視頻。此技術(shù)是圖像處理范疇研究的重要分支，是計算機視覺范疇的研究熱點。同時，作為一門剛剛才有所發(fā)展的技術(shù)，因為氣候條件是非常復(fù)雜和不確定的，所以雖然有很多研究者研究出了新的成果但幾乎都具有局限性。因此，十分有必要去尋找更加有效的視頻去霧霾算法來減少原視頻中霧霾的影響，提高霧霾天氣下退化了的視頻質(zhì)量。

眾所周知，絕大多數(shù)的戶外視覺系統(tǒng)首先需要提取物體顏色等各方面的特征然后才可以進(jìn)行分析工作，視覺系統(tǒng)對天氣的要求很高，楊國強在《圖像和視頻去霧技術(shù)的研究》一文中說過，在霧霾天氣下由于大氣中這些粒子的散射、吸收等作用，使得大氣的能見度降低，造成了霧天拍攝的圖像色彩和對比度大幅下降，圖像中蘊含的許多物體特征被覆蓋、模糊，直接影響了圖像特征的提取，從而導(dǎo)致了以提取圖像特征為基礎(chǔ)的監(jiān)控、跟蹤、智能導(dǎo)航、智能車輛等視頻應(yīng)用系統(tǒng)無法正常穩(wěn)定的工作。所以，為了使這些應(yīng)用在惡劣氣候下也可以正常工作，對霧天清晰度下降的視頻進(jìn)行去霧霾操作是十分需要的。

隨著計算機范疇的軟件技術(shù)和硬件技術(shù)的不停發(fā)展，對不清楚的視頻進(jìn)行實時處理已經(jīng)成為了現(xiàn)實。在這個前提下，因為計算機視覺系統(tǒng)具有多種顯而易見的優(yōu)點，可以及時獲取高分辨率的視頻信息。視頻去霧霾技術(shù)就是計算機視覺系統(tǒng)領(lǐng)域的一個十分有意義的研究方向，具有深遠(yuǎn)的研究前景，其研究成果可被用于戶外視頻監(jiān)控等很多范疇。但是，和圖像處理范疇作對比，視頻去霧霾方向的研究不多，可供閱覽的資料也不多。同時，天氣條件造成的影響過大，因此摸索出一個具有良好普適性、可靠性和魯棒性的視頻去霧霾算法在以后很長一段時間內(nèi)都會是一個富有挑戰(zhàn)性的問題。

具體來說，在霧霾天氣下拍攝的視頻，圖像對比度下降，動態(tài)范疇變小，十分模糊，很多特性被掩蓋，信息可識別度也大大下降，各種應(yīng)用系統(tǒng)都難以發(fā)揮出它們實際的效用。以公路監(jiān)測為例，空氣中的大霧彌漫使得道路的能見度下降，司機看不清路況極易導(dǎo)致交通事故的發(fā)生，若此時公路限行就會給人們的出行帶來極大的不便。對霧霾氣候下的視頻進(jìn)行有效的去霧操作有著理論和實際的迫切要求，這是很多應(yīng)用系統(tǒng)在惡劣天氣下能可靠、良好工作的擔(dān)保。

何愷明等人最近提出了單一圖像去霧技術(shù)，此技術(shù)基于暗原色，通過收集數(shù)目龐大的不受水汽影響的圖像，發(fā)現(xiàn)了一套暗原色統(tǒng)計規(guī)律，它可以識別霧濃度。但是當(dāng)場景亮度和大氣光相近時，此算法就會失效。霧天圖像復(fù)原是研究霧天圖像降質(zhì)的物理過程，并建立霧天退化模型，反演退化過程，補償退化過程造成的失真，以便獲得未經(jīng)干擾退化的無霧圖像或無霧圖像的最優(yōu)估計值，從而改善霧天圖像質(zhì)量。圖像恢復(fù)技術(shù)的目標(biāo)明確，處理結(jié)果看上去會很自然，通常沒有信息丟失，關(guān)鍵是對模型中參數(shù)的估計。

通常，圖像通過傳感器獲取外部場景信息，有時需要將其轉(zhuǎn)換為視覺信息，最后記錄，存儲和再現(xiàn)。然而，由于周圍環(huán)境的變化，傳感器缺陷等因素，圖像可能產(chǎn)生失真和分辨率下降的現(xiàn)象，這種現(xiàn)象稱為圖像退化。

圖像復(fù)原是圖像處理的重要分支，希望提高模糊圖像的視覺質(zhì)量或獲得改進(jìn)。困難程度主要取決于下降過程的先前知識的準(zhǔn)確性。如果對過程中的退化、類型等都比較熟悉，可以根據(jù)圖像退化的先驗知識更準(zhǔn)確地估計相關(guān)模型參數(shù)。在得到相關(guān)模型參數(shù)之后，我們可以使用各種防退化方法來恢復(fù)圖像。我在這里主要討論的是如何以霧霾天圖像為已知數(shù)據(jù)來恢復(fù)原始清晰圖像。

近年來，基于相關(guān)先驗信息，研究如何利用大氣散射模型實現(xiàn)完全去霧效果一直是研究者們關(guān)注的問題。在一系列此類方法中，基于暗原色原理的何愷明暗通道算法和基于大氣耗散函數(shù)的Tarel算法最有吸引力，這兩種算法都具有突出的優(yōu)勢和特點，其中何愷明暗通道算法被認(rèn)為是當(dāng)前去霧效果最好的算法，而Tarel算法被認(rèn)為是目前處理速度最快的算法之一，因而兩種算法都有著繼續(xù)研究下去的必要。

在計算機視覺領(lǐng)域的應(yīng)用中去除霧霾是十分必要的。首先，霧霾的消除可增加一般現(xiàn)場的能見度，引起顏色變化，使圖像更直觀有趣；其次，大多數(shù)視覺算法，從初級分析到高級對象辨別通常假設(shè)輸入圖像(輻射校準(zhǔn)后)是場景輻射度，性能將無法避免地受到對比場景輻射效應(yīng)的偏差影響；最后，去霧可以獲得更深層次的信息，并獲得許多視覺算法以及先進(jìn)的圖形編輯功能，霧霾甚至可以作為場景理解的有用深度線索，即使是惡劣的陰影形象也可以很好的被利用。然而，霧度取決于未知的信息，所以霧霾去除是一個具有挑戰(zhàn)性的問題。如果輸入僅是單個圖像，那么問題又會受到限制。因此，基于多個圖像或附加信息，研究者們目前提出了許多方法，例如基于偏振法通過具有不同極化度的兩個或更多個圖像，在不同天氣下，從相同場景的不同圖像獲得更多約束；基于深度的方法需要的是來自用戶輸入等方面的更深層次的信息。

由之前的大量實驗結(jié)果發(fā)現(xiàn)何愷明暗通道算法存在著以下幾個問題：

(1)對A值的求取欠缺魯棒性

(2)參數(shù)無法自動調(diào)整

(3)去霧結(jié)果仍需要后續(xù)處理

盡管何愷明博士在去霧領(lǐng)域做出了巨大貢獻(xiàn)，且去霧算法非常具有代表性，但直接得到的結(jié)果也不是完美的。當(dāng)然任何算法肯定都有不足之處，這也是不可避免的，基于暗原色原理的何愷明暗通道算法仍然是一個非常好的方法，值得借鑒。

目前，針對視頻去霧的方法較少，因為視頻去霧不僅要考慮畫質(zhì)的清晰度，還要考慮時空關(guān)系，也就是說處理視頻的過程中必須保持時空一致性。本課題利用何愷明暗通道算法在保持時空一致性的前提下，采用Matlab在Windows8,CPU為Intel(R)Core(TM)i5,安裝內(nèi)存為4.00GB的筆記本電腦上完成了設(shè)計。

實驗完成的主要函數(shù)解釋如下：

(1)主函數(shù)：

(2)方框濾波

(3)導(dǎo)向濾波函數(shù)

(4)My-mist函數(shù)部分

這是何愷明暗通道算法的核心部分，利用此算法通過設(shè)置相關(guān)參數(shù)進(jìn)行去霧。各種參數(shù)數(shù)值如下，設(shè)置乘積因子w0,其值為0.85，這是用來保留一些霧度的，當(dāng)它的值等于1時，可以實現(xiàn)完全去霧，當(dāng)然這并不是我們希望的，前文也已經(jīng)提到過，所以在此不贅述。為了使最終求得的J(x)圖像不過大，我們設(shè)置一個閾值t0，其值為0.1，當(dāng)求得的透射率值比0.1小的時候，取透射率為0.1。然后我們?nèi)〉冒涤巴ǖ缊D像對其進(jìn)行最小值濾波。對A值的求取如下：在暗原色圖像中，將各像素點的亮度值按遞減的順序排列，確定數(shù)值大小為前0.1%的像素點在暗原色圖像中所處的位置，則這些位置對應(yīng)的原有霧圖像區(qū)域中的最大值即為大氣光值A(chǔ)。根據(jù)我們第三章推導(dǎo)出的公式可以得到粗略透射率值，這時候就有一定復(fù)原效果了，但是復(fù)原結(jié)果不會太好。為了讓結(jié)果更好，我們利用導(dǎo)向濾波函數(shù)來獲取精確透射率，利用第三章介紹的暗通道算法的各種公式以及它的推導(dǎo)過程，通過這些公式和參數(shù)就可以直接獲取去霧霾之后的圖像，即實現(xiàn)了這個算法。這就是我代碼中關(guān)于My_mist函數(shù)的描述。這個函數(shù)涉及到的思想是最重要的。

(1)處理視頻幀時，命令行顯示字樣：“第幾幀視頻處理完成”，如圖1所示。

圖1正在處理視頻幀的命令行顯示字樣

(2)我將原視頻命名為test.avi,原視頻一共包含850幀圖像，處理完畢后生成后的視頻為test1.avi。處理完畢時的命令行顯示字樣如圖2所示。

圖2視頻幀處理完畢的命令行顯示字樣

去霧問題的時空一致性指的是處理之后的視頻沒有閃爍波動的現(xiàn)象，既要求處理之后的視頻每一幀都很清楚真實，又要求處理之后的視頻的每一幀都連續(xù)，因此怎樣使視頻具有時空一致性是研究者們一直致力研究的問題。本段我主要討論的是我對視頻時空一致性的理解。實際上，在非常短的時間段內(nèi)參數(shù)值都是有變化的，只是為了描述方便，時間我只選取了整數(shù)值。在不斷計算出透射率的情況下，用上一秒的透射率來預(yù)估下一秒的透射率，用下一秒算出的參數(shù)值來糾正上一秒的參數(shù)值，此過程不斷地重復(fù)下去，即實現(xiàn)了時空一致性的校正。

通過下圖對比，我們可以發(fā)現(xiàn)去霧之后的視頻相比原視頻明顯的清晰了，利用何愷明暗通道的視頻去霧霾算法實現(xiàn)了。

圖3 原視頻在0：16處的視頻

圖4 去霧后的視頻在0：16處的視頻

實驗結(jié)果表明，在本文提出的保持時空一致性的前提下，利用何愷明暗通道算法實現(xiàn)的視頻去霧霾方法中還存在著需要改進(jìn)的問題。比如去霧后的視頻效果雖然有了明顯改觀，但是仍然沒有達(dá)到非常清晰的效果，在視覺上還是可以明顯看出有一定的霧度。另外，大約1分鐘的視頻處理大約需要10分鐘，速度上還有待提高。讓品質(zhì)降低的視頻恢復(fù)原畫質(zhì)這個問題是未來的研究熱點，我也會在未來的學(xué)習(xí)生活中不斷加強學(xué)習(xí)，達(dá)到一個較理想和完美的狀態(tài)。