基于狀態識別的高爐料面視頻關鍵幀提取方法

黃建才 蔣朝輝,2 桂衛華 潘 冬 許 川 周 科

高爐煉鐵是將含鐵原料(燒結礦、球團礦等)在焦炭、石灰石以及從爐底鼓入的熱風作用下還原成鐵的復雜冶煉過程.在高爐冶煉過程中,爐料(燒結礦、球團礦、焦炭等)在熱風浮力和自身重力的作用下會形成料面,爐料在發生復雜物理化學反應后會形成熔融鐵水并從鐵口排出,同時爐頂會周期性撒入爐料,并維持料面在一定的高度范圍內[1-2].爐內料面運動狀態是高爐運行過程的關鍵參數之一,對于指導爐頂布料操作、防止異常工況的發生具有重要的意義.然而,高爐是一個大型的黑箱子,由于爐內高溫高壓、密閉弱光、強粉塵等惡劣的冶煉環境,現場難以掌握爐內料面狀態.

為了監測爐內反應狀況,現場會在高爐爐頂安裝視頻監測設備,如紅外熱成像儀[3]、爐頂可見光攝像機以及高溫工業內窺鏡[4].紅外熱成像儀通過紅外成像原理獲取爐頂料面的溫度信息,能夠在一定程度上獲取料面反應狀態,但是容易受到高溫煤氣流的影響,且損失了料面紋理信息;為了監測爐內料面反應程度,一般會在高爐爐頂安裝可見光攝像機,然而由于爐內粉塵和高溫煤氣流的遮擋,只能拍攝到爐內的溜槽等極其有限的信息.高溫工業內窺鏡是一種新型的料面視頻采集設備,其采用內窺式可見光成像技術近距離深入爐內實時獲取料面視頻.考慮到高爐布料是周期性、間歇性的,采集到的料面視頻也呈現出周期性變化的規律.此外,料面視頻存在信息冗余、圖像質量參差不齊等問題,現場人員需要花費較多的時間去檢索視頻中的關鍵信息,如果在后期對所有視頻幀都進行分析處理會大大降低效率并影響結果.研究高爐料面視頻關鍵幀自動提取方法能夠從大量的料面視頻中篩選出清晰的、穩定的視頻幀,提高后期視頻處理的精度和效率.

視頻關鍵幀的提取是減少視頻冗余、剔除無效重復信息的重要手段,在視頻檢索、視頻壓縮存儲、視頻摘要、視頻分類、工業視頻監測等領域具有廣泛的應用[5].現有的視頻關鍵幀提取方法可以分為基于圖像特征的方法[6]、基于鏡頭檢測的方法[7-8]、基于聚類的方法[9]、基于運動信息的方法[10]、基于學習的方法[11-13]等.基于圖像特征的方法通過圖像的顏色、紋理、亮度等底層特征,計算這些特征的差異并與設定的閾值做比較,這種方法計算量比較大,計算效率并不高;基于鏡頭檢測的方法先將其分成許多鏡頭,并選取第一幀、最后一幀以及中間固定的幾幀作為關鍵幀,這種方法計算量小,但提取的關鍵幀數目相對固定,且沒有考慮視頻內容;基于聚類的方法先根據聚類算法將相似的幀劃分為同一類,然后從不同類別中選取出具有代表性的視頻幀,在關鍵幀提取中應用比較廣泛.Singh 等[14]提出了一種對光照變化和運動魯棒的鏡頭邊界檢測方法,基于局部二值模式傅里葉直方圖(Local binary pattern histogram Fourier,LBP-HF)特征和自適應閾值檢測出視頻關鍵幀.為了提高輕軌視覺定位的精度,一種基于像素顯著性分數的關鍵幀提取方法被提出,通過滑動窗口提取當前幀圖像塊的顯著性分數,從而篩選出關鍵幀,為場景跟蹤提供合適的檢索窗口[15].文獻[16]提出了一種基于時空分析的運動狀態自適應視頻關鍵幀提取方法,通過分析目標運動狀態并選擇運動狀態變化的視頻幀作為關鍵幀.Gharbi 等[17]提出一種基于興趣點、可重復性網絡和模塊化的局部描述方法,并引入圖聚類提取關鍵幀,以最小化視頻的信息冗余.Lai 等[18]提出一種時間約束聚類算法,對內容相似的幀進行分組,并選擇了顯著值最大的視頻幀作為關鍵幀.Wu 等[19]提出了一種基于高密度峰值搜索(Video representation based high density peaks search,VRHDPS)聚類算法的視頻表示方法,并將聚類中心判定為關鍵幀.Chu 等[20]提出了一種共聚類方法,通過識別視頻中共享的相似鏡頭來同時總結相同主題的多個視頻.

隨著神經網絡的發展,越來越多文獻研究基于深度學習的關鍵幀提取方法[21-22].為了解決視頻關鍵幀提取存在的上下文注意力不足和分布不一致的問題,Ji 等[23]將監督視頻摘要表述為序列到序列的學習框架,提出了一種注意力和分布一致性學習方法,利用真實的帶標注的視頻訓練并預測視頻幀的重要性分數,從而獲得關鍵幀.Abed 等[24]構建了帶標簽的人臉圖像數據集,采用卷積神經網絡 (Convolutional neural network,CNN)有監督預測人臉圖像質量,并將其作為關鍵幀提取的依據.為了更好地幫助運動員訓練以及裁判打分,一種用于運動視頻的深度關鍵幀提取方法被提出,該方法以標有運動員前景和背景區域的圖像為數據集,通過全卷積網絡提取運動員的感興趣區域,并基于卷積神經網絡估計每個幀的概率,將概率最大的幀判別為關鍵幀[25].Muhammad 等[26]提出了一種基于深度學習的工業監控場景下的視頻關鍵幀提取方法(Deep learning-based resource-constrained video summarization,DeepReS),采用ORB (Oriented FAST and rotated BRIEF)特征和卷積神經網絡獲得候選關鍵幀,并根據用戶需求篩選出熵值高的視頻幀.針對以查詢為中心的視頻摘要任務,Xiao 等[27]提出了一種由局部注意力機制和查詢相關性計算模塊構成的卷積分層注意力網絡,計算視頻鏡頭與查詢之間的相似性,從而生成視頻關鍵幀.Zhou 等[28]將視頻關鍵幀提取描述成順序決策的過程,提出了一種基于強化學習的深度摘要網絡(Deep summarization network,DSN),設計了一個無標簽的多樣性-代表性獎勵函數,獲得具有多樣性和代表性的視頻關鍵幀.盡管深度學習方法在視頻關鍵幀的提取上表現出較好的性能,但是一般依賴于充足的訓練數據來學習視頻幀中的重要幀的特征,大多數方法需要對視頻進行大量的人工標注,模型的泛化性和可解釋性不強,并且缺乏對視頻的全局理解.考慮到高爐爐內惡劣的冶煉環境,且料面形貌會受到高爐冶煉操作、高爐尺寸、工況、布料周期等因素的影響,料面形貌具有多樣性和不確定性,很難構建完整的料面視頻數據集,標簽數據也難以獲得,因此深度學習方法并不適用于高爐料面視頻關鍵幀的提取.此外,與一般場景視頻關鍵幀提取不同的是,從周期性變化且質量不穩定的高爐料面視頻獲取關鍵幀更加復雜,其對反映爐內運行狀態、優化高爐爐頂布料操作具有重要的指導意義.由于高爐料面視頻的特殊性,本文定義的高爐料面關鍵幀為視頻中不同狀態下的中心氣流穩定、清晰、無爐料及粉塵遮擋且特征明顯的圖像序列.

為從大量視頻中自動準確提取清晰穩定的高爐料面圖像,本文提出基于狀態識別的高爐料面視頻關鍵幀提取方法.首先基于高溫工業內窺鏡采集高爐冶煉過程的料面視頻,并對料面視頻進行分析,將料面分為靜止、緩慢下沉、快速下沉三個狀態.為剔除視頻的冗余信息,計算料面圖像顯著性區域的關鍵特征,并提出基于局部密度極大值高斯混合模型(Local density maxima-based Gaussian mixture model,LDGMM)聚類的方法識別料面所處的狀態,根據料面所處的狀態實現每個布料周期不同狀態下中心氣流穩定、清晰、無爐料及粉塵遮擋且圖像特征明顯的關鍵幀的自動判別.

1 高爐料面視頻采集及分析

1.1 料面視頻采集系統

在高爐冶煉過程中,通常爐頂的溫度會達到200～400 ℃,中心局部溫度可能會達到600～800 ℃.由于爐料下降與煤氣流的相對運動,會產生大量的粉塵和噪聲,而高爐冶煉過程中產生的高溫煤氣流有毒有害,不能隨意排出,因此高爐需要嚴格密閉,爐內無法提供額外的光源條件.高爐爐頂高溫高壓、密閉弱光、強粉塵多噪聲的惡劣環境特點,導致清晰的料面圖像難以獲取.為了克服爐內惡劣的冶煉環境并采集到高爐冶煉過程中的料面視頻,采用了某煉鐵廠安裝的一套實時高爐料面視頻采集系統[29].該系統包括用于采集爐內料面視頻的高溫工業內窺鏡、保證設備長期穩定運行的水-氣雙冷卻管、用于信號傳輸的光纖及防爆控制箱、位于中控室的上位機等,如圖1 所示.得益于采集系統的冷卻裝置及具有極強的微光成像能力的光學性能[30],料面采集系統能夠在高溫高壓密閉弱光的爐內環境中安全穩定運行并實時采集高爐冶煉過程中的料面視頻,設備安裝的實物示意圖如圖2 所示.

圖1 料面視頻采集系統Fig.1 Burden surface video acquisition system

圖2 設備安裝圖Fig.2 Equipment installation diagram

通過高爐料面視頻采集系統采集到了大量高爐冶煉過程中的料面視頻,為現場操作人員認識爐內料面反應狀況、指導爐頂布料操作提供了直觀的視頻圖像信息.

1.2 料面反應新現象

高爐煉鐵是一個周期性加料、間歇性出鐵的復雜生產過程,可以將高爐一個布料周期分為布料過程和布料間歇,其中布料過程包括環形布料和中心加焦,而高爐運行過程中爐料會在焦炭等助燃劑的作用下及爐底鼓入的熱風環境中發生復雜的物理化學反應,并生成鐵水從鐵口排出.通過安裝的高爐料面視頻采集系統采集到的料面視頻清晰地監測到爐料周期性的反應過程,并揭示了料面變化新現象.圖3 給出了采集到的某煉鐵廠2#高爐一個布料周期內的料面反應現象.

圖3 一個布料周期內的料面反應現象Fig.3 Burden surface reaction phenomenon in a burden cycle

在高爐布料過程中,當料面料位到達預設的最低位置,通過設定的布料矩陣將爐料環形撒入爐內,此時爐料會遮擋料面有效信息,如圖3(a)所示.在加料之后會將焦炭以另一個布料矩陣撒入高爐中心,中心氣流逐漸變窄,并最終被焦炭完全遮擋,如圖3(b)所示.隨之,中心氣流寬度會逐漸變大,反映了中心加焦能夠改善料面中心的透氣性.此時料面會存在一段時間的布料間歇,料面視頻較清晰,爐料顆粒清晰可見.從采集的料面視頻可以發現,在正常工況下,料面存在靜止、緩慢下沉、快速下沉三種不同的狀態,一般來說,靜止料面圖像清晰度最高,如圖3(c)所示.爐料緩慢下沉會產生少量的粉塵,而快速下沉會由于運動導致圖像出現一定的模糊,在快速下沉之后,會出現大量的粉塵遮擋住料面的有效信息,如圖3(d)～3(f).此外,從圖3 中可以發現,布料過程的料面有效信息被遮擋較多,而布料間歇的料面圖像清晰度要高于布料過程.采集到的料面視頻監測了高爐冶煉過程中料面變化的新現象,為現場操作人員認清爐內反應狀況提供了重要的信息.

考慮到高爐煉鐵是一個大時滯、慢變的過程,高爐布料具有周期性和間歇性,并且料面形貌與布料制度、爐況等因素有關.為了更全面地分析料面視頻的特征,采用抽幀方式(每間隔600 幀抽取一幀,即采樣頻率為3 幀/min)展示了高爐一個布料周期約為6 min 的料面視頻幀,如圖4 所示.圖4(a)～4(h)是高爐布料過程的料面圖像,圖4(i)～4(r)是高爐布料間歇的料面圖像.在高爐布料過程,料面變化較大,視頻中的爐料由少到多,并逐漸遮擋整幅圖像,采用環形布料一定圈數之后,料面粉塵量增大;而在中心加焦之后,料面氣流寬度變窄,而爐內無額外光照,料面圖像中充滿噪點,缺乏有效信息.相比于布料過程的圖像,布料間歇的圖像更加清晰、直觀,包含的料面有效信息更加豐富,這是為布料操作提供信息反饋及后續圖像分析的主要數據來源.

圖4 一個布料周期內料面視頻幀Fig.4 Burden surface video frames in a burden cycle

與一般場景視頻不同,料面視頻具有狀態多變(靜止、緩慢下沉、快速下沉)、形貌多樣(中心平坦型、中心井口型、中心噴濺型等)、圖像質量不一(周期性變化,布料過程圖像清晰度低,有效信息較少;而布料間歇圖像清晰度較高,能夠監測到爐內反應狀況)、信息重復冗余(料面是慢變的,視頻中存在很多重復、冗余的幀)等特點.從現場采集的料面視頻無法直接用于分析理解,且如果對所有視頻幀都進行處理會大大降低效率并影響處理的結果,為此有必要研究一種能夠自動從料面視頻中提取關鍵幀的方法.考慮到料面所處的狀態與高爐爐況及圖像清晰度息息相關,將料面所處的狀態作為關鍵幀提取的依據更加符合視頻的特征及現場的需求.

2 高爐料面視頻關鍵幀提取

2.1 料面顯著性區域關鍵特征提取

為了從周期性變化、質量不一、狀態多變的高爐料面視頻中提取出關鍵幀,本文將不同狀態下中心氣流穩定、清晰、無爐料及粉塵遮擋且特征明顯的圖像定義為視頻關鍵幀.料面圖像的特征點密集程度及像素位移大小與高爐料面的運動狀態具有很強的相關性.一般來說,料面圖像特征點越密集,像素位移越小,料面下降越慢,料面越穩定;而圖像特征點越稀疏,像素位移越大,料面下降越快,料面越不穩定.為此本文選擇料面圖像特征點密集程度及運動的像素位移作為料面視頻關鍵幀提取的兩個關鍵特征,其中特征點的密集程度采用特征點數目表示,圖像運動的像素位移用平均光流矢量表示.

基于高溫工業內窺鏡拍攝的料面圖像如圖5(a)所示,高爐爐內惡劣的冶煉環境導致料面圖像與一般場景圖像不同.料面圖像包含煤氣流區域、爐壁區域等非料面區域和料面區域,并且不易分割,其中料面區域是本文的感興趣區域.圖像中煤氣流區域過曝,而遠離煤氣流區域偏暗.在計算料面關鍵特征時,非料面區域會對特征提取的精度造成影響,且高爐爐內煤氣流是變化的,基于經典的光流法計算出的料面圖像光流矢量具有一定的誤差.受啟發于人類的視覺注意力機制,為了提高關鍵特征提取的精度和效率,首先對圖像進行顯著性檢測,選擇圖像中具有重要信息的區域[31].本文定義圖像中亮度均勻、紋理明顯的料面區域為顯著性區域,并基于圖像像素間的顏色特征、紋理特征、亮度特征以及空間特征的差異度作為顯著值計算的依據.像素pi,pj間的總體差異度d(pi,pj)定義如下

圖5 料面顯著性區域提取Fig.5 Salient region extraction of burden surface

其中,d1(pi,pj),d2(pi,pj),d3(pi,pj)分別表示料面圖像像素pi,pj之間的顏色特征、亮度特征和紋理特征的歐氏距離,ds(pi,pj)表示像素pi,pj之間空間特征的歐氏距離,α表示一個常數,定義為3.式(1)可以理解為顯著性區域是顏色特征、亮度特征、紋理特征差異較大并且位置相對集中的區域.

在得到像素間的差異度之后,像素pi的顯著值Si可以表示為

其中,pl表示以像素pi為中心的 8×8 鄰域內的像素點,d(pi,pl)越大,Si越大.

料面顯著值計算結果如圖5(b)和5(c)所示,其中紅色越深,表示顯著值越大,藍色越深表示顯著值越小.為了進一步減小煤氣流區域對精度的影響,采用OTSU 閾值分割方法對料面圖像進行二值化,將料面圖像分為煤氣流區域和非煤氣流區域,并作為掩膜剔除掉顯著性區域的煤氣流區域,定位的顯著性區域的位置如圖5(d)中的白色區域.

在定位料面顯著性區域之后,考慮料面運動越快,光流矢量越大,而由于運動,圖像清晰度會有所下降,從而檢測到的特征點數目減少,因此計算特征點密集程度和特征點光流矢量作為料面運動狀態識別的關鍵特征.特征點集合及特征點光流矢量集合如式(3)和式(4)所示,提取結果如圖6 所示

圖6 提取的特征點及其光流矢量Fig.6 Extracted feature points and their corresponding optical flow vectors

其中,K表示料面圖像特征點集合,F表示圖像的特征點光流矢量的集合.

2.2 基于局部密度極大值GMM 的料面狀態識別

在獲取料面圖像顯著性區域的特征點密集程度及特征點運動的像素位移之后,需要基于關鍵特征從視頻中判別出料面所處的運動狀態.考慮到高斯混合模型 (Gaussian mixture model,GMM)可以擬合任意數據的分布,而傳統的GMM 對于初始值的選取十分敏感,容易因初始值的選取不佳而陷入局部最優,無法獲得準確的結果.為了準確識別料面所處的狀態,本文提出了LDGMM 料面狀態識別方法,可以在無參數的條件下基于數據分布特征,找到局部密度最大的點,并作為LDGMM輸入的初始值,以加快LDGMM 迭代的速度,優化LDGMM擬合的結果,具體步驟如下:

1)考慮到正常工況下,料面是相對穩定的,料面發生整體運動,為了簡化運算,以特征點平均光流矢量作為某個時刻料面的運動像素位移

其中,f表示特征點平均光流矢量,m表示圖像特征點的數目,ua,va分別表示圖像特征點a的像素位移水平分量和垂直分量.

2)由于料面視頻中包含不穩定的狀態,在布料、加焦和爐料快速下沉后會激起大量的粉塵.料面的有效信息被爐料或者粉塵遮擋,此時料面圖像的特征極其不明顯,給定較小的表征特征點數目的閾值剔除這個時刻的數據(通過大量的實驗,本文的閾值選擇了10,即T0=10),然后采用等置信概率剔除其他時刻的一些異常值,并對特征點數目及像素位移矢量進行歸一化處理

其中,w表示肖維勒系數,d0,m(d),s(d)分別表示數據離群點、均值、標準差,d*,di,dmin,dmax分別表示歸一化后的數據、歸一化前的數據、數據最小值和最大值.

3)在數據預處理之后,總共獲取了不同布料周期不同狀態下的料面圖像數據1 500 個,采用核密度估計函數得到數據分布的概率密度圖,核密度估計函數如下

其中,fh(·)表示核密度估計函數,Kh(·)表示核函數,h表示平滑參數,滿足h＞0,d表示觀測值,dj表示第j個樣本,n表示樣本的總數.

特征點光流概率密度分布如圖7 所示,其中不同的顏色表征數據的密度大小.可以發現,所提取的料面關鍵特征(特征點密集程度和平均光流矢量)基本滿足對角分布規律,即特征點越密集,平均光流矢量越小;特征點越稀疏,平均光流矢量越大,獲取的料面圖像關鍵特征能夠被比較明顯地分為三個密集分布.根據光流矢量的分布可以得到概率密度分布直方圖,如圖8 所示,可以得到三個概率密度局部極大值,作為GMM 的初始聚類中心.值得注意的是,這是一種非參數估計方法,可以在不知道具體類別數目的前提下僅根據關鍵特征的數據分布來估計出數據的概率密度分布,并從中獲得高斯分布數量和局部密度極大值

圖7 特征點密集程度和平均光流矢量的概率密度分布圖Fig.7 Probability density distribution map of feature point density and average optical flow vectors

圖8 特征點平均光流矢量概率分布直方圖Fig.8 Probability distribution histogram of average feature point optical flow vectors

其中,C表示局部密度極大值點集合,c1,c2,c3表示三個局部密度極大值點,(n1,f1),(n2,f2),(n3,f3)表示三個局部密度極大值對應的特征點密集程度及平均光流矢量.

4)將上一步獲取的局部密度最大的三個點作為初始的聚類中心,根據局部密度極大值設定GMM參數的初始值,GMM 的概率密度函數如下

其中,P(x)表示GMM的概率密度函數,p(·)表示單個高斯模型的概率密度函數.是GMM的三個參數,分別表示當前幀屬于類別γ的概率、第γ個高斯分布的均值和協方差矩陣.

采用期望最大化(Expectation-maximization,EM)算法對GMM 參數進行更新,直至似然函數達到最大,模型收斂

圖9 給出了5 次采用經典GMM 和所提方法訓練過程,可以發現GMM 平均需要41.4 次更新才能達到最優,并且容易陷入局部最優,而所提聚類模型只需要迭代13 次就可以迅速達到最優,一定程度上驗證了所提模型是高效準確的.

圖9 不同方法不同訓練過程似然函數變化情況Fig.9 Change of likelihood function of different methods in multiple training processes

2.3 基于狀態識別的料面關鍵幀提取

料面所處的狀態是提取關鍵幀的主要依據,在識別料面所處的狀態后,可以根據后期不同的處理需求,得到滿足不同條件的關鍵幀集合,本文提取了不同狀態下中心氣流穩定、清晰、無爐料及粉塵遮擋且特征明顯的關鍵幀.

考慮到高爐爐頂布料操作是周期性、間歇性的,且操作制度在不同周期會有所改變,采集到的高爐料面視頻在不同的布料周期的形貌、圖像清晰度等具有較大的區分度,不能對整個料面視頻直接進行關鍵幀提取.為此,本文根據布料周期對料面視頻進行鏡頭分割.值得注意的是,高爐布料周期T并不是固定的,且T未知,周期不能簡單地根據時間進行劃分.從采集的料面視頻可以發現,高爐由布料間歇到布料的切換過程中,圖像特征變化明顯,圖像有效信息降低,清晰度明顯下降.本文基于復合幀間差異度函數獲取料面視頻中的突變幀進而實現料面視頻不同周期的識別,其中復合幀間差異度函數由視頻幀的熵、平均梯度、特征點密集程度的差異組成.

其中,E,G,N分別表示視頻幀的熵、平均梯度和特征點密集程度;p(xi)表示灰度值出現概率;w,h表示圖像的寬和高;I表示圖像灰度值;分別表示圖像水平和垂直方向的梯度;m,mmin,mmax分別表示當前幀圖像特征點數目,最小特征點數目和最大特征點數目.

為了減小視頻幀關鍵特征計算的隨機誤差,取每秒所有圖像熵的平均值、平均梯度的平均值和特征點密集程度的平均值作為當前時刻的特征值,并分別歸一化到 (0,1],然后進行加權得到計算的結果,計算相鄰時刻圖像的幀間差異度

其中,Et,Gt,Nt分別表示視頻幀歸一化后的熵、平均梯度和特征點密集程度.St表示圖像特征值,Dt表示視頻幀間差異度,α1,α2,α3表示權重,本文取α1=α2=α3=1/3.

視頻幀間差異度曲線如圖10 所示,圖中給出幾個不同時刻下的料面圖像.從圖10 可以發現,在布料或者加焦過程中,視頻幀間差異度較大,圖像有效信息被粉塵或者爐料遮擋;而在布料間歇料面逐漸穩定,視頻幀間差異度較小,圖像更加清晰.基于視頻幀間差異度可以檢測到視頻的邊界幀,進而對料面視頻進行周期劃分,邊界幀需要滿足以下條件

圖10 料面視頻差異度曲線Fig.10 Difference curve of burden surface video

其中,Dc+1,Dc表示相鄰的兩個邊界幀,邊界幀的差異度需要大于閾值T1,并且需要至少間隔Tt以避免同一個布料周期多個邊界幀被檢測到.T1,Tt是固定的閾值,通過實驗統計得到.

在高爐爐頂布料過程中,會產生大量的粉塵、噪聲,由于爐料、粉塵、噪聲等對料面有效信息的遮擋,圖像清晰度下降,能夠檢測的特征點將大大減少,這一類圖像并不適合作為后期處理的數據來源.為了保證所提取的關鍵幀特征明顯、圖像清晰,在關鍵幀提取前剔除有效信息缺失的料面圖像.為了簡化運算并提高效率,統計當前幀的特征點數目nt,并與閾值T0比較,若nt≤T0,則不屬于關鍵幀,直接剔除;若nt＞T0,則當前幀進入下一步判斷,從而剔除特征不明顯、有效信息缺失較多的視頻幀

其中,nt表示當前幀特征點數目,V表示初步篩選后留下的圖像集合.

計算V中視頻幀與不同聚類中心的歐氏距離,獲取當前幀所處的狀態,若為靜止狀態,則被判定為周期T的關鍵幀集合A中的候選關鍵幀;若為緩慢下沉狀態,則被判定為周期T的關鍵幀集合B中的候選關鍵幀;若處于快速下沉狀態,則初步判定為周期T的關鍵幀集合C中的候選關鍵幀

從三個候選關鍵幀集合中分別將聚類中心對應的視頻幀、按照固定采樣頻率得到的圖像作為關鍵幀,得到一個周期的關鍵幀集合

其中,At,Bt,Ct分別表示一個布料周期內的靜止、緩慢下沉、快速下沉三種運動狀態的關鍵幀集合.

一個布料周期的料面視頻關鍵幀提取方法如算法1 所示.在提取了一個布料周期料面視頻關鍵幀之后,采用相同方法獲取不同布料周期的料面視頻關鍵幀,得到最終的關鍵幀集合.

算法1.一個布料周期的料面視頻關鍵幀提取

輸入.ne,tf,Nm,Th//幀數,當前幀,總幀數,當前周期

輸出.At,Bt,Ct//不同狀態下的關鍵幀集合

3 實驗驗證與結果分析

本文實驗的軟件環境: Windows10 操作系統下的MATLAB R2020a 及PyCharm 2020;硬件環境: 處理器為Intel Core i7-11 700 2.50 GHz,內存為32 GB.測試的視頻來源于高溫工業內窺鏡采集到的某鋼鐵廠2#高爐運行過程的料面視頻,采樣頻率為30 幀/秒,圖像分辨率大小為 8 28×494.

3.1 狀態識別的性能分析

在采集高爐運行過程不同布料周期的料面視頻之后,提取圖像的特征點并計算特征點光流矢量,基于所提的LDGMM 識別當前幀的運動狀態,結果如圖11 所示,其中圖11(a)表示LDGMM 識別結果,將高斯分布曲線內或者接近曲線的數據歸為一個狀態,從圖中可以得出,三種不同的狀態可以比較明顯地被區分開.圖11(b)～11(d)分別表示三個不同布料周期中靜止、緩慢下沉、快速下沉三種狀態的可視化識別結果.為了能夠更加直觀地區分不同的狀態,采用不同顏色、不同長度的箭頭表示料面特征點運動的大小,其中紅色越深,箭頭越長,表示特征點運動的光流矢量越大;藍色越深,箭頭越短,表示特征點運動的光流矢量越小.從圖11 可以獲得料面上不同位置的特征點像素位移大小,此外,靜止料面能夠提取更多的特征點,其對應的光流矢量較小;相比于靜止料面,緩慢下沉的料面提取的特征點數量變少,但光流矢量變大;而快速下沉的料面光流矢量最大,提取的特征點數量最少,直觀上說明所提方法能夠明顯區分出料面的不同狀態.

圖11 不同布料周期不同狀態的識別結果Fig.11 Various state recognition results in different burden cycles

為了驗證本文所提狀態識別方法的有效性,進行消融實驗,分別比較LK (Lucas-Kanade)光流法、無顯著性區域定位的特征點光流法、經典GMM 算法以及本文方法得到的聚類結果,如圖12 所示.可以發現,LK 光流法只依據圖像的像素位移進行狀態的劃分,數據的區分度并不大,如圖12(a)所示;在不引入顯著性區域定位時,由于圖像包含爐壁和煤氣流區域,提取的部分特征點并不在料面區域,計算的像素位移大小可能會比實際值大,并且快速下沉和緩慢下沉兩個狀態分離度不高,如圖12(b)所示;由于經典GMM 算法初始的聚類中心是隨機的,若初始聚類中心選擇不當,會使得模型陷入局部最優,如圖12(c)所示;采用本文所提方法得到的結果中三種狀態的分離較明顯,能夠快速達到最優的聚類效果,不同狀態區分度較大,如圖12(d)所示.

圖12 相同料面圖像不同方法的聚類結果Fig.12 Clustering results of different methods for the same burden surface image

為了評估不同方法的聚類結果,選取戴維森堡丁(Davies-Bouldin,DB)指數、CH (Calinski-Harabasz)指數、輪廓系數(Silhouette coefficient,SC)、分離度(Separation,SP)作為評價指標,比較基于不同方法得到的不同狀態的類間距離和類內距離,其中DB 值越小,CH、SC 及SP 值越大,說明聚類效果越好,評價結果如表1 所示.從表1 可以看出,所提方法的DB 指標值最小,CH、SC 和SP指標值最大,綜合分析可得所提方法的類間數據最分散,類內數據最集中,狀態聚類的效果在這幾種方法里是最好的.

表1 不同方法的聚類效果比較Table 1 Comparison of clustering performance of different methods

進一步地,采用Cai 等[32]提出的動態光照下光流計算方法(Dynamic illumination optical flow computing,DIFlow)、Liu 等[33]提出的從無標注數據中學習光流自監督網絡(Self-supervised learning of optical flow,SelFlow)及本文所提方法識別相同料面視頻的不同狀態,不同方法識別不同料面狀態的結果如圖13 所示.DIFlow 考慮了光照對光流估計的影響,將料面圖像均勻地分成圖像塊,并計算了料面圖像塊的像素位移;SelFlow 采用無監督深度學習方法計算了整幅料面圖像的稠密光流.在圖13 中,給出了SelFlow 計算的最大光流矢量值和平均光流矢量值,并采用不同顏色的橢圓標記出存在較大誤差的位置,其中紅色橢圓部分表示計算的中心氣流的光流矢量,綠色橢圓部分表示計算的爐壁部分的光流矢量.從圖13 可以看出,DIFlow及SelFlow 方法會受到中心氣流和爐壁等非料面區域的影響,計算的光流結果偏大,料面狀態識別的結果并不直觀,而本文方法能夠極大減少非料面區域對識別結果的影響,可以明顯區分出不同的料面狀態.

圖13 不同方法識別不同料面狀態的對比結果Fig.13 Comparison results of different burden surface states identified by different methods

在高爐冶煉現場,為了能夠檢測料位,一般會在高爐爐頂安裝2～3 個機械探尺.機械探尺通過提尺、放尺、浮尺三個階段按照一定的采樣頻率(約10 s 采樣一次)來測量料面某個位置上的料位,其中浮尺階段的數據被認為是真實有效的料面料位值.根據機械探尺的測量值能夠得到布料間歇料面的高度,結合相鄰采樣間隔的機械探尺的測量數據及人工經驗獲取了料面的狀態.采用不同方法的識別結果如圖14 所示,從圖中可以發現所提方法的識別狀態與真實狀態吻合較好,而DIFlow 和Sel-Flow 識別的料面狀態與真實狀態有較大的偏差,一定程度上驗證了所提方法是可靠的,并且優于DIFlow 和SelFlow 方法.

圖14 不同方法識別的不同狀態Fig.14 Different states identified by different methods

為了定量驗證所提狀態識別方法的精度,分別選取調整蘭德系數(Adjusted Rand index,ARI)、標準化互信息(Normalized mutual information,NMI)、熵(Entropy,E)、純度(Purity,P)評價不同方法識別的精度,結果如表2 所示,其中ARI、NMI、P 的值越大,E 的值越小,表明與真實結果更接近.從表2 可得,對于給定評價指標,所提方法均表現出最優的性能,體現了所提的料面狀態識別方法準確有效,識別的料面狀態的精度高于其他兩種方法.

表2 不同方法的識別精度比較Table 2 Accuracy comparison of recognition results of different methods

料面的不同運動狀態能夠反映高爐的爐況和運行效率,若高爐料面基本保持在緩慢下沉狀態,則此時調控較好,爐況比較穩定,運行效率較高;若高爐料面長期處于靜止狀態,則容易發生懸料;若高爐料面長期處于快速下沉狀態,則容易發生塌料.為了得到不同狀態的識別精度,給出所提運動狀態識別方法的混淆矩陣,如圖15 所示.從圖15 可以發現,快速下沉、靜止、緩慢下沉三種狀態的識別精度分別為87.88%、93.94%、91.18%.其中9.09%的快速下沉狀態會被識別為緩慢下沉狀態,3.03%的靜止狀態會被識別為緩慢下沉狀態,而5.88%的緩慢下沉狀態會被識別為快速下沉狀態,精度能夠滿足現場的需求.

圖15 所提方法的混淆矩陣Fig.15 Confusion matrix of the proposed method

3.2 關鍵幀提取的性能分析

在獲取料面狀態后,可以根據料面的不同狀態篩選出關鍵幀.為了驗證所提關鍵幀提取方法的有效性和先進性,隨機選取一個布料周期為451 s 的料面視頻(共13 544 幀),采用雙階段鏡頭邊界檢測方法(Dual-stage-based shot boundary detection,DSBD)[14]、DeepReS[26]、DSN[28]及本文方法提取料面視頻的關鍵幀,其中DSBD 基于提取的LBP-HF特征和自適應閾值檢測關鍵幀,DeepReS 和DSN采用深度學習方法識別視頻關鍵幀,圖16 給出了不同方法提取的部分關鍵幀結果.從圖16 可以看出,由于高爐布料過程料面圖像變化較大,而在布料間歇料面圖像變化不易察覺,DSBD 將料面視頻中圖像視覺特征變化較大的視頻幀作為關鍵幀,獲取了高爐布料過程的料面圖像,提取的關鍵幀圖像不清晰,有效信息遮擋較多,難以反映當前時刻的料面反應狀態,且由于高爐是環形周期性布料,在布料階段圖像變化較大,采用DSBD 方法提取的關鍵幀仍然有大量的視頻冗余.DeepReS 方法能夠去除布料過程部分冗余,但是仍然存在布料過程不清晰的圖像,無法獲取不同狀態下穩定的料面圖像.DSN 將視頻幀的多樣性和代表性作為獎勵函數,相比前兩種方法獲取的視頻幀更加清晰,但是缺乏對料面視頻內容的分析,且仍然存在部分布料過程不清晰的圖像.本文方法能夠剔除細節模糊、不穩定的圖像,同時精簡了視頻,去除了大量冗余,增加了對料面視頻運動狀態的分析,提取出清晰的不同狀態下的料面圖像,對高爐爐頂布料具有一定的指導意義.

圖16 采用不同方法提取的同一布料周期的部分關鍵幀Fig.16 Extracted partial key frames of the same burden cycle using different methods

為了定量評價關鍵幀提取方法的性能,以人工提取的關鍵幀為參考幀,統計提取的關鍵幀集合的幀數、正確幀數、錯誤幀數、漏檢幀數,并計算查全率R、準確率P、F1 值.表3 給出了采用不同方法提取的一段2 323 s 料面視頻(共66 332 幀)的結果.

表3 不同方法提取的關鍵幀精度比較Table 3 Accuracy comparison of key frames extracted by different methods

其中,nr,nf,nw分別表示正確提取的關鍵幀數量、漏檢的關鍵幀數量和錯誤提取的關鍵幀數量.

從表3 可以看出,受到高爐布料和爐內粉塵的影響,DSBD、DeepReS 和DSN 提取的料面視頻關鍵幀具有較多的冗余,存在一定的漏檢,查全率和準確率并不高,而所提方法所提取的料面視頻冗余幀和漏檢幀較少,查全率、準確率及F1 值均高于其他三種方法,定量驗證了所提方法的準確性和可靠性.

在不同的布料周期,料面形貌會有所變化,采用本文所提的關鍵幀提取方法提取了不同布料周期的料面視頻關鍵幀,剔除了布料、加焦等不穩定時刻的料面圖像,圖17(a)～17(d)分別為4 個不同布料周期提取的平坦型、井口型、噴濺型、氣流發展型的料面圖像關鍵幀.所提取的關鍵幀能夠清晰直觀展示高爐不同布料周期的形貌,為高爐冶煉現場提供極具價值的爐內反應狀況信息及布料反饋信息.

圖17 提取的不同布料周期的關鍵幀Fig.17 Extracted key frames of different burden cycles

考慮到高爐冶煉過程中不同布料周期的料面形貌可能會不同,采用本文方法提取了4 個不同布料周期不同典型形貌的料面視頻的關鍵幀,并分別計算了準確率、查全率和F1 值,結果如圖18 所示.從圖中可得,雖然料面形貌有所差異,但是關鍵幀提取的準確率、查全率及F1 值均較高,且變化并不明顯,說明所提方法在不同布料周期能夠準確地提取料面視頻關鍵幀,且精度受布料周期和料面形貌不同的影響并不大.

圖18 不同形貌料面視頻關鍵幀提取精度Fig.18 Extraction accuracy of video key frames with different shapes and surfaces

4 結論

針對高爐料面視頻存在的冗余信息多、圖像質量不穩定、狀態多變等問題,本文提出了基于狀態識別的高爐料面視頻關鍵幀提取方法.基于顯著性區域特征點光流聚類方法識別了料面所處的狀態,并依據料面狀態從冗余、質量不一的料面視頻中篩選出不同周期不同狀態下形貌變化較大且清晰穩定的關鍵幀,方便后期圖像處理,同時也有利于從大量的料面視頻中快速準確地捕獲到有效信息.通過大量的對比實驗表明本文所提方法能夠準確識別料面所處的狀態,同時能夠從視頻中剔除細節模糊、不穩定的視頻幀,得到不同狀態下中心氣流穩定、清晰、無爐料及粉塵遮擋且特征明顯的關鍵幀,為現場操作人員認清爐內反應狀況、指導爐頂布料操作提供重要反饋信息.與其他現有的狀態識別和視頻關鍵幀提取方法相比,所提方法結合了料面視頻變化特征,性能優越,算法復雜度不高,實用價值高,能夠為現場操作人員提供實時清晰的爐內反應過程圖像信息,并為爐頂布料提供反饋信息.此外,本文所提方法提供了一種復雜多變且周期性變化的工業視頻關鍵幀提取的有效途徑,為其他復雜惡劣環境中視頻圖像處理提供了新思路.