基于WCGAN 的礦物浮選泡沫圖像光照不變顏色提取

劉金平 何捷舟 唐朝暉 謝永芳 馬天雨

泡沫浮選是應用最為廣泛的一種礦物分選方法,同時也是礦物加工中最不穩定和最不可預測的步驟之一[1].精礦品位是衡量精礦產品質量、判斷選礦水平高低的關鍵性指標.然而,由于浮選工業過程是典型多相流復雜耦合系統,系統中包含復雜的物理化學變化,目前還難以實現浮選精礦品位的在線檢測[2].

研究表明浮選泡沫表面顏色是精礦品位最為快速便捷的直接指示器[3-5].有經驗的生產工人正是通過觀察泡沫表面顏色對精礦品位以及生產工況進行評判,以便對生產進行操作調整.因此,近年來,國內外許多專家學者對基于機器視覺浮選過程監控開展了一系列研究[4-7],以期通過自動分析泡沫圖像顏色、尺寸等特征,實現精礦品位的在線監測.

然而,在實際的工業浮選過程監控中,因為泡沫圖像信號會受到多種可變光照的影響,包括泡沫圖像采集系統的光源衰減、自然光照強度和入射角度的變化以及選廠中各種燈光設備的照明變化等,都會對泡沫圖像的顏色的準確測量帶來嚴重干擾[7].從而難以獲得魯棒的泡沫顏色特征,進而也就難以基于所獲得的泡沫顏色特征對精礦品位進行準確預報.因此,要保證基于機器視覺的礦物浮選過程監控系統的有效性和實用性,獲取開放環境下、不受光照影響的泡沫表面的顏色特征成為當務之急.

為獲取不受光照影響的圖像恒常顏色特征,一些研究者針對人類視覺所具有的可變光照顏色恒常感知能力,對工業視覺檢測中的顏色恒常計算模型和方法進行了大量的研究[8].

傳統的圖像顏色恒常模型都是基于某種視覺感知假設(約束)對入射光進行全局分析與建模,根據光照估計結果對非基準光照(色偏)圖像進行顏色校正[9-10].然而,由于人類視覺的顏色恒常感知機理目前還沒有很好地掌握,將一些簡單的感知假設應用于顏色恒常計算時,往往難以獲得令人滿意的校正結果[11].因而,一些研究者期望直接從圖像數據中對場景的真實光照或者真實顏色進行分析.

自從有研究者將神經網絡[12]等機器學習方法引入到圖像的色度估計中之后,基于機器學習的顏色恒常處理方法,因其計算速度快、適應性強、可在線更新等優點,引起國內外研究者廣泛關注.特別是近年來,隨著深度卷積網絡的盛行,基于深度學習的顏色恒常方法更是受到了學術界和工業界的高度關注[10,13-14].

Bianco 等[14]首次采用深度卷積網絡進行光照估計.Oh 等[10]采用深度卷積神經網絡將傳統的顏色恒常中的光照估計問題轉換為光照分類問題.然而,該方法所采用網絡模型結構復雜,無法滿足工業監控實時性需求.為了提高模型效率,Hu 等[13]采用全卷積神經網絡來取代全連接網絡,并采用更輕量級的SqueezeNet 網絡結構替換了AlexNet網絡結構,以縮減網絡模型計算時長.

在工業浮選過程監控中,浮選泡沫圖像光照情況復雜多變,很難對這些相互干擾的、可變多光照進行有效估計或者分類.因此,傳統的基于光照估計的顏色恒常方法會因光照估計的失敗導致對泡沫圖像顏色校正時出現模糊、偽色塊等嚴重的圖像失真問題,難以滿足工業浮選過程監控的實際需求.

實際上,在基于機器視覺的礦物浮選過程監控中,更重要的是要能有效估計出各種未知光照條件下所采集到的泡沫圖像在某種基準光照條件下的色域顯示,以獲得能有效反映浮選工況或者精礦品位的泡沫顏色信息,實現基于泡沫圖像特征的工況鑒別和精礦品位在線監測.

因此,泡沫圖像顏色恒常處理可以看作一種圖像到圖像的顏色(風格)轉移,也就是要將未知光照下的泡沫圖像轉換到某種特定光照下的顏色顯示.與傳統圖像風格轉移目標不同的是,在進行泡沫圖像顏色轉移時,要能有效保持泡沫圖像中復雜的氣泡輪廓、表面紋理結構的不變性(因為泡沫的表面幾何特征和表面紋理特征也與浮選生產工況,比如加藥健康狀態[3,7,15],有較大的相關性).

生成對抗網絡(Generative adversarial network,GAN)[16]及其改進模型,比如Pixel2Pixel[17],CycleGAN[18]是目前常用的圖像風格轉移模型.但是,傳統的基于GAN 的圖像生成方法是基于隨機噪聲進行圖像生成無法實現圖到圖的顏色風格轉移,難以保證氣泡輪廓和表面紋理的結構不變性,無法直接應用于泡沫圖像光照不變顏色特征監測.

本文提出一種基于Wasserstein 距離的循環生成式對抗網(Wasserstein distance-based cycle GAN,WCGAN)用于泡沫圖像光照不變顏色特征檢測.WCGAN 由具有對稱結構和循環一致性約束的兩個GAN 組成,可獲得各種未知光照條件下泡沫圖像色域信息與基準光照下色域信息的非線性映射關系,從而實現各種非恒定光照下色偏泡沫圖像到基準光照下的顏色顯示,并有效保持顏色校正圖像的結構不變性.本文主要研究工作和創新點總結如下:

1) 提出一種基于WCGAN 的泡沫圖像顏色校正方法,將傳統的基于光照估計的顏色恒常問題轉換為一種結構保持的圖像到圖像的顏色(風格)轉換問題,以實現各種未知光照條件下的泡沫圖像到基準色域下的顏色表示.

2) WCGAN 基于CycleGAN 模型的循環對稱結構和循環一致性約束,采用Wasserstein 距離對CycleGAN 中的生成對抗損失函數進行優化修改,并對其生成器結構進行改進,使得WCGAN 模型能在進行圖像顏色轉換的同時有效保持原始圖像輪廓和紋理結構的不變性.

實驗表明,WCGAN 具有收斂速度快、生成結果穩定的優點且具有在線修正功能,可對各種復雜工況進行有效監測,滿足浮選過程監測時效性的要求,為實現浮選過程精礦品位在線監測奠定基礎.

1 相關工作

本節先回顧顏色恒常中的光照模型,再簡要介紹基于GAN 的顏色恒常方法以及Wasserstein GAN (WGAN)的基本原理.

1.1 光照模型

光照是決定非源觀測物質表面顏色的重要因素.絕大多數的顏色恒常計算模型均是通過先計算出圖像的入射光照顏色,再通過某種轉換規則將當前的入射光照下的圖像顏色調整到標準白色光照下所呈現出來的顏色表示.

設圖像顏色數據為fc=(fR,fG,fB)T,對應的光源顏色為I(λ),λ為入射光源的波長,被照射物體表面的反射率為S(x,λ),并假設物體表面為Lambertian 表面(僅包括漫反射),則圖像顏色數據可表示為[9]

其中,w代表可視光譜,mb表示漫反射系數,ρ(λ)=(ρR(λ),ρG(λ),ρB(λ))T代表攝像設備的敏感函數.

式(1)考慮了多種光照情況,為降低模型復雜度,可以將多種光照綜合為單光照,那么式(1)可以進一步簡化為

由于I(λ)與ρ(λ) 均是未知量,對光源顏色I(λ)估計是典型的非適定的問題.為了研究方便,入射光照的估計一般是在一定感知約束(假設)下計算得出.

在對色偏圖像進行顏色校正時,一般基于入射光照(顏色)的估計結果,采用線性變換對光照圖像像素的顏色值進行轉換.

根據Beer-Lambert 定律,由兩種不同的光照形成的圖像可以通過對角矩陣轉換模型進行顏色轉換,對角模型又稱Von Kries 模型[9].因此,通常在估計出原圖像中的入射光照后,采用對角矩陣將原始圖像轉化為在標準白光 (R=G=B=255)下顏色顯示,轉換公式為

其中,fo和fu分別表示校正后的和未知光源情況下獲得的圖像值,Du,f是對角轉換矩陣.

上述方法實現簡單,然而,僅憑一張沒有任何來源的輸入圖像,是很難精確計算出光照信息的,也就是難以獲得有效的Du,f.

實際上,在基于機器視覺的礦物浮選過程監測中,并不需要顯式地進行泡沫光照估計,也不一定要將圖像轉換到標準白色下進行顯示,而僅需要將各種未知光照泡沫圖像映射到某種基準光照下的色域顯示,以獲得能有效反映精礦品位變化情況的泡沫顏色特征.

因此,可將泡沫圖像顏色恒常問題轉換成一個圖到圖的顏色風格轉換問題,采用某種機器學習模型獲得非基準光照下泡沫圖像色域信息與基準光照泡沫圖像色域信息的非線性映射關系,進而實現未知光照下泡沫圖像的色域到基準色域下的顏色風格轉換.圖1 顯示了本文進行光照不變泡沫顏色特征提取的基本思路.

圖1 泡沫圖像光照轉換思想Fig.1 Scheme of the color translation of froth images

1.2 基于GAN 的圖像顏色風格轉移

基于GAN 的圖像顏色轉換基本思路為: 通過GAN 框架中的兩個基本模塊(生成器(G)和判別器(D))的對抗訓練,學習一個有效的顏色轉換映射,G:X →Y,以便能將任意未知光照下的圖像顏色域X轉換到某種基準光照下(比如白色基準光照)顏色域Y,同時要求在色域轉換時,圖像結構保持不變.

在模型訓練中,G的監督信息來自于D,也就是需要將G的輸出信息輸入到D中,D來辨識這個輸入信息是來自于真實的基準光照下圖像還是來自于G的生成數據,迫使G來進一步優化,以便能生成更符合基準光照下圖像色域分布的圖像.

傳統的GAN 采用隨機輸入來進行圖像生成,其能生成符合特定光照條件的(泡沫)圖像,卻很難保留原圖像復雜的幾何輪廓、表面紋理等特征.同時傳統的GAN 存在訓練難、收斂慢的特點,無法實現圖到圖的轉換等問題.因此,本文采用CycleGAN[18]的循環對稱結構來構建結構保持的圖到圖的顏色轉移模型.

CycleGAN 采用兩個對稱的GAN,GAN1 與GAN2,進行循環訓練.兩個GAN 共享兩個生成器G和F,并各自擁有一個獨立的判別器,D1與D2.生成器用來實現泡沫圖像數據集X與Y的顏色分布域之間的相互映射轉換.判別器D2用來判別圖像是屬于X的真實圖像還是來自于{F(y)|y ∈Y}的生成圖像,D1用來判別圖像是屬于Y的真實圖像還是來自于{G(x)|x ∈X}的生成圖像.

為保證兩個生成器是按照一定的映射關系進行轉換而非隨機生成,CycleGAN 引入了一種循環一致性損失函數.對于GAN1,當圖像x(x ∈X)被生成器G映射到Y域上被D1判別為真時,將生成圖片再通過生成器F映射回X域,并計算其與原始圖像x的損失度,即循環一致性損失,試圖使{F(G(x))≈x|x ∈X}.同理,對于GAN2,其一致性目標為{G(F(y))≈y|y ∈Y}.

其對抗損失的目標函數與原始GAN 一致,GAN1 的損失函數表示為[18]

其中,Pdata是代表數據的概率分布,E [·] 表示數學期望.

GAN2 的損失函數表示為[18]

循環一致性損失函數用于計算映射回來的圖像和原圖像的L1 范數,其定義為

其中,‖·‖1為1 范數.

因此,CycleGAN 完整的目標函數為

其中,λ代表循環一致性損失函數在目標函數中的重要性.

理論上,通過CycleGAN 能夠有效實現不同顏色域圖像的風格轉換,其訓練模型結構如圖2 所示.

圖2 CycleGAN 結構圖Fig.2 CycleGAN structure

1.3 基于Wasserstein 距離的GAN (WGAN)

傳統的GAN 或CycleGAN 存在著以下問題:1)模型坍塌.GAN 在訓練過程可能會出現生成器退化,難以生成符合真實分布的數據;2)難以收斂.GAN 是在高維非凸的參數空間找到納什均衡點,但梯度下降法只有在凸函數的情況下才能有效獲得納什均衡點.對于用神經網絡表示的高維非凸函數,極有可能存在無法收斂的現象.

針對以上問題,很多專家學者提出了不同的改進方法[19-20].WGAN[19]的作者認為傳統的GAN 損失函數中采用JS (Jensen-Shannon) 散度與KL(Kullback-Leibler)散度來衡量兩個分布之間的差異(距離)會導致其判別器過于優化而生成器很難得到足夠的梯度,從而出現梯度消失、模型坍塌等問題.

根據文獻[21]的描述,原始GAN 的判別器在最優情況下,GAN 的損失函數等價為最小化真實數據分布Pdata(x)與生成數據分布PG(x)之間的JS散度.當兩個分布之間的差異越小時,JS 散度越小,從而可以通過優化JS 散度來減小兩個數據分布之間的差異,生成符合真實數據分布的圖像.但是,這一理論僅在兩個分布有所重疊時成立.

WGAN 的作者證明當Pdata(x)與PG(x)分布之間不存在重疊或者重疊可忽略時,JS 散度為固定常數 l og(2),從而導致了梯度消失,并證明了兩個分布之間無重疊的可能性非常大[21].因此WGAN 的作者提出了一種新的等價優化的距離衡量方法,即Wassertein 距離,來衡量兩個分布之間的距離與差異,并對原GAN 損失函數進行了修改.

Wasserstein 距離又稱為Earth-Mover 距離,其表示為

其中,Π (P r,Pg) 表示邊緣分布為Pr與Pg的聯合分布 (Pr,Pg)的集合.

式(8)中的下界計算無法直接求解,因此,根據Kantorovich-Rubinstein 對偶原理,將Wasserstein 距離等價定義為

其中,K為函數f的Lipschitz 常數,即

其中,x1,x2為函數f上的任意兩個元素.

則對于判別器D可以定義目標函數L為

其中,β為判別器的參數集,當β不超過某個范圍的條件下L足夠大時,L就近似等于真實分布與生成分布之間的Wasserstein 距離,而生成器G的優化目標是使L最小化.

研究表明,即使兩個分布之間沒有重疊,Wasserstein 距離仍然能夠有效測量它們之間的距離大小.因此,WGAN 采用Wasserstein 距離將傳統GAN 的對抗損失函數改寫為

其中,Gθ(z) 為生成器基于隨機噪聲生成的樣本,θ為生成網絡的參數集.Dβ(·)為判別器的判別結果,β為判別器網絡參數集.

研究表明該改進能有效的增強GAN 的穩定性和魯棒性,解決原始GAN 難以收斂以及模型容易坍塌等問題[22].

2 基于WCGAN 的圖像顏色校正

本節詳細介紹WCGAN 的模型結構及基于WCGAN 的圖像顏色校正流程,并對所提方法的復雜度進行分析.

2.1 WCGAN

WCGAN 采用與CycleGAN 一樣的對稱循環網絡結構,由帶循環一致損失約束的兩個GAN 構成.兩個GAN 共享兩個生成器,分別為G和F,并具有各自獨立的判別器D1和D2.G:X →Y,用于實現從未知光照圖像到參考光照下圖像的顏色轉換;而F:Y →X或F:G(X)→X,通過引入循環一致損失約束.能保證通過G進行顏色轉換后的圖像,能通過F再轉換回到其原始的色域空間.也就是要滿足F(G(x))≈x,并且G(F(y))≈y,其中x ∈X,y∈Y.

為保證模型的轉換穩定和快速收斂,WCGAN采用Wasserstein 距離取代傳統CycleGAN 中的JS 散度與KL 散度來優化其對抗損失函數.同時,對傳統CycleGAN 中的生成器結構進行改進,使生成泡沫圖像更加符合真實基準光照圖像的顏色概率分布,并能有效保持其輪廓和表面紋理結構特征的不變性.

首先,采用Wasserstein 距離對CycleGAN 的對抗損失函數進行優化,則WCGAN 中GAN1 的對抗損失函數(4)優化為

WCGAN 中GAN2 的對抗損失函數(5)優化為

其中

WCGAN 的整體目標損失函數為

其中,λ代表循環一致性損失在目標函數中的重要性.

由于RMSProp 優化算法具有收斂速度快,擺動幅度小等優點,本文采用RMSProp 優化算法[23]對WCGAN 中損失函數進行求解.RMSProp 優化算法求解計算為

其中,w為求解參數,L為求解的目標函數,α為學習率,θ為一小常數,保證式(18)的分母項不為0,Ldw為參數w歷史梯度的加權平方值,即

其中,β為衰減率.

WCGAN 的生成器網絡結構如圖3 所示,包括編碼塊(Encoding)、轉換塊(Transformation)和解碼塊(Decoding).為減小原始圖像的輪廓信息丟失,編碼塊采用全卷積層進行輪廓特征提取,不包含全連接層以及池化層.通過全卷積操作得到原始圖像表面結構信息的特征圖,但其顏色信息依舊符合輸入圖像的顏色分布.因此本文采用轉換塊將輸入泡沫顏色域的分布映射到基準顏色域上,最后由3 層反卷積網絡構成的解碼塊,生成符合基準顏色域分布同時擁有原圖像輪廓信息的圖像.

圖3 WCGAN 的生成器結構Fig.3 Generator structure of WCGAN

為保證轉換塊在對圖像顏色域轉換的同時盡可能保持其結構信息的不變,本文采用多層ResNet[24]網絡進行轉換,以保證轉換后的圖像和輸入圖像在輪廓信息上保持一致性.

WCGAN 中的辨別器和CycleGAN 中辨別器保持一致,為70×70 的PathGANs[18].其輸入為圖像,通過卷積網絡提取圖像中的關鍵特征,輸出為1 維單變量,表示圖像是通過生成器生成還是真實色域圖像.

2.2 基于WCGAN 的顏色校正算法流程

本文提出的基于WCGAN 的泡沫圖像顏色校正算法的主要步驟如下:

步驟 1.訓練集準備.準備未知光照泡沫圖像數據X并選擇某特定光照下的泡沫圖像組成基準圖像集Y.

步驟 2.隨機初始化WCGAN 所需的兩個生成器G和F,以及判別器D1,D2的網絡參數,設置迭代次數n,RMSProp 優化算法的學習率α等參數.

步驟 3.對D1,D2進行預訓練.利用RMSProp優化算法對式(13)和式(15)所描述的判別器D1,D2進行優化求解,使得D1(y)=1,D1(G(x))=0,D2(F(y))=0,D2(x)=1,其具體計算為

2.3 復雜度分析

WCGAN 基于全卷積深度神經網絡,其訓練過程需要經過兩個生成器和兩個判別器模塊,并且需要反向迭代修改.而測試(實際工業校正)則只需生成器G將非恒定光源圖像轉為恒定光照情況下的圖片即可.

WCGAN 的網絡計算時間復雜度為

其中,D為卷積網絡深度,Cl為l層卷積核個數,K為卷積核的邊長,M為卷積核輸出特征圖邊長,其由輸入矩陣尺寸X、卷積核尺寸K、邊界填充P、步長S決定,其具體計算式為

WCGAN 的空間復雜度為

空間復雜度即訪存量,只與總參數量以及輸出特征圖有關,與輸入數據大小無關.由式(20)和式(22)可計算出本文算法在訓練集上的時間復雜度為175 GFLOPs,空間復雜度為141 MB.而在測試集上,本算法時間復雜度為36 GFLOPs,空間復雜度為30 MB.

因此,本文提出的泡沫圖像顏色校正方法在結構上去除了傳統深度卷積神經網絡的池化層以及全連接層,無論是訓練還是測試都要比傳統的GAN網絡具有更快的表現.根據Roof-line 模型理論[25]該算法在1080Ti 的GPU 環境下其測試能保證ms級的圖像處理速度,從而實現工業現場的實時圖像校正.

3 實驗驗證

為驗證本文所提方法的有效性,首先在兩個公共顏色恒常數據集上進行顏色校正驗證和對比性實驗.然后,在一實際的工業鋁土礦浮選過程,通過收集相應的礦物浮選泡沫圖像數據和相應的冶金過程參量和工藝指標參量,分析并對比該段時間內所采集泡沫圖像的原始顏色特征和經恒常處理后的顏色特征與其對應精礦品位之間的相關性,驗證所提方法的有效性.

3.1 標準數據集驗證

選用兩大公共顏色恒常數據集Gehler-Shi 568data[26]和SFU 321 labimages[27]進行實驗驗證.

數據集Gehler-Shi 568 data 收集了568 幅RAW 格式的室內/室外圖像,并在每一個場景上放了一個色彩檢驗圖,用以測試光源和動態范圍,其中real_illum_568.mat 文件記錄了真實光照情況,因此可以計算出正常光照下的圖像作為基準數據.

數據集SFU 321 lab images 則是在11 種光源下拍攝的31 幅實驗環境圖像,去除了20 幅不規則圖像,其中包含三種不同的熒光燈、四種白熾燈和一種加了藍色濾片的4 個白熾燈圖.本文選擇一種與日光接近的白熾燈圖作為基準數據,其他圖像作為待矯正的圖像數據.

本文實驗對以下兩類算法進行性能對比: 1)傳統的基于統計量的經典顏色恒常性算法,包括:MAX-RGB[28],Gray-World[29],Gray-Edge[30],White-Patch[31];2)當前的基于機器學習的顏色恒常算法,包括: 全卷積神經網絡(FC4[13])、原始的CycleGAN[18]和WD+CycleGAN,即原始的CycleGAN 結構,但采用Wasserstein 距離對其對抗損失進行修正的模型.

本文實驗在i7-8750h CPU、GTX1080-Ti GPU、16 GB RAM 硬件上進行訓練和測試.

3.1.1 評價指標

本文引入角度誤差和色度誤差這兩個顏色相關指標來客觀評價顏色校正的準確度,同時采用結構相似性(Structural similarity,SSIM)[32]標準來衡量基于深度學習的顏色轉換模型對圖像輪廓、紋理等結構特征的保持度.

1)角度誤差

假設圖像的真實光照為ea=(Ra,Ga,Ba),算法估計得到的光照值為eb=(Rb,Gb,Bb),角度誤差Ea定義為

其中,a rccos 表示反余弦函數,“·”表示兩個向量的內積運算.

角度誤差Ea越小說明算法精確度越高.假設共有N幅測試圖像,其中第i幅圖像的角度誤差為Ea(i),本文采用N個角度誤差值的平均值(Mean)、最大值(Max)、均方根(Root mean square,RMS)作為角度誤差評定的3 個指標.其中,均方根RMS定義為

2)色度誤差

除了角度誤差外,色度誤差也是顏色恒常性計算模型的一個重要評價指標.為了消除顏色強度的影響,可將顏色從 (R,G,B) 空間投影到平面R+G+B=1上,從而得到一種光照強度歸一化后的色度空間 (r,g,b).

由于色度b屬于冗余的信息b=1-r-g,因此一般采用 (r,g)二維的色度值.假設圖像的真實光照色度值ca=(ra,ga),算法估計得到的光照色度值為cb=(rb,gb),那么色度的歐氏距離將作為色度誤差Ed,即

類似于角度誤差,通過計算N幀測試集的色度誤差中值(Median)、最大值(Max) 以及均方根(RMS),作為色度誤差評判的指標.

3) SSIM

結構相似性(SSIM)是一種衡量兩幅圖像相似度的指標,其表達式為

其中,uX和uY為圖像X和Y的均值,σX和σY為圖像X和Y的方差,σXY為圖像X與Y的協方差,C1,C2為常數,防止分母為零,SSIM 值越接近1 則相似度越高.本文通過計算n幀測試集的均值作為SSIM 評判的指標.

3.1.2 結構及分析

圖4 顯示了部分測試圖像的顏色恒常校正效果,圖中的右下角數值為校正后的顏色特征與真實顏色特征的角度誤差,右上角度數為校正圖像與原圖像的結構相似度.

從圖4 的顏色校正視覺結果來看,WCGAN 能很好地將色偏圖像轉換到基準色域上.相比于另外6 個顏色校正方法,所獲得的結果更符合人類視覺的感知.原始的CycleGAN 因其損失函數存在的梯度消失問題容易導致模型坍塌收斂速度慢,圖像轉換時容易出現模糊、色塊等問題.WD+CycleGAN雖然在一定程度上減少了校正圖像中的模糊、色塊的存在,但其在顏色校正精度和結構保持上與本文的WCGAN 有較大的差距.

為了進一步客觀評估顏色恒常算法的優劣,采用10 折交叉驗證,計算客觀評價指標角度誤差、色度誤差和SSIM 的平均值等統計量來進行對比.

表1 和表2 列出了顏色恒常算法在數據集Gehler-Shi 568 data 上的結果.從中可以看出,WCGAN角度誤差的均值與均方根值最小,雖然在最大值上并非最好,但與最優的Gray-Edge 算法只相差0.1.總體來說,WCGAN 生成的圖像是最接近標準光照圖像的.相比于其他方法,WCGAN 更能適應于不同光照條件下的顏色恒常,并且在校正時間上也是最快的.

表1 基于統計量的顏色恒常方法在Gehler-Shi 568 data 上的對比結果Table 1 Comparison of statistics-based color constancy methods on Gehler-Shi 568 data

表2 基于機器學習的顏色恒常方法在Gehler-Shi 568 data 上的對比結果Table 2 Comparison of machine learning-based color constancy methods on Gehler-Shi 568 data

從色度誤差上看,MAX-RGB 算法結果最差,其他算法接近.但從均值、最大值和RMS 上來看,WCGAN顏色誤差更小,更加穩定.結合圖4 的顏色校正結果,也能直觀看出,WCGAN 生成的圖像顏色恒常結果是最符合人類視覺的顏色恒常感知的.

圖4 圖像顏色校正結果Fig.4 Image color correction results

在基于深度學習模型的顏色恒常算法中,WCGAN的SSIM 值最大,證明其在顏色轉換的同時對原圖像的輪廓結構保存度高.能有效地保證其紋理特征等結構信息不變.

在數據集SFU 321 lab images 上的結果如表3和表4 所示.相比較Gehler-Shi 568 數據集,SFU 321 lab images 更加輕量級,且色偏種類多分布規律,因此無論是在色度誤差、角度誤差、SSIM 還是校正時長上,WCGAN 都有更好的表現,且與傳統的基于統計以及基于機器學習的顏色恒常方法相比較,WCGAN依然具有極大的優勢.

表3 基于統計量的顏色恒常方法在SFU 321 lab images 上的對比結果Table 3 Comparison of statistics-based color constancy methods on SFU 321 lab images

表4 基于機器學習的顏色恒常方法在SFU 321 lab images 上的對比結果Table 4 Comparison of machine learning-based color constancy methods on SFU 321 lab images

雖然在兩個數據集上WCGAN 的訓練時長因其結構的復雜性而耗時較多,但在實際的工業過程中,轉換僅需要其中的一個生成器,因此能很好的滿足工業過程中的實時監測.同時其在線更新機制考慮到視頻流臨近幀節的圖像相似度高,因此可采用跨幀圖像用于訓練.以保證訓練速度不影響WCGAN 的轉換效率.

3.2 鋁土礦浮選過程工業驗證

在某工業鋁土礦浮選現場搭建機器視覺監測系統,對于各種未知光照下的色偏泡沫圖像采用本文所提出的WCGAN 模型進行顏色恒常處理,對恒常處理后的泡沫圖像進行顏色特征提取,并用于最終精礦品位監測.

3.2.1 工業鋁土礦浮選過程描述

該鋁土礦浮選工藝流程如圖5 所示,其目標是將入礦品位鋁硅比(A/S) (5 左右)提高至少1 倍.很明顯,鋁土礦浮選回路是一個包含多個子回路的連續的復雜工業過程.

圖5 鋁土礦浮選回路Fig.5 Bauxite flotation circuit

該選廠的浮選回路包括粗選、精選(包括精選I 和精選II)、掃選(包括粗掃和精掃)等3 個基本子過程.其中,粗選泡沫被送入精選I 進行再一步的浮選,以提高浮選品位: 粗選的底流被泵入粗掃槽,以再一次回收粗選中未被浮選出來的礦物粒子: 粗掃的產品——粗選泡沫被送入粗選再處理,粗掃的底流作為尾礦排出.精選I 的泡沫層被送入精選II子過程,精選II 最終的精選泡沫經過濃密、烘干等一系列的后續處理作為浮選過程的氧化鋁選礦產品.精選I 的底流被送入精掃,以進一步回收未被回收的礦物粒子;而精掃的礦漿底流作為尾礦被排出.

本文將機器視覺引入到過程監測中.為實現整個浮選流程的監控.經對現場流程的細致分析,在粗選首槽、粗掃末槽、精選II 首槽分別安裝了泡沫圖像采集設備(設備安裝位置如圖5 所示),分別用來監視浮選過程的給礦、尾礦、精礦的性質,實現整個浮選回路的全流程在線監控.

由于精選II 的泡沫層被回收后將作為最終的精礦,精選II 尾槽中的泡沫顏色與最終的精礦品位(A/S)直接相關.因此,本文重點關注該浮選槽泡沫顏色與選礦指標(A/S)間的關系.

3.2.2 鋁土礦泡沫圖像顏色校正

在實驗中,先選定某一特定光照條件下的圖像作為基準光照下的泡沫圖像,采用WCGAN 進行泡沫圖像顏色恒常模型學習,將訓練好的WCGAN用于實際工業鋁土礦浮選的泡沫圖像校正,以其能將任意未知光照下泡沫圖像轉換到該基準光照下進行顏色顯示.圖6 顯示了實驗中所選用的基準光照泡沫圖像及其對應的CIELab 顏色空間的直方圖分布.

圖6 基準光照泡沫圖像及其Lab 顏色分布Fig.6 Reference light froth image and its Lab color distribution

圖7 顯示了5 幀帶有明顯色偏的泡沫圖像采用WCGAN 以及CycleGAN、FC4 進行顏色校正后的視覺效果,以及Lab 顏色空間分布圖,圖像中的右下角數值為校正圖像與原圖像的結構相似度,每個曲線圖的橫坐標表示 L,a,b 顏色通道值,縱坐標表示頻率.

圖7 浮選泡沫圖像顏色校正結果Fig.7 Color correction result of flotation froth image

WCGAN 校正后,泡沫圖像的幾何輪廓信息和表面紋理信息基本保持不變,而泡沫圖像的顏色具有明顯的基準色域顏色特征;而未改進的CycleGAN 與FullCovNet 算法的校正圖像,雖然在顏色分布上與基準光照圖較為接近.但其結構相似度較小.難以保證校正后的圖像其輪廓等信息不變.

3.2.3 泡沫顏色特征與過程參量間的相關性

本文進一步提取泡沫顏色的數字特征以分析泡沫顏色與生產指標間的關系.由于HSV 與CIE Lab 等顏色空間更符合人類視覺的感知特性,除了提取泡沫圖像的RGB 顏色特征,還將泡沫圖像轉換到HSV 與CIE Lab 顏色空間上,提取了R,G,H,S,a,b 這6 個通道上的數字特征.其中,R 和G通道為歸一化的通道,計算方式為R=R/(R+G+B),G=G/(R+G+B).原始的H 通道,取值范圍為 [ 0°,360°],隨著取值的增大,代表從紅色、黃色、綠色、青色、藍色、品紅再回到紅色,即 H 為 0°或者 360° 時表示最紅.因此,將H 通道顏色值,調整為H=|H -180|/180,用來計算該顏色值的相對紅色程度.

然后,本文分別計算了這6 個顏色通道上的均值、標準差、偏度、峰度這4 個統計量,對每幀圖像共獲得24 維統計量組成對應圖像的顏色特征向量.

圖8 顯示對比了部分泡沫顏色特征與精礦品位間的相關性.從中可以看出,經WCGAN 模型校正后的精礦(精選II 尾槽)泡沫顏色特征與精礦品位有較明顯的相關性.

圖8 泡沫圖像顏色特征與A/S 間相關性 ((a1)和(a2)分別代表校正后和校正前H 均值與A/S 間的相關性;(b1)和(b2)分別代表校正后和校正前a 通道的標準差與A/S 的相關性;(c1)和(c2)分別代表校正后和校正前的歸一化R 通道均值與A/S 之間的相關性)Fig.8 The correlation between color characteristics of froth images and A/S ((a1) and (a2) represent the correlation between H-means and A/S after correction and before correction;(b1) and (b2) represent the correlation between standard deviation of a-channel and A/S after correction and before correction;(c1) and (c2) represent the correlation between normalized R-channel mean and A/S after correction and before correction,respectively)

從圖8(a1)中可以看出,精礦品位(A/S)有隨著(修改后的) H 通道均值上升而上升的趨勢,并且該趨勢在H 通道均值較小時候,A/S 上升迅速,當H 均值大于某個值后,A/S 變化比較平緩.該特性與修改后的R 通道均值與A/S 之間的相關性有類似的變化趨勢(如圖8(c1)所示),其原因是本文所提取的H 通道特征值與R 通道特征值均是用來表征泡沫圖像的紅色強度的,因而這兩個通道上的特征量與A/S 的相關性具有基本相同的變化趨勢.而圖像a 通道顏色標準差與A/S 的變化趨勢則恰好相反(如圖8(b1)所示),也就是隨著a 通道顏色標準差的增大,A/S 有下降的變化趨勢.

而原始的未校正的泡沫圖像顏色特征因光照的影響,色偏嚴重,所提取的顏色特征缺乏魯棒性,因而無法有效體現其與精礦品位之間的相關性(如圖8(a2)、圖8(b2)和圖8(c2)所示).

因此,由于本文所提出的WCGAN 能將各種未知光照下的泡沫圖像轉換到基準光照下的色域顯示,因而可以獲得能直接反映精礦品位變化或者工況變化的泡沫圖像顏色特征參量.進而基于泡沫顏色特征與A/S 相關性,有望實現生產工況或者A/S的在線監測.

3.2.4 基于泡沫顏色的精礦品位監測

在鋁土礦浮選過程中,精礦品位(A/S)目前還無法實現在線檢測,一般只能依靠離線采樣和實驗室化驗.實驗室檢測方法耗時耗力,一般一天只能獲得1 個或2 個檢測值.因此,常因精礦品位在線監測值的缺失,無法實現生產工況的有效評估,也就是難以及時對生產做出有效的操作調整,以保證生產的穩態優化運行.

在實驗中,本文連續收集了28 天的鋁土礦浮選過程參量數據,包括各種工況狀態下的未知光照條件下的泡沫圖像和對應的冶金過程參量以及人工采樣化驗的精礦品位數據.每天人工采集精礦樣品并化驗A/S 數據8 條,再加上去除現場設備故障整修時段數據,共獲得201 條有效的人工化驗的A/S數據.隨機選擇其中的120 條用于模型訓練,剩余的用作模型測試.

基于所獲取的泡沫圖像顏色特征,采用經典的回歸分析模型對精礦品位(A/S)進行預測.實驗中采用的回歸分析模型主要包括兩種,即高斯混合回歸(Gaussian mixture regression,GMR)模型[36],最小二乘支持向量機(Least square — support vector machines,LS-SVM)模型對精礦品位進行預測.由于所提取的24 維顏色特征具有較大的冗余性,在實驗中,采用主成分分析方法(Principal component analysis,PCA)進行維數約簡,最終獲得基于PCA 降維的14 維約簡特征,進行精礦品位預測.圖9 顯示了基于泡沫顏色特征的鋁土礦精礦品位(A/S)的預測結果.

從圖9 中可以看出,A/S 的預測結果與實際檢測結果基本一致.該結果表明,本文所提出的WCGAN模型可以獲得有效的反映精礦品位變化的泡沫顏色特征,因而,基于所獲得的顏色特征可實現精礦品位的在線監測.

4 結束語

在基于機器視覺的礦物浮選過程監測中,泡沫圖像信號因受多種可變光照的交叉干擾而不可避免存在嚴重色偏.本文提出了一種基于WCGAN 泡沫圖像顏色校正方法.WCGAN 通過學習基準色域的泡沫圖像與真實工況環境下的泡沫圖像色域的映射關系,可以將各種未知光照條件下的泡沫圖像轉換到基準色域下顏色顯示,進而獲得不受光照影響的泡沫顏色特征.

在實際的鋁土礦浮選過程中進行了工業驗證,結果表明,所提方法能在進行泡沫圖像顏色校正的同時,有效保持圖像的幾何輪廓和表面紋理特性.進而,基于基準光照下的校正泡沫圖像顏色特征,能實現鋁土礦浮選過程精礦品位有效預測,為基于機器視覺的礦物浮選過程的自動化監測提供了技術支撐.

下一步的工作是結合本文所提出的光照不變泡沫顏色特征提取方法融合泡沫圖像其他視覺特征(如表面紋理、幾何輪廓特征)和冶金過程參量(如流量、礦漿濃度、細度、p H 值),實現礦物浮選過程工況的準確鑒別和精礦品位的在線監測,根據精礦品位或者工況的變化情況提出相應的過程加藥量優化設定方法,保證浮選過程的穩定優化運行,為提高選礦產品質量和降低礦物資源消耗奠定基礎.