工業(yè)相機(jī)過曝光自適應(yīng)優(yōu)化控制算法

吳文麟，廖曉波，*，李俊忠，周軍，莊健

（1.西南科技大學(xué) 制造學(xué)院，制造過程測(cè)試技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，四川 綿陽(yáng) 621010；2.西安交通大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710049）

1 引言

隨著制造業(yè)的不斷發(fā)展，工業(yè)視覺系統(tǒng)的應(yīng)用越來越廣泛。例如，在高精密激光加工時(shí)常需要對(duì)加工工件進(jìn)行動(dòng)態(tài)的觀測(cè)，以便更好地調(diào)整加工參數(shù)和確定工件加工質(zhì)量［1］。但類如激光加工等工業(yè)場(chǎng)景具有亮度高且突變性強(qiáng)的特點(diǎn)，工業(yè)相機(jī)往往無法在這種環(huán)境中清晰成像，獲得較好的觀測(cè)數(shù)據(jù)。目前在工業(yè)環(huán)境中工業(yè)相機(jī)常用的曝光方法分為基于硬件的自動(dòng)曝光方法和基于圖像的自適應(yīng)曝光算法。基于相機(jī)硬件的自動(dòng)曝光算法通過感光元件和硬件電路的配合設(shè)計(jì)在一定程度上可以解決成像問題［2］，但是受限于調(diào)節(jié)所涉硬件的調(diào)節(jié)范圍，環(huán)境亮度一旦超過調(diào)節(jié)范圍即失去調(diào)節(jié)能力，無法完全適應(yīng)高亮突變環(huán)境。基于圖像的自適應(yīng)曝光算法主要包括全局和局部的亮度均值算法、直方圖算法、圖像信息熵算法和深度學(xué)習(xí)算法等［3］。李文濤等人［4］提出一種圖像直方圖與相機(jī)曝光時(shí)間相結(jié)合的方法進(jìn)行過度曝光自適應(yīng)調(diào)節(jié)，但其對(duì)全圖進(jìn)行直方圖估計(jì)，運(yùn)算速度較慢，且線性調(diào)節(jié)方式具有較大的局限性。汪錦航等人［5］通過坐標(biāo)映射關(guān)系自適應(yīng)調(diào)整圖案亮度，從而解決亮度過大或亮度不足的問題，但是這種方法無法處理區(qū)域性亮度不足，適應(yīng)性較低。Kataoka 等人［6］利用最大化全圖熵的方法確定曝光時(shí)間，對(duì)圖像中明暗較為突出的區(qū)域采用分塊的方法估計(jì)區(qū)域圖像熵，從而抑制高光溢出和陰影遮擋的影響。這種方法雖然針對(duì)全圖進(jìn)行模塊化自適應(yīng)，但是圖像熵的計(jì)算量較大，分塊計(jì)算后的調(diào)節(jié)時(shí)間較慢。Que 等人［7］提出一種多重曝光融合方法，將全局和局部亮度分量通過權(quán)重聯(lián)合起來，同時(shí)利用一種多尺度邊緣保持平滑模型對(duì)多重曝光的圖像進(jìn)行融合擬合，實(shí)現(xiàn)了較大范圍的自適應(yīng)曝光。但是這種方法存在擬合誤差，且成像需多幅圖像，有效目標(biāo)成像速度較慢。

針對(duì)上述問題，本文提出了一種改進(jìn)的工業(yè)相機(jī)曝光自適應(yīng)控制方法。算法實(shí)時(shí)計(jì)算預(yù)設(shè)區(qū)域的平均加權(quán)灰度值，通過反饋調(diào)節(jié)方法計(jì)算曝光值，并將其作為當(dāng)前曝光值控制相機(jī)曝光時(shí)長(zhǎng)，同時(shí)利用基于改進(jìn)“S”曲線的參數(shù)控制優(yōu)化方法，對(duì)反饋調(diào)節(jié)方法內(nèi)部參數(shù)進(jìn)行優(yōu)化控制，由上過程不斷迭代直至達(dá)到預(yù)設(shè)的理想清晰化曝光水平。

2 區(qū)域加權(quán)平均灰度值計(jì)算方法

傳統(tǒng)圖像的環(huán)境亮度采集和評(píng)估指標(biāo)有平均灰度和圖像亮度直方圖等方法［8］。考慮到圖像亮度直方圖需要對(duì)全圖亮度進(jìn)行統(tǒng)計(jì)并全排列，涉及到的變量較多，計(jì)算量較大，計(jì)算速度較慢［9］。本文從時(shí)效性出發(fā)，選擇了使用平均灰度作為采集和環(huán)境亮度評(píng)價(jià)指標(biāo)，設(shè)計(jì)了一種區(qū)域平均灰度加權(quán)算法。

圖1 區(qū)域劃分示意圖Fig.1 Area division

由相機(jī)成像的特征可知，高亮目標(biāo)往往在發(fā)光中心區(qū)域的亮度最高，亮度跟隨距離依次衰減。結(jié)合工業(yè)相機(jī)中心對(duì)焦的特性，越靠近中心區(qū)域的像素值對(duì)整體算法的計(jì)算影響越大。因此本文算法將整體圖像劃分為6 個(gè)區(qū)域，即主級(jí)區(qū)域（圖1 中藍(lán)色區(qū)域a）、4 個(gè)次級(jí)區(qū)域（圖1 中紅色區(qū)域b，c，d，e）和其他區(qū)域（圖1 中白色區(qū)域f）。算法進(jìn)行計(jì)算時(shí)只選擇主級(jí)區(qū)域a 和次級(jí)區(qū)域b，c，d，e 進(jìn)行灰度計(jì)算，其他區(qū)域不參與計(jì)算，由此設(shè)計(jì)可拋棄無效運(yùn)算，提高計(jì)算速度（彩圖見期刊電子版）。

根據(jù)計(jì)算區(qū)域設(shè)置方式，圖像的平均區(qū)域灰度加權(quán)值見式（1）：

其中：pz為圖像區(qū)域平均灰度加權(quán)值；Pa為主級(jí)區(qū)域總灰度值；Pb，Pc，Pd，Pe為次級(jí)區(qū)域總灰度值；Sa，Sb為主級(jí)區(qū)域和次級(jí)區(qū)域像素面積；μ1為主級(jí)區(qū)域的權(quán)重值；μ2為次級(jí)區(qū)域的權(quán)重值。

為了更好地突出中心區(qū)域在計(jì)算中的權(quán)重，結(jié)合上述區(qū)域關(guān)系，設(shè)計(jì)權(quán)重μ1=0.6，μ2=0.1，設(shè)計(jì)中心區(qū)域邊長(zhǎng)與四周區(qū)域的邊長(zhǎng)比例4∶1，即Sa∶Sb=16∶1。

3 改進(jìn)“S”曲線的參數(shù)控制優(yōu)化方法

傳統(tǒng)的反饋控制調(diào)節(jié)方法因其整定簡(jiǎn)便，結(jié)構(gòu)靈活，在控制領(lǐng)域的應(yīng)用極為廣泛，其中較為突出的就是PID（Propotion Integration Differentiation）控制方法。其方法通過比例、積分、微分環(huán)節(jié)對(duì)目標(biāo)實(shí)現(xiàn)反饋控制，在參數(shù)不變的情況下可達(dá)到較高的調(diào)節(jié)精度［10］。但是在非線性且時(shí)變性較強(qiáng)的環(huán)境中，固定參數(shù)的PID 反饋調(diào)節(jié)方法存在一定的局限性［11］。針對(duì)可變環(huán)境，為了提高PID 控制算法的魯棒性，目前較為常用的為模糊PID 反饋調(diào)節(jié)算法，其利用專家經(jīng)驗(yàn)制定控制規(guī)則，通過模糊化的參數(shù)整定和解模糊算法對(duì)PID參數(shù)進(jìn)行控制［12］。但是受限于整定方式和模糊控制規(guī)則，時(shí)常出現(xiàn)“模糊規(guī)則爆炸”等情況［13］。本文提出一種基于區(qū)域化誤差閾值的自適應(yīng)反饋參數(shù)調(diào)節(jié)方法，通過誤差整定、調(diào)節(jié)系數(shù)計(jì)算和實(shí)時(shí)調(diào)節(jié)的方法對(duì)反饋調(diào)節(jié)中的PID 內(nèi)部參數(shù)進(jìn)行控制，極大地降低了超調(diào)出現(xiàn)的可能性，且適應(yīng)性較強(qiáng)。

本文提出的反饋參數(shù)調(diào)節(jié)方法的輸入?yún)?shù)為反饋調(diào)節(jié)的計(jì)算值與設(shè)定理論值的誤差E，通過如式（2）進(jìn)行歸一化運(yùn)算：

中國(guó)人民銀行南京分行營(yíng)業(yè)管理部課題組則完成了對(duì)金融支持PPP模式的路徑與投資策略的研究。該課題組首先總結(jié)了我國(guó)PPP項(xiàng)目的基本情況，在借鑒國(guó)際經(jīng)驗(yàn)的基礎(chǔ)上，以南京地區(qū)為例分析金融支持PPP模式的意愿、路徑及制約因素，采用凈現(xiàn)值法構(gòu)造了項(xiàng)目?jī)r(jià)值模型，對(duì)金融支持PPP模式的投資策略進(jìn)行了研究并提出政策建議［9］。

將誤差E帶入公式計(jì)算得到當(dāng)前反饋參數(shù)計(jì)算情況下的歸一化系數(shù)θ，如式（3）所示：

歸一化系數(shù)θ用于參數(shù)控制的區(qū)域化閾值評(píng)價(jià)體系，如圖2 所示。

圖2 區(qū)域化閾值評(píng)價(jià)體系示意圖Fig.2 Regionalized threshold evaluation system

其中區(qū)域依據(jù)自主設(shè)定的E1，E2，E3劃分區(qū)域控制參數(shù)死區(qū)、I 調(diào)節(jié)區(qū)、D 調(diào)節(jié)區(qū)和P 調(diào)節(jié)區(qū)。控制參數(shù)死區(qū)范圍即參數(shù)優(yōu)化完成區(qū)域，P 區(qū)、D區(qū)、I 區(qū)分別為對(duì)應(yīng)反饋調(diào)節(jié)參數(shù)的調(diào)節(jié)區(qū)域。由于改進(jìn)后的“S”曲線在E=0 處的斜率最大，且在E=0 附近可近似看作線性函數(shù)，考慮調(diào)節(jié)的速度和穩(wěn)定性，設(shè)定E3=2E2，E1為零點(diǎn)附近值，根據(jù)經(jīng)驗(yàn)設(shè)定E1∈[0.05，0.1]。當(dāng)計(jì)算誤差落入相應(yīng)區(qū)域時(shí)，算法通過歸一化系數(shù)θ計(jì)算得到用于參數(shù)調(diào)節(jié)的參數(shù)控制系數(shù)φ，其計(jì)算公式如公式（4）所示：

若為P 區(qū)范圍，如式（5）：

此時(shí)反饋調(diào)節(jié)中的參數(shù)D、參數(shù)I為0。

若為D 區(qū)范圍，如式（6）所示：

若為I 區(qū)范圍，則調(diào)整反饋調(diào)節(jié)中的參數(shù)I為e-15，其他參數(shù)不變。

計(jì)算得到的參數(shù)控制系數(shù)φ通過如公式（7）所示計(jì)算得到調(diào)整后的參數(shù)值。

計(jì)算后的參數(shù)作為下一次反饋調(diào)節(jié)參數(shù)參與調(diào)節(jié)。由上過程往復(fù)進(jìn)行，直至歸一化系數(shù)θ位于死區(qū)范圍，即認(rèn)定其參數(shù)自適應(yīng)完成，停止參數(shù)調(diào)整。

4 成像評(píng)價(jià)與實(shí)驗(yàn)測(cè)試

4.1 成像評(píng)價(jià)標(biāo)準(zhǔn)

目前常用的圖像質(zhì)量評(píng)價(jià)方法有最小可分辨率對(duì)比度、調(diào)制傳遞函數(shù)、對(duì)比度信噪比等方法［14］。為了更好地評(píng)價(jià)本文所述算法的性能與可行性，本文采用Laplacian 清晰度標(biāo)準(zhǔn)作為評(píng)價(jià)標(biāo)準(zhǔn)。本文選擇了Laplacian 梯度函數(shù)作為本文圖像評(píng)價(jià)算法的主要計(jì)算函數(shù)。Laplacian 梯度函數(shù)基于Laplacian 算子，計(jì)算X和Y方向上的梯度值，之后進(jìn)行累加計(jì)算，見式（8）和式（9）：

其中：DLap（f） 為圖像（x，y）點(diǎn)的Laplacian 值，G（x，y）為圖像X，Y方向梯度權(quán)值。

利用Laplacian 算子計(jì)算后得到原圖像的Laplacian 轉(zhuǎn)換圖像，此時(shí)圖像像素值即為經(jīng)過計(jì)算后的Laplacian 值。根據(jù)所得到的Laplacian 轉(zhuǎn)換圖像計(jì)算其標(biāo)準(zhǔn)差值，并利用該標(biāo)準(zhǔn)差值對(duì)曝光調(diào)節(jié)的質(zhì)量進(jìn)行評(píng)價(jià)，標(biāo)準(zhǔn)差值越大進(jìn)而說明圖像像素值分布分散，圖像質(zhì)量越高。圖像的標(biāo)準(zhǔn)差即距離圖像均差平方的算術(shù)平均數(shù)的算術(shù)平方根，可以反映圖像像素值與圖像像素均值的離散程度，進(jìn)一步反映了圖像的成像質(zhì)量［15-17］。經(jīng)過Laplacian 轉(zhuǎn)換后的圖像梯度明顯，使用標(biāo)準(zhǔn)差可有效反映圖像的清晰程度和有效信息量，有利于對(duì)成像后的圖像質(zhì)量進(jìn)行評(píng)估。

4.2 實(shí)驗(yàn)平臺(tái)搭建

本文所述算法運(yùn)算平臺(tái)使用移動(dòng)版PC，處理器為Intel I8-8750H，顯卡為NVIDIA GeForce 1050，內(nèi)存為16 GB。圖像采樣設(shè)備使用海康工業(yè)相機(jī)MV-CA020-10UC 搭配海康威視MVLHF0804M-10MP 定焦鏡頭。海康工業(yè)相機(jī)MVCA020-10UC 為200 萬(wàn)像素的CMOS 工業(yè)面陣相機(jī)，兼容USB3 Vision 協(xié)議。圖像采集對(duì)象為可調(diào)節(jié)100 W 白熾燈，并使用工業(yè)圖像采集臺(tái)（如圖3 所示）進(jìn)行相關(guān)實(shí)驗(yàn)。亮度測(cè)量設(shè)備采用希瑪AS803 亮度檢測(cè)儀。在軟件方面，本文所述算法基于C++開發(fā)，使用海康工業(yè)相機(jī)SDK 進(jìn)行相機(jī)硬件調(diào)用與控制，使用OpenCV（版本4.5.1）開源視覺軟件庫(kù)進(jìn)行圖像處理。

圖3 本文算法實(shí)驗(yàn)平臺(tái)示意圖Fig.3 Experimental platform for algorithms

4.3 實(shí)驗(yàn)測(cè)試數(shù)據(jù)

為驗(yàn)證算法有效性，本文以可調(diào)為對(duì)象使用實(shí)驗(yàn)平臺(tái)設(shè)計(jì)實(shí)驗(yàn)，獲得實(shí)際環(huán)境中的曝光值控制曲線，并對(duì)其進(jìn)行分析。同時(shí)，本文設(shè)置了對(duì)比實(shí)驗(yàn)。使用工業(yè)相機(jī)硬件自動(dòng)曝光算法、圖像直方圖法作為對(duì)比實(shí)驗(yàn)方法進(jìn)行實(shí)驗(yàn)。通過不同方法計(jì)算數(shù)值分別調(diào)節(jié)曝光值，計(jì)算每幀圖像的Laplacian 轉(zhuǎn)換圖像的標(biāo)準(zhǔn)差值，之后與本文所述算法進(jìn)行對(duì)比，得出結(jié)論。

4.3.1 基于本文算法的曝光控制實(shí)驗(yàn)

為了驗(yàn)證算法的曝光控制性能，本文設(shè)置了實(shí)際環(huán)境下的曝光控制實(shí)驗(yàn)，以可調(diào)節(jié)亮度的白熾燈作為實(shí)驗(yàn)的高亮發(fā)光對(duì)象，并通過設(shè)定區(qū)域平均加權(quán)灰度值pz的上下閾值控制整體調(diào)節(jié)算法是否介入。針對(duì)圖像過曝，在實(shí)驗(yàn)設(shè)置的初始曝光為8 000，設(shè)定的pz上閾值為115 pix，下閾值為 25 pix，調(diào)節(jié)區(qū)劃分E1=0.1，E2=10，E3=20。在實(shí)驗(yàn)中白熾燈亮度逐漸增大，直至最高亮度，采集計(jì)算曝光值，獲得曝光控制響應(yīng)曲線，如圖4 所示。之后以相同的參數(shù)設(shè)定進(jìn)行5 次重復(fù)實(shí)驗(yàn)，如表1 所示，其中調(diào)節(jié)時(shí)間為計(jì)算從開始進(jìn)入調(diào)節(jié)過程到進(jìn)入死區(qū)時(shí)的時(shí)間。

由圖4 可知，在初始階段，相機(jī)根據(jù)設(shè)定的初始曝光值8 000 進(jìn)行成像。隨著白熾燈亮度逐漸增大，超過了設(shè)定的區(qū)域加權(quán)灰度值的上閾值，算法開始介入并對(duì)相機(jī)曝光進(jìn)行控制，經(jīng)過0.08 s 后誤差落入死區(qū)中，曝光調(diào)節(jié)和參數(shù)調(diào)整停止并按照落入死區(qū)時(shí)的計(jì)算曝光值進(jìn)行成像。由上可知，算法控制效果較為明顯，超調(diào)量較小，并能以較快速度完成收斂過程。

經(jīng)過上述參數(shù)設(shè)定進(jìn)行重復(fù)實(shí)驗(yàn)，如表1 所示，本文所述算法的調(diào)節(jié)時(shí)間較為穩(wěn)定，平均調(diào)節(jié)時(shí)間為0.08 s，調(diào)節(jié)速度較快。

表1 曝光控制參數(shù)實(shí)驗(yàn)數(shù)據(jù)表Tab.1 Exposure control parameters experimental data

4.3.2 本文算法與相機(jī)硬件自動(dòng)曝光方法對(duì)比實(shí)驗(yàn)

工業(yè)相機(jī)自動(dòng)曝光采用硬件調(diào)節(jié)，即使用相機(jī)自身感光器件通過像素陣列的數(shù)字控制和預(yù)處理電路進(jìn)行曝光控制［2］，達(dá)到清晰化處理。本實(shí)驗(yàn)采用海康威視工業(yè)相機(jī)自身的自動(dòng)曝光功能控制，進(jìn)行相應(yīng)對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中的相機(jī)成像圖如圖5 所示。

實(shí)驗(yàn)計(jì)算數(shù)據(jù)見表1 所示。根據(jù)上述實(shí)驗(yàn)數(shù)據(jù)分析，在同一亮度下，相機(jī)硬件自動(dòng)曝光算法的Laplacian 圖像標(biāo)準(zhǔn)差值較小，說明此時(shí)經(jīng)過Laplacian 算子變化后的圖像亮度分布較為分散，出現(xiàn)同亮的情況，邊緣較不突出，反映出抑制高亮能力較弱。相比較而言，本文算法的Laplacian圖像標(biāo)準(zhǔn)差值較大，說明邊緣突變明顯，圖像中的部分與周圍環(huán)境產(chǎn)生較大的對(duì)比度，反映出算法抑制環(huán)境亮度的能力較強(qiáng)。

圖5 設(shè)置亮度自動(dòng)曝光調(diào)節(jié)對(duì)比圖Fig.5 Comparison with automatic exposure adjustment

表2 與相機(jī)硬件自動(dòng)曝光方法對(duì)比實(shí)驗(yàn)數(shù)據(jù)表Tab.2 Comparison with the camera hardware automatic exposure method

4.3.3 本文算法與基于圖像直方圖特征的曝光調(diào)節(jié)法的對(duì)比實(shí)驗(yàn)

圖像直方圖是對(duì)圖像像素?cái)?shù)據(jù)分布的一種圖形表示方法，其特征可有效表征當(dāng)前圖像的亮度分布和特點(diǎn)。圖像灰度直方圖是灰度級(jí)的函數(shù)，它代表在整個(gè)圖像中灰度值出現(xiàn)的像素個(gè)數(shù)，從一定程度上反映了像素出現(xiàn)的頻率［18］。利用圖像灰度直方圖可以清晰的顯示出圖像中的灰度值分布，從而通過直方圖特征獲得相機(jī)曝光值的近似關(guān)系進(jìn)行調(diào)節(jié)。本次對(duì)比實(shí)驗(yàn)選用圖像直方圖的最大值特征作為曝光調(diào)節(jié)依據(jù)，并采用階梯式調(diào)節(jié)方法，采取的直方圖調(diào)節(jié)方式見表3 所示。

表3 直方圖曝光調(diào)節(jié)策略Tab.3 Histogram exposure adjustment strategy（pix）

實(shí)驗(yàn)中穩(wěn)定調(diào)節(jié)后的相機(jī)采集白熾燈圖像見圖6 所示，實(shí)驗(yàn)對(duì)比計(jì)算數(shù)據(jù)見表4 所示。

圖6 本文算法與直方圖曝光調(diào)節(jié)方法實(shí)驗(yàn)對(duì)比圖Fig.6 Comparison with histogram exposure adjustment

根據(jù)實(shí)驗(yàn)的對(duì)比數(shù)據(jù)可以看出，本文算法調(diào)節(jié)后的Laplacian 圖像標(biāo)準(zhǔn)差值相較于直方圖曝光調(diào)節(jié)方法具有較大的優(yōu)勢(shì)。在同一亮度下，本文算法調(diào)節(jié)后的Laplacian 圖像標(biāo)準(zhǔn)差值較大，說明圖像中具有邊緣較為凸顯的區(qū)域，即算法抑制了高光環(huán)境造成的亮斑和亮塊。

表4 與直方圖曝光調(diào)節(jié)方法的對(duì)比數(shù)據(jù)表Tab.4 Comparison with histogram exposure adjustment method

5 結(jié)論

本文提出了一種工業(yè)相機(jī)過曝光自適應(yīng)控制優(yōu)化算法。算法將區(qū)域平均灰度加權(quán)值作為反映圖像亮度強(qiáng)度標(biāo)準(zhǔn)，通過反饋調(diào)節(jié)方法計(jì)算曝光值，之后通過基于改進(jìn)的“S”曲線對(duì)反饋調(diào)節(jié)的內(nèi)部參數(shù)進(jìn)行優(yōu)化調(diào)節(jié)控制，進(jìn)而實(shí)現(xiàn)對(duì)復(fù)雜環(huán)境的自適應(yīng)曝光調(diào)節(jié)。經(jīng)過實(shí)驗(yàn)論證，算法完成一次全過程調(diào)節(jié)耗時(shí)0.08 s。在同等條件下與相機(jī)硬件自動(dòng)曝光算法和基于圖像直方圖特征的自適應(yīng)曝光算法比較，所提算法的圖像Laplacian 平均標(biāo)準(zhǔn)差分別提高54.3% 和20.6%。在今后的研究中，將進(jìn)一步提高算法控制的平滑性以及更高的自適應(yīng)能力，并將其推廣至更多復(fù)雜環(huán)境中。