基于深度殘差LSTM 的視頻異常行為識(shí)別算法

龔向陽(yáng)，楊躍平，張明達(dá)，王思謹(jǐn)，江炯

（國(guó)網(wǎng)寧波市奉化區(qū)供電公司，浙江寧波 315506）

為保障電力系統(tǒng)的可靠、穩(wěn)定運(yùn)行，在輸電網(wǎng)絡(luò)的定期檢修、故障搶修等運(yùn)維過(guò)程中，需要運(yùn)維人員進(jìn)行登桿作業(yè)[1-2]。目前，運(yùn)維人員登桿作業(yè)主要依賴于登高板、腳扣等輔助工作，依靠人力上下桿塔。隨著人工智能、物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，有學(xué)者研究了自動(dòng)登桿機(jī)器人，其用于輔助運(yùn)維人員開展登桿作業(yè)，具有輕量便攜、性價(jià)比高等優(yōu)點(diǎn)[3-5]。

登桿作業(yè)過(guò)程的安全監(jiān)督主要依賴于第三方人員現(xiàn)場(chǎng)監(jiān)督的方式。若能在自動(dòng)登桿機(jī)器人上安裝視頻圖像采集傳感器，并結(jié)合圖像識(shí)別技術(shù)智能監(jiān)督登桿作業(yè)過(guò)程，這將減少電網(wǎng)運(yùn)維人力資源的投入，大幅降低工作安全風(fēng)險(xiǎn)，提升作業(yè)效率[6-10]。針對(duì)此問(wèn)題，該文將深度殘差網(wǎng)絡(luò)、長(zhǎng)短期記憶網(wǎng)絡(luò)應(yīng)用于智能登桿裝置的安全監(jiān)控系統(tǒng)，實(shí)現(xiàn)異常行為的識(shí)別，進(jìn)一步提高電網(wǎng)運(yùn)維的智能化水平。

1 智能登桿裝置及安全監(jiān)控系統(tǒng)

智能登桿裝置能夠替代傳統(tǒng)的人力登桿方式，大幅度減少日常電力電網(wǎng)維護(hù)作業(yè)人員的體力消耗，提高作業(yè)舒適度，減少工作安全風(fēng)險(xiǎn)，提升作業(yè)效率。如圖1 所示的智能登桿裝置具有自動(dòng)登桿、輕量便攜、體積小巧、平滑可調(diào)、自動(dòng)報(bào)鎖等諸多優(yōu)點(diǎn)，其核心功能主要包括：1）采用伺服控制技術(shù)，通過(guò)模塊一體化動(dòng)力伺服系統(tǒng)在實(shí)現(xiàn)自動(dòng)登桿工具輕量化設(shè)計(jì)的同時(shí)，有效增加其負(fù)載能力和控制性能；2）通過(guò)基于傳感器網(wǎng)絡(luò)的多維感知信號(hào)融合算法為智能化自動(dòng)登桿工具提供多重安全監(jiān)測(cè)，提高運(yùn)維人員作業(yè)的安全性；3）搭載高清云臺(tái)攝像頭，可在登桿作業(yè)過(guò)程中多視角地采集圖像，記錄作業(yè)過(guò)程便于回溯跟蹤。同時(shí)配合基于深度學(xué)習(xí)算法的視頻異常行為識(shí)別系統(tǒng)，可對(duì)違規(guī)作業(yè)行為進(jìn)行監(jiān)測(cè)。

圖1 智能登桿裝置

2 視頻異常行為識(shí)別算法

2.1 卷積神經(jīng)網(wǎng)絡(luò)

隨著人工智能技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)技術(shù)在生物、醫(yī)療、經(jīng)濟(jì)等領(lǐng)域逐步應(yīng)用廣泛。但傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在處理圖像信號(hào)時(shí)，存在難以準(zhǔn)確提取圖像特征、識(shí)別準(zhǔn)確率低的問(wèn)題。針對(duì)上述問(wèn)題，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)參數(shù)共享有效提高了特征提取和模式識(shí)別的效率，在處理圖像信號(hào)上具有更加優(yōu)秀的應(yīng)用價(jià)值。典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示[11-12]，其通過(guò)多層卷積層、池化層堆疊，并在最后增加了兩層全連接層。

1）卷積層主要的操作為卷積運(yùn)算，而計(jì)算機(jī)信息處理系統(tǒng)中，以離散化的卷積運(yùn)算為主，先用卷積核覆蓋輸入數(shù)據(jù)中尺寸大小相同的部分?jǐn)?shù)據(jù)，將相同位置的元素值對(duì)應(yīng)相乘并加上一個(gè)常數(shù)值，再對(duì)所有計(jì)算結(jié)果進(jìn)行求和，得到第一次卷積運(yùn)算的輸出值。隨后，按照一定的步長(zhǎng)，滑動(dòng)卷積核進(jìn)行下一次卷積運(yùn)算。以此重復(fù)，總共需要進(jìn)行多次卷積運(yùn)算，得到一定尺寸的輸出數(shù)據(jù)。

卷積運(yùn)算可以用以下計(jì)算公式描述：

2）池化層的滑動(dòng)操作過(guò)程與卷積層類似，只是以池化運(yùn)算代替了卷積運(yùn)算，常用的池化運(yùn)算有最大池化、平均池化。

池化層輸出數(shù)據(jù)與輸入數(shù)據(jù)需要滿足以下關(guān)系：

3）激活函數(shù)實(shí)現(xiàn)從輸入數(shù)據(jù)到輸出數(shù)據(jù)的映射，常見的激活函數(shù)有Sigmoid、tanh 和Relu 等。由于Relu 激活函數(shù)能夠有效解決反向傳播梯度消失的問(wèn)題，在深度學(xué)習(xí)領(lǐng)域應(yīng)用更為廣泛。該激活函數(shù)為：

式中，x為輸入數(shù)據(jù)。

4）全連接層為任意兩個(gè)輸入數(shù)據(jù)與輸出數(shù)據(jù)之間存在的連接關(guān)系，與傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)的連接關(guān)系相同。

2.2 深度殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)（DRN）與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)別如圖3 所示[13-14]。圖3（a）為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，輸入數(shù)據(jù)x經(jīng)過(guò)兩層卷積層得到輸出數(shù)據(jù)H(x)；圖3（b）為殘差網(wǎng)絡(luò)，其在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，在輸入端與輸出端之間添加一條捷徑，該條捷徑的權(quán)重為1，由此輸出數(shù)據(jù)為H(x)=F(x)+x。在殘差網(wǎng)絡(luò)中，通過(guò)模型學(xué)習(xí)訓(xùn)練獲取到的是準(zhǔn)確的映射F(x)，而F(x)=H(x)-x，即目標(biāo)值與輸入數(shù)據(jù)之間的殘差。殘差網(wǎng)絡(luò)相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，能夠有效防止梯度消失問(wèn)題，在深度學(xué)習(xí)中應(yīng)用廣泛。

圖3 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)別

在深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，在兩層卷積層之間均添加上述捷徑，由此形成的網(wǎng)絡(luò)則是深度殘差網(wǎng)絡(luò)。

2.3 長(zhǎng)短期記憶網(wǎng)絡(luò)

在處理視頻、文本等信息時(shí)，不同序列片段之間存在關(guān)聯(lián)性，對(duì)既定的輸出目標(biāo)均有一定影響，這與人腦的學(xué)習(xí)和處理信號(hào)過(guò)程相似。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)并不能有效地實(shí)現(xiàn)這種目標(biāo)，故循環(huán)神經(jīng)網(wǎng)絡(luò)由此誕生。

循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖4 所示。f為神經(jīng)網(wǎng)絡(luò)，輸入信息為xt，輸出信息為ht，循環(huán)神經(jīng)網(wǎng)絡(luò)允許當(dāng)前步驟的信息傳遞到下一步驟，且所有步驟共享相同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。循環(huán)神經(jīng)網(wǎng)絡(luò)由于能夠處理這種序列數(shù)據(jù)問(wèn)題，所以在語(yǔ)音識(shí)別、圖像字幕等領(lǐng)域有著廣泛的應(yīng)用。

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)是一種經(jīng)過(guò)特殊設(shè)計(jì)，用于處理長(zhǎng)期依賴問(wèn)題的循環(huán)神經(jīng)網(wǎng)絡(luò)，其典型結(jié)構(gòu)如圖5 所示，該結(jié)構(gòu)包括遺忘門、輸入門和輸出門三部分[15-16]。

圖5 LSTM單元結(jié)構(gòu)

1）如式（4）所示，遺忘門結(jié)合上一層神經(jīng)單元的輸出和當(dāng)前神經(jīng)單元的輸入，通過(guò)Sigama 函數(shù)獲得分布于[0,1]區(qū)間的數(shù)值，從而決定上一層神經(jīng)單元狀態(tài)保留程度。當(dāng)Sigama 函數(shù)輸出為1 時(shí)，表示完全保留；輸出為0 時(shí)，表示完全舍棄。

式中，ht-1為上一層神經(jīng)單元的輸出，xt為當(dāng)前神經(jīng)單元的輸入，σ(·)為Sigama 函數(shù)。

2）輸入門決定了當(dāng)前神經(jīng)單元狀態(tài)的更新信息，其包括兩個(gè)步驟：一是通過(guò)Sigama 函數(shù)決定更新哪些信息；二是通過(guò)tanh 函數(shù)獲得更新信息的內(nèi)容。具體計(jì)算邏輯如式（5）所示：

結(jié)合遺忘門和輸入門，能夠獲取當(dāng)前神經(jīng)單元狀態(tài)如下：

3）輸出門根據(jù)當(dāng)前神經(jīng)單元狀態(tài)決定輸出信息，如式（7）所示，其包括兩個(gè)步驟：一是通過(guò)Sigama函數(shù)決定輸出當(dāng)前神經(jīng)單元狀態(tài)輸出的部分；二是通過(guò)tanh 函數(shù)獲得輸出信息的內(nèi)容。

2.4 視頻異常行為識(shí)別算法

該文提出了一種基于深度殘差LSTM 的視頻異常行為識(shí)別算法。利用輕量化、小型化的自動(dòng)登桿作業(yè)裝置獲取作業(yè)過(guò)程的視頻圖像，將其作為深度殘差LSTM 模型的輸入數(shù)據(jù)，輸出則為異常行為識(shí)別結(jié)果，從而實(shí)現(xiàn)登桿現(xiàn)場(chǎng)作業(yè)風(fēng)險(xiǎn)、違規(guī)行為的識(shí)別，提高運(yùn)維人員的作業(yè)安全性。

該算法結(jié)構(gòu)如圖6 所示。將視頻圖像分解為序列1，序列2，…，序列n，經(jīng)過(guò)對(duì)齊、剪裁、歸一化等圖像預(yù)處理之后作為深度殘差網(wǎng)絡(luò)的輸入。通過(guò)訓(xùn)練得到不同圖像序列的特征，匯總得到序列特征集作為L(zhǎng)STM 網(wǎng)絡(luò)的輸入，再由LSTM 網(wǎng)絡(luò)模型輸出登桿作業(yè)異常行為識(shí)別結(jié)果。

圖6 基于深度殘差LSTM的視頻異常行為識(shí)別算法結(jié)構(gòu)

3 算例分析

為了驗(yàn)證該文所提的基于深度殘差LSTM 的視頻異常行為識(shí)別算法的正確性和有效性，選取700段登桿作業(yè)視頻圖像序列進(jìn)行實(shí)驗(yàn)，并按7∶3 的比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集。實(shí)驗(yàn)的硬件環(huán)境如表1 所示。

表1 實(shí)驗(yàn)硬件環(huán)境

3.1 算法訓(xùn)練過(guò)程

以交叉熵?fù)p失函數(shù)衡量模型訓(xùn)練效果，計(jì)算方法如下：

式中，hj為網(wǎng)絡(luò)的輸出值，hyi為訓(xùn)練樣本標(biāo)記的目標(biāo)值。

算法訓(xùn)練過(guò)程中，損失函數(shù)值和準(zhǔn)確率隨迭代次數(shù)的變化如圖7 所示。

由圖7（a）可知，在0～30 輪迭代中，訓(xùn)練集和測(cè)試集的損失函數(shù)值快速下降；在30～60 輪迭代中，損失函數(shù)值緩慢下降；在60 輪迭代以后，損失函數(shù)值幾乎未有變化。

由圖7（b）可知，隨著迭代的進(jìn)行，測(cè)試集和訓(xùn)練集的準(zhǔn)確率快速上升，然后趨于平緩，最終幾乎穩(wěn)定不變。算法最終的準(zhǔn)確率維持在98.5%左右，具有較好的識(shí)別效果。

圖7 算法訓(xùn)練過(guò)程

3.2 算法的性能分析

為驗(yàn)證該文所提算法的性能，將所提方法與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，視頻異常行為識(shí)別的準(zhǔn)確率如表2 所示。分析準(zhǔn)確率數(shù)據(jù)可知，該文算法的最大準(zhǔn)確率為99.82%，最小準(zhǔn)確率為98.13%，平均準(zhǔn)確率達(dá)98.93%；而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法最大準(zhǔn)確率為86.11%，最小準(zhǔn)確率為80.45%，平均準(zhǔn)確率達(dá)83.64%。該文算法相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法具有更高的準(zhǔn)確率，這是因?yàn)樗崴惴ú捎蒙疃葰埐罹W(wǎng)絡(luò)能夠有效避免算法梯度消失問(wèn)題，利用LSTM 模型能夠提取不同視頻序列之間的內(nèi)在聯(lián)系，從而提高異常行為識(shí)別的準(zhǔn)確率。

表2 算法的準(zhǔn)確率

4 結(jié)束語(yǔ)

該文基于深度殘差LSTM 算法開展了視頻異常行為識(shí)別技術(shù)研究，通過(guò)自動(dòng)登桿作業(yè)裝置獲取視頻信息，實(shí)現(xiàn)作業(yè)人員違規(guī)操作等異常行為的識(shí)別。實(shí)驗(yàn)結(jié)果表明，所提算法在60 輪迭代開始收斂，準(zhǔn)確率穩(wěn)定在約98.5%，相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法具有收斂快速、準(zhǔn)確性高的性能優(yōu)勢(shì)。但文中所提算法僅通過(guò)視頻信息實(shí)現(xiàn)對(duì)異常行為的識(shí)別，而線路開關(guān)狀態(tài)、電壓等級(jí)等電氣參數(shù)對(duì)于登桿作業(yè)監(jiān)督也具有重要的參考作用，融合多種數(shù)據(jù)實(shí)現(xiàn)登桿作業(yè)過(guò)程的全方位監(jiān)督，將在下一步研究中展開。