基于STM32 的便攜式智能配電一體化移動終端控制系統研究

劉棟，張建鵬

（新疆工程學院，新疆烏魯木齊 830023）

我國偏遠地區配電及檢修工作受供電比重較小、供電設備多而分散、維護環境較差、智能化水平較低等多維因素的制約[1]，存在人力依賴性強、便攜性較差、缺乏智能化測控設備、無法形成智能化的電力數據流一體化融合機制等問題，嚴重制約“堅強智能電網”的全鏈條發展。受國家宏觀調控、市場行情、成本控制等多維因素的影響[2]，我國偏遠地區配電及檢修工作為應對復雜多變的工況呈現隨機波動性，調度反應又對靈敏度提出了較高要求，加上各類工況互相耦合且不斷引發運行進程的結構重建，使得配電、檢修工作系統具有非線性，加大了控制管理難度。

文中針對上述工程實際中所存在的問題，設計開發了基于STM32 的便攜式智能配電一體化移動終端控制系統。該系統主要由控制系統和軟件系統構成。控制系統采用原子科技STM32F103 實現一體化控制，結合外圍電路實現遠程管理，并承載軟件層的智能化運行[3-5]；在軟件系統方面，利用改進的深度強化學習算法對較長周期內的配電及檢修數據進行深度挖掘[6]，分析其潛在規律，為后續政策制定提供數據支撐。選取國家電網某電力公司數據，對設計的系統進行實際驗證。結果表明，文中所設計系統運行穩定，可實現數據的實時采集、傳輸，能有效對長期配電及檢修數據進行深度挖掘和分析，并給出潛在規律，有效解決了配電及檢修工作中存在的相關問題。

1 控制系統整體框架設計

控制系統整體框架如圖1 所示。系統按照功能劃分為底層硬件驅動層、人機交互端應用軟件層、服務器端軟件支持層。為了實現各子進程的可循環利用與擴展，結合了松耦合層次的設計思想，提高了框架的模塊化程度。在底層硬件驅動層，基于數據的信號轉換與控制，可實現數據的采集、存儲、交換并具有互通、低延時、人機交互特性，為人機交互端應用軟件層提供了硬件載體[7]；人機交互端應用軟件層具有可視化功能，集成了數據的存儲、轉移功能，并支持多個用戶的登記與使用管理，提高了配電、檢修工作的智能化程度；底層硬件驅動層周期性將工況數據傳輸至服務器端軟件支持層[8]，服務器端軟件支持層對數據進行算法處理。為了對較長周期內的配電及檢修涉及的電網運行態勢、設備工況、用電質量等進行數據深度分析，采用改進的深度強化學習算法，挖掘潛在規律，為后續相關政策的制定提供數據支撐，從而構建智能化的電力數據流一體化融合機制。

圖1 控制系統整體框架示意圖

2 軟件系統設計

上述人機交互端應用軟件層與服務器端軟件支持層同屬于軟件系統，由于人機交互端應用軟件層由硬件系統提供載體，側重實現人機交互，屬于工程化問題，文中重點關注基于改進的深度學習算法的服務器端軟件支持層，因此給出機制與算法的融合思路，并利用實際應用場景進行實驗，以驗證其合理性。除此之外，文中考慮到配電檢修工作進程存在的連續性，引入策略梯度（Policy Gradient,PG）算法，以一定概率對進程動作值進行采樣，解決動作值數據龐大與非線性特征導致的調度困難，改善了傳統值函數學習算法處理數據維度少、無法適應連續進程的不足。

2.1 深度強化學習的改進

為了挖掘長時間尺度下配電檢修的數據規律，考慮到非線性特征，引入Actor-Critic 算法以適應數據訓練的多形式化，并支持離線、非同步的控制設定，可深入分析配電檢修數據的內在特征。具體思路是采用差分算子實時更新數個運行進程，解決非同步運行問題，進而加快了數據處理速度，并引入策略梯度算法，以一定概率對進程動作值進行采樣，改善傳統值函數學習算法處理數據維度少、無法適應連續進程的不足。逼近算法為深度神經網絡，縮短了預測數據的反饋時延，適應多維度的樣本訓練進程。不失一般性，設確定性策略為πθ(s)，確定性策略參數為θ，根據實時工況S與實時動作A進行狀態轉移即[9-11]S→A，則獎勵值的數學期望為：

為了改善連續積分引發的收斂速度慢的問題，文中基于策略梯度（PG）采取確定性策略解耦連續進程，連續空間內的動作值由工程行為決定，即采取動作表征函數μ，確定最優行為策略為at=μ(st|θμ)，則確定性策略梯度（Deterministic Policy Gradient，DPG）的效能任務為：

可計算確定行為的梯度為：

傳統深度強化學習算法對數據的訓練速度慢、迭代次數多，求解的任務期望誤差逐步擴大、無法實時消除，使最終的效能可信度降低。這是由于深度Q 網絡（Deep Q-Network）算法本身的機制將價值期望定義為一定行為策略下的即時獎勵與下一狀態的預測獎勵之和，這將導致工況刷新占用的存儲空間變大[12]。為了滿足傳統學習算法動作網格的尋優路徑，相應的參數數量激增。為了解決上述問題，文中考慮到進程的多維非同步特性，對任務期望進行估計，以改進傳統的學習算法，形成優化的學習機制，做法為：結合傳統深度強化學習算法中的行動者-評論家（Actor-Critic，AC）算法、策略梯度（PG）算法，深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）中由于動作值at=μ(st|θμ)是根據確定性策略μ進行設定的，其中，θμ是動作值的形成網絡中的參數，因此利用確定最優行為策略μ等價actor，Q(s,a)函數的擬合過程引入了價值網絡，等價于策略角色，則DDPG 的目標函數為：

設Q函數表示使用確定性策略μ結合actor 的獎勵，本質為數學期望，將DQN 引入DDPG，因此基本構架不變，擬合結果如下：

綜合上述原理，價值期望的網絡參數為θQ，用Qμ(s,μ(s))表示狀態s下結合確定性策略與actor 的回報[13]，其本質仍為數學期望。由于訓練進程非離散，因此回報值需由數學積分求解，則策略μ下的效能函數如式（6）所示：

在此基礎上，文中引入多源實時學習進化原理，通過任務回報預期定義損失，其表征函數為：

傳統深度強化學習算法處理數據維度少，無法適應連續進程，進化學習速度慢，迭代次數較多，本質是采用了epsilon 貪婪策略。為了提高樣本利用率、加快搜索進程、提升對不確定性外部因素的適應能力并解決連續進程的處理問題，文中引入面向模型探索能力擴展的噪雜網絡適度生成機制，對強化學習算法進行改進。具體地，在傳統算法的全連接層中引入該機制，利用自適應噪聲自動調整進化能力，以適應多變的外界條件，提高了算法的學習與自適應能力。

2.2 較長周期內的配電及檢修數據深度分析模型構建

長時間尺度下的配電檢修數據呈現隨機波動性，調度反應又對靈敏度提出了較高要求，加上各類工況互相耦合且不斷引發運行進程的結構重建，使得配電、檢修工作系統具有非線性，加大了控制管理難度。考慮到供電、配電工程需求的面向范圍較廣，整體耦合程度高，外界條件突變性強且維度不固定，同時響應泛在電力物聯網的背景指引，文中引入改進的深度強化學習算法處理配電檢修這一復雜系統。改進后的電力智慧供應鏈高維度決策模型算法框架示意圖如圖2 所示。強化學習模型按照網絡類型可分為Critic 神經網絡與Actor 神經網絡，前者用于對關鍵數據與參數進行迭代，后者自主進化相關數據，協同優化進程的搜索方向，從而實現智慧配電、智能監測、全景可視、專業協同與電力數據流一體化融合機制之間的高維度決策映射，最終實現多維差異性系統數據的橫向共享集成。

圖2 電力智慧供應鏈高維度決策模型算法框架示意圖

2.3 模型的仿真驗證與實證分析

文中選擇Python 語言，算法進化載體選為Tensorflow-Gpu 1.8.0，人機交互界面選用Keras 2.2.2和Gym 0.10.8，并使用Pendulum 插件實現數值預測。設replay memory D 初值為N，網格的尺寸初值為128×128×16，折算因子γ為0.96，學習率α為0.002，策略回報區間為[0,1]，Critic 神經網絡的訓練模式為Train_on_batch()，Actor 神經網絡的進化模式為K.function()。若獎勵為負且數值較低，則不予考慮，因此其基準值應為0，根據算法論述引入了自適應噪聲并生成了新的損失函數。使用面向具體應用案例的模型仿真驗證內部狀態轉移邏輯示意圖如圖3 所示。文中以國家電網內蒙古東部電力有限公司某配電站的實測數據為初始訓練集，人機交互界面采用Gym 0.10.8。為了實時反饋運行維護數據的更新結果，利用Keras 2.2.2 仿真得出訓練效果仿真效能圖，如圖4 所示。

圖3 內部狀態轉移邏輯示意圖

圖4 面向具體應用案例的算法訓練效果仿真效能圖

仿真結果表明，Episode-Reward 曲線隨著模型訓練迭代次數增多升高，而Critic-Loss 曲線則隨著模型訓練迭代次數增多降低，其中Episode-Reward偏移基準零值程度越高，代表效果越差，這是由于策略動作下的回報在有效值之間震蕩。Critic-Loss 的整體損失值在大約在第30 次迭代達到最大值，隨后降低，由此變化趨勢可看出，Critic-Loss 的參數實現了自主進化，且同步性較強，Episode-Reward 的反饋跟隨損失函數更新，且隨著進程不斷推進，搜索能力不斷提升，從而適應于非線性耦合數據的規律尋找并加快了收斂速度。

3 硬件系統設計

3.1 硬件系統功能邏輯設計

文中硬件層的模塊構架如圖5 所示，以功能導向為構建原則，可劃分為如下幾個子模塊：核心控制、數據存儲、人機交互、無線數據同步、高精度供電、SD 卡讀寫、TFT 真彩顯示、兼容性外部接口、配電檢修傳感器集群等[14]。其中，中心面板的調控模式借鑒了基于原子科技的STM32F103，實現全局控制，并支持同時存儲多維樣本、外部接口支持RS-422、USB 等主流接口，添加了數據總線與電平轉換芯片，支持常用的SD 卡數據傳輸協議；人機界面為TFT 真彩，可視化程度高，并采用串口WIFI 無線數據收發模塊處理異步樣本，且具備離線功能，支持多種電壓等級的供電，顯示子模塊屏幕規格高達8 寸，配備有觸控功能且支持USB 與串口調試，語言庫依據GB 制定，協議允許直接連入互聯網，提升了人機交互的信息傳導效率。

圖5 硬件系統功能邏輯示意圖

3.2 硬件系統工作流程設計

文中涉及該硬件層的工作流程如圖6 所示。由于采用了STM32F103 控制面板，因此數據通信路徑應與STM32F103 控制面板通信路徑保持一致，以使設定的流程可在系統中準確運行[15]。啟動設備后首先進行初始化，包括協調通信協議、確定接口狀態、樣本采集與存儲功能的維護，排查并處理異常后載入迎賓語言。硬件系統中采用了TFT 顯示屏，經過一定的時延后進入用戶登錄界面，至此可實現多種操作功能，包括獲取配電與供電實時狀態、在線監測裝置工況，并將數據信息放置于相應的保留模塊作為備用。當到達指定進程，備用樣本將轉換格式并基于前述算法進行訓練，從而挖掘其數值規律。

圖6 硬件系統工作流程圖

3.3 硬件系統綜合調試

在調試部分，由于硬件系統由多個子模塊構成，因此需要獨立設計電路印刷板。每個印刷板由PCB內層埋線互連，采用工業級別的分立元件，利用表面貼裝工藝進行原件貼裝，由此保證了連通可靠性與運行可靠性。為了使系統具有可視化功能，需要更改原有程序，因此改造μCOS-III 多線程軟件，使其可應用于人機交互[16]；為了滿足多目標需求，操作PendSV 接觸單目標約束；為了提高交互的魯棒性并提升使用體驗滿足感，采用靜態內核對象，從而降低操作延時并減少多余的調控步驟；為了提高操作的靈活度，將數據信息傳輸至服務器端進行規律挖掘，對于長時間尺度下的運行進程，該步驟自動由內置的程序實現，提高了便捷性；為了進一步改善系統品質，滿足不同控制系統的需要，提高系統的適應性，針對不同無線數據同步電路設計了兼容性的接口電路。

4 系統整機測試

文中對基于STM32 的便攜式智能配電一體化移動終端控制系統進行了整機操作實驗，以驗證其在全局調控、運行魯棒性、信息流完整性、時序同步性等方面的效果。文中在VS2016 環境下開發了基于STM32 的便攜式智能配電一體化移動終端可視軟件系統，由硬件系統承載軟件系統并引入GUI，可實現聯網圖像的實時采集。文中開發的控制系統可以采集配電檢修數據并進行一系列處理，處理方式可智能化選擇，包括訓練的任務與運行時長等的設定，且可以同時載入多個用戶信息并進行獨立管理。Sklearn 內核庫可以將信息的處理進程可視化，可形成相關視圖輔助分析，具備了通用便攜式智能配電一體化移動終端控制系統服務器的全流程軟件支持能力。實驗對象選取為某配電站中的變壓器，對其頂層油溫進行實時感知，利用開發的控制系統實現上述功能，具體工作進程示意圖如圖7 所示[17-19]。

圖7 變壓器頂層油溫實時感知工作進程示意圖

將控制系統硬件載體、應用軟件、服務器支持軟件進行整合，測試一體化移動終端控制系統的實際效果，并將其與龍泉供電公司配備的綜合配電及檢修系統進行實驗對比，以驗證所開發控制系統的先進性。首先對該偏遠地區的供配電數據進行隨機采樣，分別利用該地區原有控制系統與文中開發的控制系統進行數據處理與分析，通過對公司采購成本控制、數據聚類準確率、數據分析程度、設備攜帶便捷性、設備人力依賴性多個因素進行對比，以判斷文中開發系統的性能。實驗的效能結果如表1 所示。由表1 中的指標數據可以看出，文中開發的終端控制系統在各方面都體現了性能優勢，降低了采購經濟成本，提高了數據分析的準確率與飽和度以及設備的便攜性，并降低了人力依賴性，這表明引入改進深度強化學習算法帶來了顯著的優勢，可為電力數據流一體融合機制的發展提供理論指導。

表1 控制系統性能對比分析表

5 結論

為了克服我國偏遠地區配電及檢修存在的人力依賴性強、便攜性較差、缺乏智能化測控設備等若干不足，文中開發了基于STM32 的便攜式智能配電一體化移動終端控制系統。該系統主要由控制系統和軟件系統構成。控制系統方面，采用STM32F103 實現一體化控制。軟件系統方面，利用改進的深度強化學習算法，對較長周期內的配電及檢修數據進行深度挖掘，分析其潛在規律，為后續政策的制定提供數據支撐。選取國家電網某電力公司數據，對文中設計系統進行實際驗證。結果表明，文中開發的終端控制系統與供電公司現有的控制系統相比，降低了采購經濟成本，提高了數據分析的準確率與飽和度以及設備的便攜性，并降低了人力依賴性，在各方面都體現了性能優勢，具備在我國偏遠地區實際推廣的應用價值。