人工智能大模型在電網中的應用展望

席丁鼎，王亦偉

（南京南瑞信息通信科技有限公司，江蘇 南京 210018）

0 引 言

目前，人工智能正在各行各業得到廣泛應用，為生產活動帶來更大的價值。傳統的人工智能模型開發方式存在局限性，只適用于特定場景和數據，無法滿足不同行業快速落地的需求。隨著數字化改革的推動，越來越多碎片化場景導致傳統開發方式難以規模化復制，也導致了隱私、安全和防御方面的問題。傳統人工智能模型存在健壯性差、合成數據識別率低等問題，面臨著隱私和安全等方面的隱患。

1 電網現狀與問題分析

1.1 電網人工智能應用現狀

電網企業面臨“雙高”“雙峰”等挑戰，數字化轉型成為有效的應對方式之一。人工智能作為核心技術，主要應用于計算機視覺和自然語言處理領域。計算機視覺技術在電網監控和異常處理中發揮著重要作用，可以提升電網的可靠性和安全性。自然語言處理技術用于管理文本信息，提高客戶服務和決策效率，在知識圖譜問答、設備知識庫以及用戶用電行為分析等方面取得成效，提升了服務效率和質量。

1.2 電網人工智能面臨的問題

將人工智能引入電網領域后，被廣泛用于輸變電等專業場景，帶來了一系列問題和挑戰。電力系統的復雜性涉及多層次子系統和多種技術任務，傳統人工智能模型難以擴展到大規模電網系統。在數據管理方面，電網需要高質量、一致性和實時性的數據，使用不準確或滯后數據可能導致決策錯誤。

2 人工智能大模型介紹

2.1 大模型的定義

大模型又稱基礎模型，其中3 個關鍵參數為大數據、高參數、強算力，即在大數據支持下，通過強大算力訓練的高參數模型[1]。大模型能夠學習更豐富、更精細的特征表示，在數據預測、分類及生成等任務中表現卓越。通過發展大模型，人工智能將從局限于特定任務且缺乏通用性、創造性和自我意識的弱人工智能，逐步邁向具備通用性、學習和自適應能力、自主決策能力、創造性的強人工智能。

2.2 大模型發展歷程

自2017 年Transformer 架構提出以來，就成為大模型領域的主流算法基礎[2]。引入自注意力機制后，Transformer 能夠更好地捕捉文本上下文信息，提升了超大規模參數和數據的訓練能力。主流大模型基于Transformer 架構快速擴展，如預訓練的語言表征模型（Bidirectional Encoder Representation from Transformers，BERT）、生成式預訓練變換模型（Generative Pre-trained Transformer，GPT）和基于人工智能的大型語言模型（Large Language Model Meta AI，LLaMA）系列。視覺大模型的參數規模相對較小，但發展迅速。視覺轉換器（Vision Transformer，ViT）模型突破了Transformer 缺少歸納偏置的限制。V-MoE 模型是一種基于專家稀疏混合的新視覺架構，將其應用于圖像識別時，只需原計算量的一半即可達到先進的網絡性能。Swin Transformer及其v2 模型通過分組計算和滑動窗口等方法，在多個任務中取得高精度效果，為多模態大模型奠定基礎。

2.3 大模型發展歷程

2.3.1 開發模式

大模型帶來了全新的人工智能開發模式，即上游預訓練模型與下游微調相結合的行業化定制模型，構建技術生態與產業生態的橋梁。預訓練模型是通過在大規模數據上進行自監督或無監督學習的人工智能模型。自監督學習利用輸入數據作為監督，而無監督學習側重于檢測數據模式。模型在通用特征上進行初始訓練，通過微調或遷移學習適應特定任務。

2.3.2 涌現能力

涌現性指系統數量性變化導致行為性質變化的現象。在大模型領域，涌現能力表現為在小模型上不存在，但出現在大模型上的能力，不能通過簡單改善小規模模型來預測。涌現能力有一個清晰的模式，即在某個閾值之前效果接近隨機，但超過該閾值后效果將遠高于隨機。經過涌現后，大模型的表現水平將遠超隨機模型，主要體現在通用感知、可信問答、地圖理解、多任務語言理解以及上下文理解等方面。

2.3.3 泛化能力

泛化能力指模型在處理新數據時的性能表現，衡量模型對未知數據的適應能力。大模型通過應用更多參數、更高復雜度和深度、更豐富的學習特征、先進的優化算法及正則化技術，提升泛化能力。大模型的泛化能力有助于人工智能應用快速落地，提供強大的表達能力和適應性，促進產業賦能。

2.4 典型大模型介紹

2.4.1 自然語言類大模型

GPT 系列是由OpenAI 公司推出的預訓練語言模型。GPT-1 是第一個版本，有1.1 億個參數，展示了預訓練模型在大規模文本數據下的潛力。GPT-2在GPT-1 的基礎上進行擴展，擁有更多的參數和更深的網絡結構，引起了廣泛關注。GPT-3 是最大版本，有1 750 億個參數，在多種自然語言處理（Natural Language Processing，NLP）任務上表現出色。GPT-4 是2023 年3 月發布的多模態大模型，比GPT-3.5 更擅長解決復雜任務，通過安全獎勵機制和可預測縮放機制提高模型的性能和效率[3]。

2.4.2 計算機視覺類大模型

自Transformer 在自然語言處理領域取得突破性進展后，業界一直致力于將Transformer 應用于計算機視覺，以替代卷積神經網絡（Convolutional Neural Network，CNN）。早期的嘗試如iGPT 和ViT 存在2 個問題：一是對大量像素的圖像序列建模不足；二是在實例分割等密集預測任務中效果欠佳[4-5]。Swin Transformer 能夠解決這些問題，并成為通用的視覺Transformer 骨干網絡，在分類、檢測和分割任務上水平領先。

Swin Transformer 是一個通用的視覺Transformer骨干網絡，在物體檢測和語義分割任務中大幅刷新了紀錄，并被廣泛應用于眾多視覺任務，如圖像生成、視頻動作識別、視覺自監督學習、圖像復原以及醫療圖像分割等。Swin Transformer 打破了計算機視覺領域被CNN 長期統治的局面，加速了計算機視覺領域基本模型架構的變革。其核心思想在于將具有強建模能力的Transformer 結構與重要的視覺信號先驗結合起來。這些先驗包括層次性、局部性以及平移不變性等。Swin Transformer 的一個重要設計是移位的不重疊窗口，可以大幅降低計算復雜度，讓計算復雜度隨著輸入圖像的大小呈線性增長。與傳統的滑動窗相比，不重疊窗口的設計對硬件實現更加友好，具有更快的實際運行速度。

在Swin Transformer 之前的ViT 和iGPT 都使用了小尺寸的圖像作為輸入，會損失很多信息。Swin Transformer 另辟蹊徑，輸入原始尺寸圖像，同時Swin Transformer 使用的是CNN 中最常用的層次網絡結構，隨著網絡層次的加深，節點的感受也在不斷擴大。通過這種類似CNN 的層次結構，賦予了Swin Transformer 實現分割或者檢測任務的能力。

隨著模型規模的不斷提升，訓練越大的模型往往需要越多的數據，計算機視覺領域缺乏人類監督信息的數據來支撐大模型的訓練。這要求視覺領域大模型要減少對標注數據的依賴，在更少數據量的情況下探索大模型。因此，通過引入自監督學習的掩碼模型來解決這一問題[6]。該模型通過掩碼圖像建模來學習圖像表征，采用隨機掩碼策略，用適度大的掩碼塊掩碼輸入圖。通過直接回歸來預測原始像素的RGB值。該模型的預測頭很輕，只需一層線性層即可。

3 大模型在電網中的應用展望

3.1 計算機視覺大模型

在巡檢領域，應用大模型視覺語義理解、圖像分割等能力，結合傳感器、無人機、巡檢機器人、布控球攝像頭以及紅外攝像頭等設備，智能分析并自行判斷巡檢中記錄的紅外光譜、可見光圖片及音視頻文件等。分析輸電線路、變電站、配電站人員、設備的異常行為、異物和設備磨損跡象，預測可能發生的故障，實現電力設備的遠程自動巡檢、自動識別、智能預警及智能決策，減少停電風險，提高系統可靠性。借助大模型圖像分析能力，及時發現火災、風暴及其他自然災害情況，以便及早采取措施，確保電網設施安全。應用大模型泛化能力、知識蒸餾、遷移學習能力，將大模型向無人機和機器人等邊端設備的小模型輸出模型能力。小模型負責實際巡檢任務的推理與執行，同時向大模型反饋算法與執行成效，提高巡檢效率和安全性，促進大模型與小模型協同進化，構建人工智能云邊端體系。

3.2 自然語言處理大模型

在營銷領域，應用大模型上下文感知、知識和語言理解、文本生成能力，為用戶提供智能化人機交互和能源管理服務，快速理解客戶意圖。應用大模型知識抽取和智能推薦技術，結合傳感器、智能電表及負荷管理系統，將各類數據轉化為可處理的文本數據，根據用戶的用電模式、用電時間、用電量等特征進行分組，并畫像分析每類用戶。基于該類用戶的畫像，通過大模型預測其用電需求，了解用戶的需求和偏好，并針對其用電需求提供個性化節能建議。

在電網調度領域，應用大模型技術處理大規模的電網數據，自動識別和糾正數據中的錯誤或缺失值，將數據轉換為適合分析和建模的格式。應用大模型知識理解和推理能力，結合調度自動化系統，知識沉淀調度運行規程和故障處置案例，實現電力系統的優化調度。通過模擬和優化算法找到最優的供電方案，優化發電機組的運行策略，調整輸電線路的配置。通過大模型技術實時監控電力系統并快速響應突發事件，自動調整發電和分配策略，實現電網異常情況秒級自動化預案處置，以確保電力系統的穩定性。

在負荷預測領域，應用大模型感知預測能力，分析歷史負荷數據、天氣預報、季節性因素及事件數據，預測電力需求，優化電力生產和分配。面向風能、光伏、儲能及各類用戶側的可控負荷資源，進行資源精確預測、協同、控制及優化，實現聚合資源的靈活接入、智能調控以及智能風險預警。

在企業管理領域，應用大模型上下文理解和知識抽取能力，管理電網大量的技術文檔、報告及記錄，自動提取關鍵信息，匯總文檔內容并生成摘要，以便工程師和決策者訪問所需信息。在合規性方面，大模型可以協助電網公司跟蹤和遵守能源行業法規，提供合規性報告和建議。在員工培訓方面，大模型可用于構建知識庫和培訓材料，幫助新員工快速掌握電網運營的基礎知識。

4 結 論

大模型代表通用人工智能，將深刻改變各行各業，包括電網領域。在電網中，人工智能大模型具有提升智能程度、降低能源成本、提高可靠性和安全性的潛力。人工智能大模型的應用將為智能電網提供新的解決方案，綜合計算機視覺和自然語言處理，將更全面地處理電網任務，助力電力行業迎接未來的挑戰。