席丁鼎，王亦偉

（南京南瑞信息通信科技有限公司，江蘇 南京 210018）

0 引 言

目前，人工智能正在各行各業(yè)得到廣泛應用，為生產(chǎn)活動帶來更大的價值。傳統(tǒng)的人工智能模型開發(fā)方式存在局限性，只適用于特定場景和數(shù)據(jù)，無法滿足不同行業(yè)快速落地的需求。隨著數(shù)字化改革的推動，越來越多碎片化場景導致傳統(tǒng)開發(fā)方式難以規(guī)?；瘡椭?，也導致了隱私、安全和防御方面的問題。傳統(tǒng)人工智能模型存在健壯性差、合成數(shù)據(jù)識別率低等問題，面臨著隱私和安全等方面的隱患。

1 電網(wǎng)現(xiàn)狀與問題分析

1.1 電網(wǎng)人工智能應用現(xiàn)狀

電網(wǎng)企業(yè)面臨“雙高”“雙峰”等挑戰(zhàn)，數(shù)字化轉型成為有效的應對方式之一。人工智能作為核心技術，主要應用于計算機視覺和自然語言處理領域。計算機視覺技術在電網(wǎng)監(jiān)控和異常處理中發(fā)揮著重要作用，可以提升電網(wǎng)的可靠性和安全性。自然語言處理技術用于管理文本信息，提高客戶服務和決策效率，在知識圖譜問答、設備知識庫以及用戶用電行為分析等方面取得成效，提升了服務效率和質量。

1.2 電網(wǎng)人工智能面臨的問題

將人工智能引入電網(wǎng)領域后，被廣泛用于輸變電等專業(yè)場景，帶來了一系列問題和挑戰(zhàn)。電力系統(tǒng)的復雜性涉及多層次子系統(tǒng)和多種技術任務，傳統(tǒng)人工智能模型難以擴展到大規(guī)模電網(wǎng)系統(tǒng)。在數(shù)據(jù)管理方面，電網(wǎng)需要高質量、一致性和實時性的數(shù)據(jù)，使用不準確或滯后數(shù)據(jù)可能導致決策錯誤。

2 人工智能大模型介紹

2.1 大模型的定義

大模型又稱基礎模型，其中3 個關鍵參數(shù)為大數(shù)據(jù)、高參數(shù)、強算力，即在大數(shù)據(jù)支持下，通過強大算力訓練的高參數(shù)模型[1]。大模型能夠學習更豐富、更精細的特征表示，在數(shù)據(jù)預測、分類及生成等任務中表現(xiàn)卓越。通過發(fā)展大模型，人工智能將從局限于特定任務且缺乏通用性、創(chuàng)造性和自我意識的弱人工智能，逐步邁向具備通用性、學習和自適應能力、自主決策能力、創(chuàng)造性的強人工智能。

2.2 大模型發(fā)展歷程

自2017 年Transformer 架構提出以來，就成為大模型領域的主流算法基礎[2]。引入自注意力機制后，Transformer 能夠更好地捕捉文本上下文信息，提升了超大規(guī)模參數(shù)和數(shù)據(jù)的訓練能力。主流大模型基于Transformer 架構快速擴展，如預訓練的語言表征模型（Bidirectional Encoder Representation from Transformers，BERT）、生成式預訓練變換模型（Generative Pre-trained Transformer，GPT）和基于人工智能的大型語言模型（Large Language Model Meta AI，LLaMA）系列。視覺大模型的參數(shù)規(guī)模相對較小，但發(fā)展迅速。視覺轉換器（Vision Transformer，ViT）模型突破了Transformer 缺少歸納偏置的限制。V-MoE 模型是一種基于專家稀疏混合的新視覺架構，將其應用于圖像識別時，只需原計算量的一半即可達到先進的網(wǎng)絡性能。Swin Transformer及其v2 模型通過分組計算和滑動窗口等方法，在多個任務中取得高精度效果，為多模態(tài)大模型奠定基礎。

2.3 大模型發(fā)展歷程

2.3.1 開發(fā)模式

大模型帶來了全新的人工智能開發(fā)模式，即上游預訓練模型與下游微調相結合的行業(yè)化定制模型，構建技術生態(tài)與產(chǎn)業(yè)生態(tài)的橋梁。預訓練模型是通過在大規(guī)模數(shù)據(jù)上進行自監(jiān)督或無監(jiān)督學習的人工智能模型。自監(jiān)督學習利用輸入數(shù)據(jù)作為監(jiān)督，而無監(jiān)督學習側重于檢測數(shù)據(jù)模式。模型在通用特征上進行初始訓練，通過微調或遷移學習適應特定任務。

2.3.2 涌現(xiàn)能力

涌現(xiàn)性指系統(tǒng)數(shù)量性變化導致行為性質變化的現(xiàn)象。在大模型領域，涌現(xiàn)能力表現(xiàn)為在小模型上不存在，但出現(xiàn)在大模型上的能力，不能通過簡單改善小規(guī)模模型來預測。涌現(xiàn)能力有一個清晰的模式，即在某個閾值之前效果接近隨機，但超過該閾值后效果將遠高于隨機。經(jīng)過涌現(xiàn)后，大模型的表現(xiàn)水平將遠超隨機模型，主要體現(xiàn)在通用感知、可信問答、地圖理解、多任務語言理解以及上下文理解等方面。

2.3.3 泛化能力

泛化能力指模型在處理新數(shù)據(jù)時的性能表現(xiàn)，衡量模型對未知數(shù)據(jù)的適應能力。大模型通過應用更多參數(shù)、更高復雜度和深度、更豐富的學習特征、先進的優(yōu)化算法及正則化技術，提升泛化能力。大模型的泛化能力有助于人工智能應用快速落地，提供強大的表達能力和適應性，促進產(chǎn)業(yè)賦能。

2.4 典型大模型介紹

2.4.1 自然語言類大模型

GPT 系列是由OpenAI 公司推出的預訓練語言模型。GPT-1 是第一個版本，有1.1 億個參數(shù)，展示了預訓練模型在大規(guī)模文本數(shù)據(jù)下的潛力。GPT-2在GPT-1 的基礎上進行擴展，擁有更多的參數(shù)和更深的網(wǎng)絡結構，引起了廣泛關注。GPT-3 是最大版本，有1 750 億個參數(shù)，在多種自然語言處理（Natural Language Processing，NLP）任務上表現(xiàn)出色。GPT-4 是2023 年3 月發(fā)布的多模態(tài)大模型，比GPT-3.5 更擅長解決復雜任務，通過安全獎勵機制和可預測縮放機制提高模型的性能和效率[3]。

2.4.2 計算機視覺類大模型

自Transformer 在自然語言處理領域取得突破性進展后，業(yè)界一直致力于將Transformer 應用于計算機視覺，以替代卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）。早期的嘗試如iGPT 和ViT 存在2 個問題：一是對大量像素的圖像序列建模不足；二是在實例分割等密集預測任務中效果欠佳[4-5]。Swin Transformer 能夠解決這些問題，并成為通用的視覺Transformer 骨干網(wǎng)絡，在分類、檢測和分割任務上水平領先。

Swin Transformer 是一個通用的視覺Transformer骨干網(wǎng)絡，在物體檢測和語義分割任務中大幅刷新了紀錄，并被廣泛應用于眾多視覺任務，如圖像生成、視頻動作識別、視覺自監(jiān)督學習、圖像復原以及醫(yī)療圖像分割等。Swin Transformer 打破了計算機視覺領域被CNN 長期統(tǒng)治的局面，加速了計算機視覺領域基本模型架構的變革。其核心思想在于將具有強建模能力的Transformer 結構與重要的視覺信號先驗結合起來。這些先驗包括層次性、局部性以及平移不變性等。Swin Transformer 的一個重要設計是移位的不重疊窗口，可以大幅降低計算復雜度，讓計算復雜度隨著輸入圖像的大小呈線性增長。與傳統(tǒng)的滑動窗相比，不重疊窗口的設計對硬件實現(xiàn)更加友好，具有更快的實際運行速度。

在Swin Transformer 之前的ViT 和iGPT 都使用了小尺寸的圖像作為輸入，會損失很多信息。Swin Transformer 另辟蹊徑，輸入原始尺寸圖像，同時Swin Transformer 使用的是CNN 中最常用的層次網(wǎng)絡結構，隨著網(wǎng)絡層次的加深，節(jié)點的感受也在不斷擴大。通過這種類似CNN 的層次結構，賦予了Swin Transformer 實現(xiàn)分割或者檢測任務的能力。

隨著模型規(guī)模的不斷提升，訓練越大的模型往往需要越多的數(shù)據(jù)，計算機視覺領域缺乏人類監(jiān)督信息的數(shù)據(jù)來支撐大模型的訓練。這要求視覺領域大模型要減少對標注數(shù)據(jù)的依賴，在更少數(shù)據(jù)量的情況下探索大模型。因此，通過引入自監(jiān)督學習的掩碼模型來解決這一問題[6]。該模型通過掩碼圖像建模來學習圖像表征，采用隨機掩碼策略，用適度大的掩碼塊掩碼輸入圖。通過直接回歸來預測原始像素的RGB值。該模型的預測頭很輕，只需一層線性層即可。

3 大模型在電網(wǎng)中的應用展望

3.1 計算機視覺大模型

在巡檢領域，應用大模型視覺語義理解、圖像分割等能力，結合傳感器、無人機、巡檢機器人、布控球攝像頭以及紅外攝像頭等設備，智能分析并自行判斷巡檢中記錄的紅外光譜、可見光圖片及音視頻文件等。分析輸電線路、變電站、配電站人員、設備的異常行為、異物和設備磨損跡象，預測可能發(fā)生的故障，實現(xiàn)電力設備的遠程自動巡檢、自動識別、智能預警及智能決策，減少停電風險，提高系統(tǒng)可靠性。借助大模型圖像分析能力，及時發(fā)現(xiàn)火災、風暴及其他自然災害情況，以便及早采取措施，確保電網(wǎng)設施安全。應用大模型泛化能力、知識蒸餾、遷移學習能力，將大模型向無人機和機器人等邊端設備的小模型輸出模型能力。小模型負責實際巡檢任務的推理與執(zhí)行，同時向大模型反饋算法與執(zhí)行成效，提高巡檢效率和安全性，促進大模型與小模型協(xié)同進化，構建人工智能云邊端體系。

3.2 自然語言處理大模型

在營銷領域，應用大模型上下文感知、知識和語言理解、文本生成能力，為用戶提供智能化人機交互和能源管理服務，快速理解客戶意圖。應用大模型知識抽取和智能推薦技術，結合傳感器、智能電表及負荷管理系統(tǒng)，將各類數(shù)據(jù)轉化為可處理的文本數(shù)據(jù)，根據(jù)用戶的用電模式、用電時間、用電量等特征進行分組，并畫像分析每類用戶。基于該類用戶的畫像，通過大模型預測其用電需求，了解用戶的需求和偏好，并針對其用電需求提供個性化節(jié)能建議。

在電網(wǎng)調度領域，應用大模型技術處理大規(guī)模的電網(wǎng)數(shù)據(jù)，自動識別和糾正數(shù)據(jù)中的錯誤或缺失值，將數(shù)據(jù)轉換為適合分析和建模的格式。應用大模型知識理解和推理能力，結合調度自動化系統(tǒng)，知識沉淀調度運行規(guī)程和故障處置案例，實現(xiàn)電力系統(tǒng)的優(yōu)化調度。通過模擬和優(yōu)化算法找到最優(yōu)的供電方案，優(yōu)化發(fā)電機組的運行策略，調整輸電線路的配置。通過大模型技術實時監(jiān)控電力系統(tǒng)并快速響應突發(fā)事件，自動調整發(fā)電和分配策略，實現(xiàn)電網(wǎng)異常情況秒級自動化預案處置，以確保電力系統(tǒng)的穩(wěn)定性。

在負荷預測領域，應用大模型感知預測能力，分析歷史負荷數(shù)據(jù)、天氣預報、季節(jié)性因素及事件數(shù)據(jù)，預測電力需求，優(yōu)化電力生產(chǎn)和分配。面向風能、光伏、儲能及各類用戶側的可控負荷資源，進行資源精確預測、協(xié)同、控制及優(yōu)化，實現(xiàn)聚合資源的靈活接入、智能調控以及智能風險預警。

在企業(yè)管理領域，應用大模型上下文理解和知識抽取能力，管理電網(wǎng)大量的技術文檔、報告及記錄，自動提取關鍵信息，匯總文檔內(nèi)容并生成摘要，以便工程師和決策者訪問所需信息。在合規(guī)性方面，大模型可以協(xié)助電網(wǎng)公司跟蹤和遵守能源行業(yè)法規(guī)，提供合規(guī)性報告和建議。在員工培訓方面，大模型可用于構建知識庫和培訓材料，幫助新員工快速掌握電網(wǎng)運營的基礎知識。

4 結 論

大模型代表通用人工智能，將深刻改變各行各業(yè)，包括電網(wǎng)領域。在電網(wǎng)中，人工智能大模型具有提升智能程度、降低能源成本、提高可靠性和安全性的潛力。人工智能大模型的應用將為智能電網(wǎng)提供新的解決方案，綜合計算機視覺和自然語言處理，將更全面地處理電網(wǎng)任務，助力電力行業(yè)迎接未來的挑戰(zhàn)。