摘要：虛擬電廠儲(chǔ)能系統(tǒng)的智能調(diào)度尤為關(guān)鍵，因此提出了一種基于深度Q網(wǎng)絡(luò)（deepQnetwork，DQN）的虛擬電廠儲(chǔ)能數(shù)據(jù)挖掘方法，結(jié)合光伏發(fā)電功率、負(fù)荷功率和電力市場(chǎng)的實(shí)時(shí)動(dòng)態(tài)電價(jià)，進(jìn)行虛擬電廠儲(chǔ)能數(shù)據(jù)挖掘仿真研究。仿真實(shí)驗(yàn)證實(shí)，在光伏發(fā)電功率大于負(fù)荷功率時(shí)，虛擬電廠儲(chǔ)能系統(tǒng)可以根據(jù)電價(jià)情況進(jìn)行充放電操作，能調(diào)度收益，從而實(shí)現(xiàn)了對(duì)虛擬電廠儲(chǔ)能系統(tǒng)的智能化管理。該方法有效提升了虛擬電廠儲(chǔ)能系統(tǒng)的智能化水平和能源調(diào)度效率，為未來虛擬電廠智能化運(yùn)行提供了新的方法。

0引言

隨著可再生能源的迅速增長(zhǎng)和能源轉(zhuǎn)型的推進(jìn)，虛擬電廠（virtualpowerplant，VPP）已成為實(shí)現(xiàn)能源智能化管理和提高系統(tǒng)靈活性的關(guān)鍵解決方案。在虛擬電廠中，儲(chǔ)能系統(tǒng)被視為重要的能量存儲(chǔ)設(shè)施，其運(yùn)行的優(yōu)化對(duì)于平衡電力系統(tǒng)的供需、提高系統(tǒng)的可靠性至關(guān)重要。然而，隨著儲(chǔ)能系統(tǒng)規(guī)模的不斷擴(kuò)大和運(yùn)行復(fù)雜性的增加，如何有效利用儲(chǔ)能數(shù)據(jù)進(jìn)行深度分析和挖掘，成為優(yōu)化虛擬電廠運(yùn)行的關(guān)鍵挑戰(zhàn)之一。

人工智能是一種模擬人類智能行為的技術(shù)，其核心在于利用計(jì)算機(jī)系統(tǒng)模擬人類的思維過程以及學(xué)習(xí)能力，從而執(zhí)行各種任務(wù)。在人工智能領(lǐng)域，深度Q網(wǎng)絡(luò)（deepQnetwork，DQN）是一種基于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的方法，已在解決復(fù)雜的決策問題時(shí)展現(xiàn)出驚人的性能。DQN結(jié)合了深度神經(jīng)網(wǎng)絡(luò)的表征學(xué)習(xí)能力和Q學(xué)習(xí)（Q-learning）的強(qiáng)化學(xué)習(xí)框架，能夠自動(dòng)從環(huán)境中學(xué)習(xí)并優(yōu)化決策策略，適用于探索和解決具有高度不確定性和復(fù)雜性的問題。DQN在視頻游戲、機(jī)器人控制、交通規(guī)劃等領(lǐng)域的成功應(yīng)用，表明了其在決策制定和優(yōu)化方面的巨大潛力。在虛擬電廠儲(chǔ)能數(shù)據(jù)挖掘中，利用DQN可以有效地對(duì)儲(chǔ)能數(shù)據(jù)進(jìn)行分析和建模，實(shí)現(xiàn)智能化的儲(chǔ)能系統(tǒng)管理，優(yōu)化系統(tǒng)的運(yùn)作效能與經(jīng)濟(jì)效益。本文旨在探討基于DQN的虛擬電廠儲(chǔ)能數(shù)據(jù)挖掘方法，以加速能源智能化管理的實(shí)現(xiàn)，并為能源系統(tǒng)的持久發(fā)展提供理論與技術(shù)支持。

1相關(guān)技術(shù)

1.1虛擬電廠儲(chǔ)能

虛擬電廠是一個(gè)創(chuàng)新性的能源管理系統(tǒng)，其通過整合多樣的分布式能源資源和電力設(shè)備，實(shí)現(xiàn)對(duì)電力系統(tǒng)的智能化協(xié)調(diào)。在虛擬電廠中，通過統(tǒng)一調(diào)度太陽能光伏電池、風(fēng)力渦輪機(jī)、小型燃?xì)獍l(fā)電機(jī)組等分散的能源資源，實(shí)現(xiàn)了多能源的整合。智能化控制系統(tǒng)能夠?qū)崟r(shí)監(jiān)測(cè)電力需求、能源生產(chǎn)狀況以及市場(chǎng)價(jià)格，從而實(shí)現(xiàn)對(duì)能源資源的智能調(diào)度、提高系統(tǒng)的工作效率和降低成本。虛擬電廠的靈活能源調(diào)度能夠使其適應(yīng)不同地區(qū)和能源的可用性，而且通過參與電力市場(chǎng)，其還能提供調(diào)頻、備用能量等服務(wù)。更為重要的是，虛擬電廠通過整合儲(chǔ)能技術(shù)，解決了可再生能源波動(dòng)性的問題，實(shí)現(xiàn)在高產(chǎn)能時(shí)儲(chǔ)存過剩能量，在需求高峰期釋放儲(chǔ)存的能量，從而提高可再生能源的可靠性。

儲(chǔ)能技術(shù)用于將電能轉(zhuǎn)化為其他形式的能量，并在需要時(shí)將其重新轉(zhuǎn)換為電能，旨在增強(qiáng)電力系統(tǒng)的穩(wěn)定性與適應(yīng)性。常見的儲(chǔ)能方法包括利用電池進(jìn)行能量存儲(chǔ)、壓縮空氣儲(chǔ)能、水泵儲(chǔ)能、電容器和熱能儲(chǔ)能。電池儲(chǔ)能系統(tǒng)被廣泛用于移動(dòng)設(shè)備和電動(dòng)汽車，而壓縮空氣、水泵和熱能儲(chǔ)能技術(shù)則在大規(guī)模電力系統(tǒng)中應(yīng)用廣泛，這些技術(shù)的使用有助于平衡供需，提高電力系統(tǒng)的可靠性。

1.2數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術(shù)是利用統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)庫技術(shù)等方法，從大規(guī)模數(shù)據(jù)中發(fā)現(xiàn)模式、關(guān)聯(lián)和趨勢(shì)的計(jì)算過程。數(shù)據(jù)挖掘技術(shù)包括多種方法，如聚類分析、分類技術(shù)、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、異常識(shí)別等，通過數(shù)據(jù)挖掘，可以幫助組織和企業(yè)從大量數(shù)據(jù)中挖掘出有用的信息，進(jìn)行預(yù)測(cè)性分析、決策支持以及優(yōu)化業(yè)務(wù)流程，從而實(shí)現(xiàn)運(yùn)營(yíng)和更好的業(yè)務(wù)決策。

數(shù)據(jù)挖掘流程通常涵蓋數(shù)據(jù)預(yù)處理、選擇特征、模型構(gòu)建和評(píng)估等環(huán)節(jié)，通過這些環(huán)節(jié)可以從初始數(shù)據(jù)中提取有價(jià)值的信息，并將其轉(zhuǎn)化為可理解的知識(shí)，為決策提供支持。隨著數(shù)據(jù)量的不斷增長(zhǎng)和算法的不斷發(fā)展，數(shù)據(jù)挖掘技術(shù)在各個(gè)領(lǐng)域的應(yīng)用前景也變得越來越廣闊。

虛擬電廠儲(chǔ)能數(shù)據(jù)挖掘是利用數(shù)據(jù)挖掘技術(shù)對(duì)虛擬電廠中儲(chǔ)能系統(tǒng)的運(yùn)行數(shù)據(jù)進(jìn)行分析與深入挖掘，以發(fā)現(xiàn)儲(chǔ)能系統(tǒng)的運(yùn)行模式、優(yōu)化策略和潛在問題。通過對(duì)儲(chǔ)能數(shù)據(jù)進(jìn)行預(yù)處理、模式識(shí)別和建模分析，可以實(shí)現(xiàn)對(duì)儲(chǔ)能系統(tǒng)充放電行為、效率、壽命等方面的深入理解，并提供決策支持和優(yōu)化建議，進(jìn)而增進(jìn)虛擬電廠的操作效率、經(jīng)濟(jì)效益及可靠性。

2基于DQN的虛擬電廠儲(chǔ)能技術(shù)

2.1DQN

DQN融合了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，旨在處理具有離散行為空間的決策問題[4-5]。其核心思想是采用深度神經(jīng)網(wǎng)絡(luò)對(duì)Q函數(shù)進(jìn)行近似估計(jì)，即狀態(tài)—動(dòng)作值函數(shù)，從而使智能體在其所處環(huán)境中做出選擇。在DQN中，智能體的目標(biāo)是學(xué)習(xí)一個(gè)策略，使得在給定狀態(tài)下選擇能累積獎(jiǎng)勵(lì)的動(dòng)作。

DQN的核心是Q-learning的更新規(guī)則，其中Q值的更新通過貝爾曼方程實(shí)現(xiàn)。其Q值的更新公式如下：

其中，α為學(xué)習(xí)率，a為動(dòng)作，s為狀態(tài)，Q（s，a）為在狀態(tài)s下采取動(dòng)作a的Q值，r為在狀態(tài)s下采取動(dòng)作a后獲得的即時(shí)獎(jiǎng)勵(lì)，γ為折扣因子，s'為采取動(dòng)作a后轉(zhuǎn)移到的下一個(gè)狀態(tài)，maxa'Q（s'，a'）則表示在狀態(tài)s'下選擇動(dòng)作所對(duì)應(yīng)的Q值。

DQN通過使用深度神經(jīng)網(wǎng)絡(luò)來逼近Q函數(shù)，將狀態(tài)s作為輸入，輸出各個(gè)動(dòng)作的Q值。通過不斷與環(huán)境交互、收集數(shù)據(jù)和更新網(wǎng)絡(luò)參數(shù)，DQN能夠?qū)W習(xí)到逼近Q函數(shù)的策略，從而實(shí)現(xiàn)智能體在復(fù)雜環(huán)境中的決策。

2.2基于DQN的儲(chǔ)能交互模型

智能能源管理系統(tǒng)由4個(gè)核心部分構(gòu)成，包括仿真模塊、經(jīng)驗(yàn)池模塊、神經(jīng)網(wǎng)絡(luò)模塊以及動(dòng)作搜索模塊，這些模塊共同在虛擬電廠儲(chǔ)能交互模型中發(fā)揮作用。虛擬電廠的仿真模塊模擬了光伏、儲(chǔ)能、負(fù)載以及主電網(wǎng)，展示了在動(dòng)態(tài)電價(jià)條件下光儲(chǔ)型虛擬電廠進(jìn)行能量交易的過程。為了大限度地利用光伏發(fā)電，負(fù)荷電能首先由光伏發(fā)電和儲(chǔ)能系統(tǒng)聯(lián)合滿足，剩余需求則由主電網(wǎng)供應(yīng)。經(jīng)驗(yàn)池模塊負(fù)責(zé)在系統(tǒng)運(yùn)作過程中收集虛擬電廠仿真模塊生成的交互數(shù)據(jù)，為模型的后續(xù)訓(xùn)練提供堅(jiān)實(shí)基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)模塊的職責(zé)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的參數(shù)，目的是提升系統(tǒng)的決策效能。動(dòng)作搜索模塊在模型運(yùn)行過程中實(shí)現(xiàn)了狀態(tài)—動(dòng)作的選擇，采用貪心策略等方法，使系統(tǒng)能夠在不斷學(xué)習(xí)的過程中做出更為智能和優(yōu)化的決策。基于DQN的儲(chǔ)能交互模型如圖1所示，該模型的結(jié)構(gòu)旨在使虛擬電廠更好地適應(yīng)動(dòng)態(tài)電價(jià)、靈活應(yīng)對(duì)光伏發(fā)電波動(dòng)性，實(shí)現(xiàn)能源的調(diào)度和利用。其中，時(shí)間差分誤差是強(qiáng)化學(xué)習(xí)中用于衡量預(yù)測(cè)的誤差的一種指標(biāo)。在強(qiáng)化學(xué)習(xí)框架中，智能體通過與環(huán)境互動(dòng)來學(xué)習(xí)決策策略，時(shí)間差分誤差通常用于評(píng)估當(dāng)前策略的預(yù)測(cè)值與實(shí)際值之間的差異。

圖1基于DQN的儲(chǔ)能交互模型

3實(shí)驗(yàn)過程與結(jié)果

3.1DQN參數(shù)設(shè)置

本文使用DQN進(jìn)行儲(chǔ)能交互，DQN參數(shù)細(xì)節(jié)如表1所示。

3.2實(shí)驗(yàn)結(jié)果

本文中使用Python進(jìn)行儲(chǔ)能策略的挖掘與仿真分析，利用的數(shù)據(jù)涵蓋了光伏發(fā)電的功率、負(fù)載需求的功率，以及電力市場(chǎng)上的實(shí)時(shí)變化電價(jià)。將訓(xùn)練好的DQN用于測(cè)試。根據(jù)DQN測(cè)試結(jié)果可知，在時(shí)間段內(nèi)，儲(chǔ)能系統(tǒng)根據(jù)電價(jià)情況進(jìn)行充放電操作，以調(diào)度收益。具體而言，當(dāng)電價(jià)超過平均水平時(shí)，儲(chǔ)能進(jìn)行充電以獲取正獎(jiǎng)勵(lì)；相反，當(dāng)電價(jià)低于平均水平時(shí)，系統(tǒng)會(huì)向用戶的電負(fù)荷釋放電能。而在光伏發(fā)電功率超過負(fù)載需求的情況下，根據(jù)棄光懲罰約束，儲(chǔ)能在一些時(shí)間段選擇充電，而在另一些時(shí)間段則不進(jìn)行充電，以避免發(fā)生過充現(xiàn)象。綜上，DQN算法能夠有效地挖掘出儲(chǔ)能系統(tǒng)的操作策略，使其能夠適應(yīng)不同電價(jià)情況下的充放電需求。

4安科瑞Acrel-2000MG微電網(wǎng)能量管理系統(tǒng)

4.1概述

Acrel-2000MG儲(chǔ)能能量管理系統(tǒng)是安科瑞專門針對(duì)工商業(yè)儲(chǔ)能電站研制的本地化能量管理系統(tǒng)，可實(shí)現(xiàn)了儲(chǔ)能電站的數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢與分析、可視化監(jiān)控、報(bào)警管理、統(tǒng)計(jì)報(bào)表、策略管理、歷史曲線等功能。其中策略管理，支持多種控制策略選擇，包含計(jì)劃曲線、削峰填谷、需量控制、防逆流等。該系統(tǒng)不僅可以實(shí)現(xiàn)下級(jí)各儲(chǔ)能單元的統(tǒng)一監(jiān)控和管理，還可以實(shí)現(xiàn)與上級(jí)調(diào)度系統(tǒng)和云平臺(tái)的數(shù)據(jù)通訊與交互，既能接受上級(jí)調(diào)度指令，又可以滿足遠(yuǎn)程監(jiān)控與運(yùn)維，確保儲(chǔ)能系統(tǒng)安全、穩(wěn)定、可靠、經(jīng)濟(jì)運(yùn)行。

4.2應(yīng)用場(chǎng)景

適用于工商業(yè)儲(chǔ)能電站、新能源配儲(chǔ)電站。

4.3系統(tǒng)結(jié)構(gòu)

4.4系統(tǒng)功能

（1）實(shí)時(shí)監(jiān)管

對(duì)微電網(wǎng)的運(yùn)行進(jìn)行實(shí)時(shí)監(jiān)管，包含市電、光伏、風(fēng)電、儲(chǔ)能、充電樁及用電負(fù)荷，同時(shí)也包括收益數(shù)據(jù)、天氣狀況、節(jié)能減排等信息。

（2）智能監(jiān)控

對(duì)系統(tǒng)環(huán)境、光伏組件、光伏逆變器、風(fēng)電控制逆變一體機(jī)、儲(chǔ)能電池、儲(chǔ)能變流器、用電設(shè)備等進(jìn)行實(shí)時(shí)監(jiān)測(cè)，掌握微電網(wǎng)系統(tǒng)的運(yùn)行狀況。

（3）功率預(yù)測(cè)

對(duì)分布式發(fā)電系統(tǒng)進(jìn)行短期、超短期發(fā)電功率預(yù)測(cè)，并展示合格率及誤差分析。

（4）電能質(zhì)量

實(shí)現(xiàn)整個(gè)微電網(wǎng)系統(tǒng)范圍內(nèi)的電能質(zhì)量和電能可靠性狀況進(jìn)行持續(xù)性的監(jiān)測(cè)。如電壓諧波、電壓閃變、電壓不平衡等穩(wěn)態(tài)數(shù)據(jù)和電壓暫升/暫降、電壓中斷暫態(tài)數(shù)據(jù)進(jìn)行監(jiān)測(cè)分析及錄波展示，并對(duì)電壓、電流瞬變進(jìn)行監(jiān)測(cè)。

（5）可視化運(yùn)行

實(shí)現(xiàn)微電網(wǎng)無人值守，實(shí)現(xiàn)數(shù)字化、智能化、便捷化管理;對(duì)重要負(fù)荷與設(shè)備進(jìn)行不間斷監(jiān)控。

（6）優(yōu)化控制

通過分析歷史用電數(shù)據(jù)、天氣條件對(duì)負(fù)荷進(jìn)行功率預(yù)測(cè)，并結(jié)合分布式電源出力與儲(chǔ)能狀態(tài)，實(shí)現(xiàn)經(jīng)濟(jì)優(yōu)化調(diào)度，以降低尖峰或者高峰時(shí)刻的用電量，降低企業(yè)綜合用電成本。

（7）收益分析

用戶可以查看光伏、儲(chǔ)能、充電樁三部分的每天電量和收益數(shù)據(jù)，同時(shí)可以切換年報(bào)查看每個(gè)月的電量和收益。

（8）能源分析

通過分析光伏、風(fēng)電、儲(chǔ)能設(shè)備的發(fā)電效率、轉(zhuǎn)化效率，用于評(píng)估設(shè)備性能與狀態(tài)。

（9）策略配置

微電網(wǎng)配置主要對(duì)微電網(wǎng)系統(tǒng)組成、基礎(chǔ)參數(shù)、運(yùn)行策略及統(tǒng)計(jì)值進(jìn)行設(shè)置。其中策略包含計(jì)劃曲線、削峰填谷、需量控制、新能源消納、逆功率控制等。

5硬件及其配套產(chǎn)品

6結(jié)論

在當(dāng)前能源轉(zhuǎn)型的背景下，儲(chǔ)能技術(shù)作為一種重要的能源存儲(chǔ)手段，受到了廣泛關(guān)注。本文采用DQN算法，結(jié)合光伏發(fā)電功率、負(fù)荷功率和電力市場(chǎng)的實(shí)時(shí)動(dòng)態(tài)電價(jià)等因素，進(jìn)行了虛擬電廠儲(chǔ)能策略挖掘仿真研究。結(jié)果顯示，在光伏發(fā)電功率大于負(fù)荷功率時(shí)，儲(chǔ)能根據(jù)電價(jià)情況進(jìn)行充放電操作，以調(diào)度收益，從而實(shí)現(xiàn)了對(duì)虛擬電廠儲(chǔ)能系統(tǒng)的智能化管理。未來的研究可以進(jìn)一步探討不同約束條件下的儲(chǔ)能調(diào)度策略，并考慮更多的環(huán)境因素和實(shí)際應(yīng)用場(chǎng)景。

【參考文獻(xiàn)】

[1]田壁源，常喜強(qiáng)，戚紅燕，等.基于混合博弈的園區(qū)虛擬電廠廣義儲(chǔ)能共享與協(xié)同優(yōu)化調(diào)度[J].電力需求側(cè)管理，2023，25（4）：8-14

[2]李鵬程.基于混合博弈和虛擬電廠的電力市場(chǎng)運(yùn)行優(yōu)化研究[D].蘭州：蘭州理工大學(xué)，2023.

[3]安科瑞企業(yè)微電網(wǎng)設(shè)計(jì)與應(yīng)用手冊(cè).2022年05版

[4]高琳，劉甲林，李靜.基于深度Q網(wǎng)絡(luò)的虛擬電廠儲(chǔ)能數(shù)據(jù)挖掘