基于深度强化学习的电动汽车协调充电算法
信息技术与网络安全 4期
张子霖
(中国科学技术大学 自动化系，安徽 合肥230026)
摘要： 针对具有多个目标的多辆电动汽车协调充电问题，包括降低用户的充电成本并保证足够的电池电量，同时避免变压器过载，提出一种基于多智能体深度强化学习的分布式算法。该算法首先将上述问题建模为马尔可夫决策过程，然后采用一种通信神经网络模型进行信息交互，实现了全局信息在多个智能体上的分布式计算。最后，通过仿真验证了该算法在住宅充电区域的有效性和可扩展性。
中圖分類號： TP18
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.04.013
引用格式： 張子霖. 基于深度強化學習的電動汽車協調充電算法[J].信息技術與網絡安全，2022，41(4)：83-89.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.04.013
引用格式： 張子霖. 基于深度強化學習的電動汽車協調充電算法[J].信息技術與網絡安全，2022，41(4)：83-89.
A deep RL-based algorithm for coordinated charging of electric vehicles
Zhang Zilin
(Department of Automation，University of Science and Technology of China，Hefei 230026，China)
Abstract： A distributed algorithm based on multi-agent deep reinforcement learning(DRL) is proposed in this paper to solve the problem of coordinated charging of multiple electric vehicles(EVs) with multiple objectives, including reducing the charging cost, ensuring sufficient battery state of charge(SoC) for users, and avoiding the transformer overload. To this end, the above problem is formulated as a Markov Decision Process(MDP), and then a communication neural network(CommNet) model is adopted for information interaction to realize the distributed computation of global information on multiple EVs. Finally, simulations are presented to verify the effectiveness and scalability of the proposed algorithm in a residential charging area.
Key words : electric vehicle；multi-agent system；deep reinforcement learning；distributed charging scheduling
0 引言
電動汽車作為一種新型的分布式移動資源，已成為智能電網發展的重要組成部分[1]，越來越多的研究人員開始關注電動汽車在電網中的社會價值。但電動汽車的日益普及也不可避免地給用戶和電網帶來了一系列的問題和挑戰。例如，大量電動汽車的不協調充電，將導致電網承受不可預測的負荷。因此，如何設計多輛電動汽車在整個工作過程中的協調充電策略，以降低能源成本，保證用戶對電動汽車荷電狀態的滿意度，并將對配電網的影響降到最低，是亟需解決的問題。
近年來，為了解決電動汽車的協調充電問題，出現了許多分布式調度方法。例如，為了最大限度地提高電動汽車用戶的便利性，開發了一種分散的基于交替方向乘法器的優化算法[2]。為使電動汽車充電成本最小化，使用電動汽車充電概率模型建立了一個嚴格凸分散系統形式的多人博弈[3]。但上述研究只關注了單一的目標，這在實際應用中往往是受限制的。針對多目標的協調充電問題，通過多智能體自私協同優化的方案，除了實現用戶利益以外，也保證避免變壓器過載[4]，但它沒有充分考慮狀態空間泛化和值函數逼近的影響，導致擬合性能較差，計算開銷也不理想。針對該問題，文獻[5]考慮采用基于機器學習的方法，其以收斂速度快、計算效率高而被廣泛應用于大規模數據的高維問題中。
本文詳細內容請下載：http://m.tom3567.com/resource/share/2000004104
作者信息：
張子霖
(中國科學技術大學 自動化系，安徽 合肥230026)
此內容為AET網站原創，未經授權禁止轉載。