淺談適用于大規模充電場站的深度強化學習有序充電策略
江蘇安科瑞電能服務有限公司 江蘇江陰 214400
摘要：針對大型充電場站內規模化電動汽車的有序充電問題，提出一種基于雙深度Q網絡深度強化學習方法的電動汽車充電安排策略，能有效計及電動汽車出行模式和充電需求的不確定性，實現充電場站充電成本化的目標。對電動汽車泊車時間和充電需求特征進行提取，實現降低充電成本、提高電網穩定性和供電服務質量的目標。深度強化學習在成本優化和負荷優化方面，結合負荷預測和構建智能充電站優化選擇系統具有廣闊應用前景。未來可在算法優化、融合更多數據和技術、拓展應用場景及政策標準制定等方面進一步發展。
關鍵詞：電動汽車；充電場站；深度強化學習；有序充電；
隨著新能源汽車銷量的快速增長，大規模充電場站的建設需求日益凸顯。據乘聯會銷量數據顯示，2017年中國新能源乘用車銷量達到了57.6萬臺，位列全球，且保持著較高的增長率。中國汽車工業協會預計，2018年新能源汽車銷量將超過100萬輛。然而，大規模充電場站面臨著諸多挑戰。
一方面，整體電網用電峰值負荷增加。尤其對于電動汽車充電行為，傍晚的充電峰值負荷將大大增加。報告顯示，到2020年與2030年，在無序充電情形下，國家電網公司經營區域峰值負荷增加1361萬千瓦和1.53億千瓦。另一方面，配電網增容改造需求增加、安全管理難度增加。部分地區隨著電動汽車的增加，充電需求也隨之增加，這將導致部分地區的充電設施建設發展的提升。同時，電動汽車的增加對大電流供電穩定性需求也在增加，不合理的接線可能會增加各級配電網保護動作跳閘的風險。此外，供電服務質量和效率要求提升。居民區充電樁一般是單個用戶小容量“零散報裝"的模式，相比于“整體報裝"模式，工作量、服務效率和服務質量都有較高需求。
在這樣的背景下，深度強化學習在大規模充電場站中的應用顯得尤為重要。深度強化學習能夠有效計及電動汽車出行模式和充電需求的不確定性，實現充電場站充電成本化的目標。通過對電動汽車泊車時間和充電需求特征進行提取，建立適用于大規模電動汽車有序充電的馬爾可夫決策過程模型，并應用強化學習算法求解電動汽車有序充電策略，可以有效減少充電場站的充電成本，同時使模型訓練難度不受電動汽車規模影響。
本文旨在解決大規模充電場站面臨的諸多問題，利用深度強化學習技術實現電動汽車的有序充電，從而達到降低充電場站充電成本、提高電網穩定性和供電服務質量的目標。
隨著新能源汽車市場的不斷擴大，大規模充電場站的建設和運營面臨著巨大挑戰。深度強化學習作為一種具有強大學習能力和決策能力的人工智能技術，為解決這些問題提供了新的思路和方法。
通過對電動汽車泊車時間和充電需求特征的提取，建立馬爾可夫決策過程模型，可以更好地理解電動汽車的充電行為和需求不確定性。應用雙深度Q網絡（DDQN）等深度強化學習算法求解電動汽車有序充電策略，能夠在考慮電動汽車出行模式和充電需求不確定性的情況下，實現充電場站充電成本化。
具體而言，本文的研究目標包括以下幾個方面：一是減少充電場站的充電成本，通過優化充電策略，降低電力消耗和運營成本；二是提高電網穩定性，避免充電高峰對電網造成過大壓力，減少變壓器過載等風險；三是提升供電服務質量，滿足用戶的充電需求，提高服務效率和用戶滿意度。
深度強化學習在大規模充電場站中的應用具有重要的現實意義和廣闊的發展前景。通過本文的研究，希望為大規模充電場站的建設和運營提供有效的技術支持和決策依據。
在大規模充電場站中，深度強化學習具有諸多優勢。首先，它能夠處理電動汽車出行模式和充電需求的不確定性。由于電動汽車的使用行為具有隨機性，充電需求難以準確預測，深度強化學習可以通過與環境的不斷交互，學習適應這種不確定性，從而制定出更加合理的充電策略。例如，通過對歷史充電數據的學習，深度強化學習算法可以預測不同時間段的充電需求概率分布，進而優化充電安排，降低充電成本。
其次，深度強化學習可以實現全局解。在大規模充電場站中，充電策略的制定需要考慮多個因素，如電網負荷、充電成本、用戶需求等。傳統的優化方法往往難以同時考慮這些因素，而深度強化學習可以通過不斷地試錯和學習，逐漸逼近全局解。例如，通過對不同充電策略的模擬和評估，深度強化學習算法可以找到在滿足電網穩定性和用戶需求的前提下，充電成本化的策略。
此外，深度強化學習具有自適應性和可擴展性。隨著電動汽車市場的不斷發展和充電場站規模的不斷擴大，充電需求和環境也會發生變化。深度強化學習算法可以自動適應這些變化，無需人工重新設計優化規則。同時，深度強化學習算法可以很容易地擴展到更大規模的充電場站和更多的電動汽車，具有良好的可擴展性。
有序充電對充電場站運營和電網具有重要意義。對于充電場站運營而言，有序充電可以提高充電樁的利用率，減少車輛排隊時間，提升運營效益。例如，在車多樁少的情況下，通過合理安排充電次序和設定中止充電SOC值，可以提高充電站的服務效率。同時，有序充電可以降低充電成本。根據彈性電價機制，將充電時間安排在電價低的谷時段，可以有效減少充電費用。對于電網而言，有序充電可以實現削峰填谷，減小電網負荷波動，提高電網穩定性和供電質量。數據顯示，到2020年與2030年，在無序充電情形下，國家電網公司經營區域峰值負荷將分別增加1361萬千瓦和1.53億千瓦。而通過有序充電，可以有效緩解充電高峰對電網造成的壓力，減少配電網增容改造需求，降低安全管理難度。
5安科瑞充電樁收費運營云平臺助力有序充電開展
5.1概述
AcrelCloud-9000安科瑞充電柱收費運營云平臺系統通過物聯網技術對接入系統的電動電動自行車充電站以及各個充電整法行不間斷地數據采集和監控，實時監控充電樁運行狀態，進行充電服務、支付管理，交易結算，資要管理、電能管理，明細查詢等。同時對充電機過溫保護、漏電、充電機輸入/輸出過壓，欠壓，絕緣低各類故障進行預警；充電樁支持以太網、4G或WIFI等方式接入互聯網，用戶通過微信、支付寶，云閃付掃碼充電。
5.2應用場所
適用于民用建筑、一般工業建筑、居住小區、實業單位、商業綜合體、學校、園區等充電樁模式的充電基礎設施設計。
5.3系統結構
系統分為四層：
1）即數據采集層、網絡傳輸層、數據層和客戶端層。
2）數據采集層：包括電瓶車智能充電樁通訊協議為標準modbus-rtu。電瓶車智能充電樁用于采集充電回路的電力參數，并進行電能計量和保護。
3）網絡傳輸層：通過4G網絡將數據上傳至搭建好的數據庫服務器。
4）數據層：包含應用服務器和數據服務器，應用服務器部署數據采集服務、WEB網站，數據服務器部署實時數據庫、歷史數據庫、基礎數據庫。
5）應客戶端層：系統管理員可在瀏覽器中訪問電瓶車充電樁收費平臺。終端充電用戶通過刷卡掃碼的方式啟動充電。
小區充電平臺功能主要涵蓋充電設施智能化大屏、實時監控、交易管理、故障管理、統計分析、基礎數據管理等功能，同時為運維人員提供運維APP，充電用戶提供充電小程序。
5.4安科瑞充電樁云平臺系統功能
5.4.1智能化大屏
智能化大屏展示站點分布情況，對設備狀態、設備使用率、充電次數、充電時長、充電金額、充電度數、充電樁故障等進行統計顯示，同時可查看每個站點的站點信息、充電樁列表、充電記錄、收益、能耗、故障記錄等。統一管理小區充電樁，查看設備使用率，合理分配資源。
5.4.2實時監控
實時監視充電設施運行狀況，主要包括充電樁運行狀態、回路狀態、充電過程中的充電電量、充電電壓電流，充電樁告警信息等。
5.4.3交易管理
平臺管理人員可管理充電用戶賬戶，對其進行賬戶進行充值、退款、凍結、注銷等操作，可查看小區用戶每日的充電交易詳細信息。
5.4.4故障管理
設備自動上報故障信息，平臺管理人員可通過平臺查看故障信息并進行派發處理，同時運維人員可通過運維APP收取故障推送，運維人員在運維工作完成后將結果上報。充電用戶也可通過充電小程序反饋現場問題。
5.4.5統計分析
通過系統平臺，從充電站點、充電設施、、充電時間、充電方式等不同角度，查詢充電交易統計信息、能耗統計信息等。
5.4.6基礎數據管理
在系統平臺建立運營商戶，運營商可建立和管理其運營所需站點和充電設施，維護充電設施信息、價格策略、折扣、優惠活動，同時可管理在線卡用戶充值、凍結和解綁。
5.4.7運維APP
面向運維人員使用，可以對站點和充電樁進行管理、能夠進行故障閉環處理、查詢流量卡使用情況、查詢充電\充值情況，進行遠程參數設置，同時可接收故障推送
5.4.8充電小程序
面向充電用戶使用，可查看附近空閑設備，主要包含掃碼充電、賬戶充值，充電卡綁定、交易查詢、故障申訴等功能。
5.5系統硬件配置
類型 | 型號 | 圖片 | 功能 |
安科瑞充電樁收費運營云平臺 | AcrelCloud-9000 |
| 安科瑞響應節能環保、綠色出行的號召，為廣大用戶提供慢充和快充兩種充電方式壁掛式、落地式等多種類型的充電樁，包含智能7kW交流充電樁，30kW壁掛式直流充電樁，智能60kW/120kW直流一體式充電樁等來滿足新能源汽車行業快速、經濟、智能運營管理的市場需求，提供電動汽車充電軟件解決方案，可以隨時隨地享受便捷安全的充電服務，微信掃一掃、微信公眾號、支付寶掃一掃、支付寶服務窗，充電方式多樣化，為車主用戶提供便捷、安全的充電服務。實現對動力電池快速、安全、合理的電量補給，能計時，計電度、計金額作為市民購電終端，同時為提高公共充電樁的效率和實用性。 |
互聯網版智能交流樁 | AEV-AC007D |
| 額定功率7kW，單相三線制，防護等級IP65，具備防雷 保護、過載保護、短路保護、漏電保護、智能監測、智能計量、遠程升級，支持刷卡、掃碼、即插即用。 通訊方：4G/wifi/藍牙支持刷卡，掃碼、免費充電可選配顯示屏 |
互聯網版智能直流樁 | AEV-DC030D |
| 額定功率30kW，三相五線制，防護等級IP54，具備防雷保護、過載保護、短路保護、漏電保護、智能監測、智能計量、恒流恒壓、電池保護、遠 程升級，支持刷卡、掃碼、即插即用 通訊方式：4G/以太網 支持刷卡，掃碼、免費充電 |
互聯網版智能直流樁 | AEV-DC060S |
| 額定功率60kW，三相五線制，防護等級IP54，具備防雷保護、過載保護、短路保護、漏電保護、智能監測、智能計量、恒流恒壓、電池保護、遠程升級，支持刷卡、掃碼、即插即用 通訊方式：4G/以太網 支持刷卡，掃碼、免費充電 |
互聯網版智能直流樁 | AEV-DC120S |
| 額定功率120kW，三相五線制，防護等級IP54，具備防雷保護、過載保護、短路保護、漏電保護、智能監測、智能計量、恒流恒壓、電池保護、遠程升級，支持刷卡、掃碼、即插即用 通訊方式：4G/以太網 支持刷卡，掃碼、免費充電 |
10路電瓶車智能充電樁 | ACX10A系列 |
| 10路承載電流25A，單路輸出電流3A，單回路功率1000W，總功率5500W。充滿自停、斷電記憶、短路保護、過載保護、空載保護、故障回路識別、遠程升級、功率識別、獨立計量、告警上報。 ACX10A-TYHN：防護等級IP21，支持投幣、刷卡，掃碼、免費充電 ACX10A-TYN：防護等級IP21，支持投幣、刷卡，免費充電 ACX10A-YHW：防護等級IP65，支持刷卡，掃碼，免費充電 ACX10A-YHN：防護等級IP21，支持刷卡，掃碼，免費充電 ACX10A-YW：防護等級IP65，支持刷卡、免費充電 ACX10A-MW：防護等級IP65，僅支持免費充電 |
2路智能插座 | ACX2A系列 |
| 2路承載電流20A，單路輸出電流10A，單回路功率2200W，總功率4400W。充滿自停、斷電記憶、短路保護、過載保護、空載保護、故障回路識別、遠程升級、功率識別，報警上報。 ACX2A-YHN：防護等級IP21，支持刷卡、掃碼充電 ACX2A-HN：防護等級IP21，支持掃碼充電 ACX2A-YN：防護等級IP21，支持刷卡充電 |
20路電瓶車智能充電樁 | ACX20A系列 |
| 20路承載電流50A，單路輸出電流3A，單回路功率1000W，總功率11kW。充滿自停、斷電記憶、短路保護、過載保護、空載保護、故障回路識別、遠程升級、功率識別，報警上報。 ACX20A-YHN：防護等級IP21，支持刷卡，掃碼，免費充電 ACX20A-YN：防護等級IP21，支持刷卡，免費充電 |
落地式電瓶車智能充電樁 | ACX10B系列 |
| 10路承載電流25A，單路輸出電流3A，單回路功率1000W，總功率5500W。充滿自停、斷電記憶、短路保護、過載保護、空載保護、故障回路識別、遠程升級、功率識別、獨立計量、告警上報。 ACX10B-YHW：戶外使用，落地式安裝，包含1臺主機及5根立柱，支持刷卡、掃碼充電,不帶廣告屏 ACX10B-YHW-LL：戶外使用，落地式安裝，包含1臺主機及5根立柱，支持刷卡、掃碼充電。液晶屏支持U盤本地投放圖片及視頻廣告 |
絕緣監測儀 | AIM-D100-T |
| AIM-D100-T系列直流絕緣監測儀可以應用在10~1000V的直流系統中，用于在線監測直流不接地系統正負極對地絕緣電阻，當絕緣電阻低于設定值時，發出預警或報警信號。 |
智能邊緣計算網關 | ANet-2E4SM |
| 4路RS485串口，光耦隔離，2路以太網接口，支持ModbusRtu、ModbusTCP、DL/T645-1997、DL/T645-2007、CJT188-2004、OPCUA、ModbusTCP（主、從）、104（主、從）、建筑能耗、SNMP、MQTT；（主模塊）輸入電源：DC12V～36V。支持4G擴展模塊，485擴展模塊。 |
擴展模塊ANet-485 | M485模塊：4路光耦隔離RS485 | ||
擴展模塊ANet-M4G | M4G模塊：支持4G全網通 | ||
導軌式單相電表 | ADL200 |
| 單相電參量U、I、P、Q、S、PF、F測量，輸入電流：10（80）A； 電能精度：1級 支持Modbus和645協議 證書：MID/CE認證 |
導軌式電能計量表 | ADL400 |
| 三相電參量U、I、P、Q、S、PF、F測量，分相總有功電能，總正反向有功電能統計，總正反向無功電能統計；紅外通訊；電流規格：經互感器接入3×1（6）A，直接接入3×10（80）A，有功電能精度0.5S級，無功電能精度2級 證書：MID/CE認證 |
無線計量儀表 | ADW300 |
| 三相電參量U、I、P、Q、S、PF、F測量，有功電能計量（正、反向）、四象限無功電能、總諧波含量、分次諧波含量（2～31次）；A、B、C、N四路測溫；1路剩余電流測量；支持RS485/LoRa/2G/4G/NB；LCD顯示；有功電能精度：0.5S級（改造項目） 證書：CPA/CE認證 |
導軌式直流電表 | DJSF1352-RN |
| 直流電壓、電流、功率測量，正反向電能計量，復費率電能統計，SOE事件記錄:8位LCD顯示:紅外通訊:電壓輸入*大1000V，電流外接分流器接入(75mV)或霍爾元件接入(0-5V);電能精度1級，1路485通訊，1路直流電能計量AC/DC85-265V供電 證書：MID/CE認證 |
面板直流電表 | PZ72L-DE |
| 直流電壓、電流、功率測量，正反向電能計量:紅外通訊:電壓輸入*大1000V，電流外接分流器接入·(75mV)或霍爾元件接入(0-20mA0-5V);電能精度1級 證書：CE認證 |
電氣防火限流式保護器 | ASCP200-63D |
| 導軌式安裝，可實現短路限流滅弧保護、過載限流保護、內部超溫限流保護、過欠壓保護、漏電監測、線纜溫度監測等功能;1路RS485通訊，1路NB或4G無線通訊(選配);額定電流為0~63A，額定電流菜單可設。 |
開口式電流互感器 | AKH-0.66/K |
| AKH-0.66K系列開口式電流互感器安裝方便，無須拆一次母線，亦可帶電操作，不影響客戶正常用電，可與繼電器保護、測量以及計量裝置配套使用。 |
霍爾傳感器 | AHKC |
| 霍爾電流傳感器主要適用于交流、直流、脈沖等復雜信號的隔離轉換，通過霍爾效應原理使變換后的信號能夠直接被AD、DSP、PLC、二次儀表等各種采集裝置直接采集和接受，響應時間快，電流測量范圍寬精度高，過載能力強，線性好，抗干擾能力強。 |
智能剩余電流繼電器 | ASJ |
| 該系列繼電器可與低壓斷路器或低壓接觸器等組成組合式的剩余電流動作保護器，主要適用于交流50Hz，額定電壓為400V及以下的TT或TN系統配電線路，防止接地故障電流引起的設備和電氣火災事故，也可用于對人身觸電危險提供間接接觸保護。 |
6.總結
深度強化學習能夠有效應對大規模充電場站中電動汽車出行模式和充電需求的不確定性。通過對電動汽車泊車時間和充電需求特征的提取，實現了充電場站充電成本化的目標，同時使模型訓練難度不受電動汽車規模影響。
在大規模充電場站中，深度強化學習具有諸多優勢。它能夠處理不確定性，實現全局解，具有自適應性和可擴展性。通過與環境的不斷交互，深度強化學習算法可以學習適應復雜多變的充電需求和電網環境，制定出更加合理的充電策略。
總之，深度強化學習在大規模充電場站中的應用為解決充電場站面臨的諸多問題提供了有效的技術支持和決策依據，具有重要的現實意義和廣闊的發展前景。
參考文獻：
[1]陳果.適用于大規模充電場站的深度強化學習有序充電策略
[2]陳呂鵬，潘振寧，余濤，等.基于動態非合作博奔的大規模電動汽車實時優化調度
[3]安科瑞企業微電網設計與應用手冊.2022.05版
咨詢電話