考虑锂电池老化与热效应的电动汽车SAC能量管理策略

doi:10.3969/j.issn.1004-132X.2026.10.013

摘要/Abstract

摘要：

针对电动汽车混合动力储能系统在复杂动态工况下的多目标协调带来的实时决策与鲁棒性挑战，提出了一种基于软动作-评价（SAC）的能量管理策略。该策略融合专家先验约束以抑制非理性探索，加速在高维连续动作空间中的学习并增强稳定性。显式引入锂离子电池的热效应与老化模型，在充放电与功率分配上实现多目标协同优化，兼顾系统效率与电池寿命。在混合工况的10 ℃、25 ℃、40 ℃条件下，所提策略的能量损失性能分别达到动态规划方法的97.0%、98.2%和97.3%，展现出在复杂动态环境中更优的能效表现与可靠性。研究表明，结合物理特性建模与强化学习的混合方法为混合动力储能系统的智能调度提供了一条有效路径。

关键词: 电动汽车, 混合动力储能系统, 能量管理, 深度强化学习

Abstract:

A soft actor-critic （SAC）-based energy management strategy was proposed to address the real-time decision-making and robustness challenges arising from multi-objective coordination of HESS for electric vehicles under complex dynamic operating conditions. Expert prior constraints were integrated into the proposed strategy to curb erratic exploration， accelerate learning in high-dimensional continuous action spaces， and improve system stability. Meanwhile， thermal dynamics and aging models of lithium-ion batteries were explicitly incorporated， and multi-objective collaborative optimization of charging-discharging processes and power split was realized to balance system efficiency and battery lifetime. Under the mixed driving cycle at 10°C， 25°C， and 40°C， the energy-loss performance of the proposed strategy reaches 97.0%， 98.2%， and 97.3% of that achieved by the dynamic programming method， which demonstrates superior energy performance and reliability under varying thermal conditions.The results suggest that integrating physics-informed models with reinforcement learning is an effective route for adaptive HESS scheduling.

Key words: electric vehicles, hybrid energy storage system （HESS）, energy management, deep reinforcement learning

中图分类号:

U462.3

王春, 申渝秦, 曾权宏, 唐滔. 考虑锂电池老化与热效应的电动汽车SAC能量管理策略[J]. 中国机械工程, 2026, 37(10): 2502-2510.

WANG Chun, SHEN Yuqin, ZENG Quanhong, TANG Tao. SAC-based Energy Management Strategy for Electric Vehicles Considering Lithium Battery Aging and Thermal Effects[J]. China Mechanical Engineering, 2026, 37(10): 2502-2510.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://www.cmemo.org.cn/CN/10.3969/j.issn.1004-132X.2026.10.013

https://www.cmemo.org.cn/CN/Y2026/V37/I10/2502

图/表 19

图1 HESS 拓扑结构

Fig.1 Topological structure diagram of the HESS

表1 电动汽车主要参数

Tab.1 Main parameter of electric vehicle

名称	取值	名称	取值
整车质量	1845 kg	滚动阻力系数	0.025
重力加速度	0.98 m/s²	空气阻力系数	0.360
传动效率	82.1%	旋转质量转换系数	1.030
迎风面积	2.530 m²

图2 等效电路模型

Fig.2 Equivalent circuit model

图3 锂电池老化量化计算过程

Fig.3 Lithium battery aging calculation process

图4 DC/DC变换器效率响应曲面

Fig.4 The efficiency response surface of DC/DC converter

图5 基于SAC-DRL的能量管理框架

Fig.5 EMS framework based on SAC-DRL algorithm

表2 SAC-DRL算法的超参数设置

Tab.2 hyperparameters for SAC-DRL algorithm

参数	设置或值
批评者网络	Fully-connected Layer 32-32
批评者网络学习率	0.0002
批评者网络L2正则化系数	0.0001
行动者网络	Fully-connected Layer 32-32
行动者网络学习率	0.0001
行动者网络L2正则化系数	0.0002
折扣系数	0.999
经验池缓存大小	1 000 000
随机体验最小批量	128
平滑系数	0.001

图6 SAC测试结果

Fig.6 Test results of SAC

图7 SAC测试结果（专家经验）

Fig.7 Test results of SAC （expertise）

图8 锂电池温度变化曲线

Fig.8 Lithium battery temperature curve

图9 锂电池SOH变化曲线

Fig.9 SOH curve of lithium battery

图10 在不同策略下锂电池和超级电容的SOC

Fig.10 Lithium battery and ultracapacitor SOC under different strategies

图11 策略能量损失的比较

Fig.11 Comparison of energy loss of strategy

表3 策略能量损失统计 (kJ)

Tab.3 Energy loss statistics of strategy

温度	Tag1	Tag2	Tag3	Tag4	Tag5	Tag6	Tag7	Tag8	DP
10℃	5394.3	5381.4	5408.9	5389.3	5424.4	5587.8	5416.2	5227.1	4740.2
25℃	5044.1	5014.2	5059.7	5026.8	5026.2	5198.1	5024.7	4853.1	4384.6
40℃	4907.6	4866.9	4913.9	4863.9	4864.9	5020.3	4877.1	4683.9	4133.3

图12 混合工况速度

Fig.12 The speed of the mixed cycle condition

图13 策略能量损失的比较（混合工况测试）

Fig.13 Comparison of energy loss of strategy （composite cycle test）

表4 策略能量损失统计（混合工况测试） (kJ)

Tab.4 Energy loss statistics of strategy （composite cycle test）

温度	Tag1	Tag2	Tag3	Tag4	Tag5	Tag6	Tag7	Tag8	DP
10 ℃	6157.5	6171.3	6153.8	6161.8	6135.8	6164.6	6149.7	6064.9	5880.0
25 ℃	5507.5	5533.3	5500.1	5521.1	5508.7	5515.5	5488.2	5407.2	5308.7
40 ℃	5189.5	5222.1	5189.3	5185.4	5166.0	5177.9	5181.1	5074.6	4935.6

表5 不同随机种子下NEDC与HWFET工况的总能量损耗 (kJ)

Tab.5 Total energy consumption of NEDC and HWFET driving cycles with different random seeds

随机数种子	NEDC	HWFET
1	4728.60	14 208.48
50	4725.36	14 213.88
100	4738.32	14 235.84
150	4728.96	14 200.56
200	4733.64	14 223.24

表6 在不同工况下的单步计算耗时统计 (ms)

Tab.6 Statistics of single-step computation time under different operating conditions

工况

step mean

step

max

step

min

agent

mean

agent

max

参考文献 20

[1]	唐香蕉，高祖成，曾令全，等. 城市道路下混合动力汽车双层能量管理策略［J］. 中国机械工程， 2022， 33（16）： 2008-2015.
	TANG Xiangjiao， GAO Zucheng， ZENG Lingquan， et al. A Double-layer Energy Management Strategy for HEVs under Urban Traffics［J］. China Mechanical Engineering， 2022， 33（16）： 2008-2015.
[2]	严正峰，蒋光宗，姚明尧. 驱动系统效率最优的并联混合动力商用车模式切换及换挡控制策略［J］. 中国机械工程， 2024， 35（2）： 354-363.
	YAN Zhengfeng， JIANG Guangzong， YAO Mingyao. Mode Transition and Gear Shifting Control Strategy for Parallel Hybrid Commercial Vehicles Based on Optimal Drive System Efficiency［J］. China Mechanical Engineering， 2024， 35（2）： 354-363.
[3]	吴进军，颜丙杰，方继根，等. 插电式混合动力汽车的次优能量管理策略［J］. 中国机械工程， 2019， 30（11）： 1336-1342.
	WU Jinjun， YAN Bingjie， FANG Jigen，et al.Sub-optimal Energy Management Strategy for Plug-in Hybrid Electric Vehicles［J］. China Mechanical Engineering， 2019， 30（11）： 1336-1342.
[4]	尤国贵，卢剑伟，张国军，等. 插电式混合动力汽车能量管理策略研究综述［J］. 机械工程学报， 2025， 61（4）： 195-218.
	YOU Guogui， LU Jianwei， ZHANG Guojun， et al. Review of Research on Energy Management Strategy for Plug-in Hybrid Electric Vehicles［J］. Journal of Mechanical Engineering， 2025， 61（4）： 195-218.
[5]	WANG C， XIONG R， HE H， et al. Comparison of Decomposition Levels for Wavelet Transform Based Energy Management in a Plug-in Hybrid Electric Vehicle［J］. Journal of Cleaner Production， 2019， 210： 1085-1097.
[6]	曾繁琦，袁晓静，王旭平，等. 基于荷电状态惩罚函数的能量管理策略优化方法［J］. 中国机械工程， 2022， 33（7）： 852-857.
	ZENG Fanqi， YUAN Xiaojing， WANG Xuping， et al. Energy Management Strategy Optimization Method Based on SOC Penalty Function［J］. China Mechanical Engineering， 2022， 33（7）： 852-857.
[7]	曹延旭，魏中宝，宋若旸，等. 基于深度强化学习的跟驰场景中燃料电池混合动力汽车多目标能量管理研究［J］. 机械工程学报， 2025， 61（12）： 191-203.
	CAO Yanxu， WEI Zhongbao， SONG Ruoyang， et al. Research on Multi-objective EMS of Fuel Cell Hybrid Electric Vehicle under Car Following Scenario Based on Deep Reinforcement Learning［J］. Journal of Mechanical Engineering， 2025， 61（12）： 191-203.
[8]	WANG J， ZHOU J， ZHAO W. Deep Reinforcement Learning Based Energy Management Strategy for Fuel Cell/Battery/Supercapacitor Powered Electric Vehicle［J］. Green Energy and Intelligent Transportation， 2022， 1（2）： 100028.
[9]	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human-level Control through Deep Reinforcement Learning［J］. Nature， 2015， 518（7540）： 529-533.
[10]	唐小林，陈佳信，刘腾，等. 基于深度强化学习的混合动力汽车智能跟车控制与能量管理策略研究［J］. 机械工程学报， 2021， 57（22）： 237-246.
	TANG Xiaolin， CHEN Jiaxin， LIU Teng，et al.Research on Deep Reinforcement Learning-based Intelligent Car-following Control and Energy Management Strategy for Hybrid Electric Vehicles［J］.Journal of Mechanical Engineering， 2021， 57（22）： 237-246.
[11]	QI C， ZHU Y， SONG C， et al. Hierarchical Reinforcement Learning Based Energy Management Strategy for Hybrid Electric Vehicle［J］. Energy， 2022， 238： 121703.
[12]	LIU R， WANG C， TANG A， et al. A Twin Delayed Deep Deterministic Policy Gradient-based Energy Management Strategy for a Battery-ultracapacitor Electric Vehicle Considering Driving Condition Recognition with Learning Vector Quantization Neural Network［J］. Journal of Energy Storage， 2023， 71： 108147.
[13]	BARCELLONA S， COLNAGO S， DOTELLI G， et al. Aging Effect on the Variation of Li-ion Battery Resistance as Function of Temperature and State of Charge［J］. Journal of Energy Storage， 2022， 50： 104658.
[14]	MA S， JIANG M， TAO P， et al. Temperature Effect and Thermal Impact in Lithium-ion Batteries： a Review［J］. Progress in Natural Science： Materials International， 2018， 28（6）： 653-666.
[15]	WANG C， LIU R， TANG A， et al. A Reinforcement Learning-based Energy Management Strategy for a Batter-ultracapacitor Electric Vehicle Considering Temperature Effects［J］. International Journal of Circuit Theory and Applications， 2023， 51（10）： 4690-4710.
[16]	WANG C， LIU R， TANG A. Energy Management Strategy of Hybrid Energy Storage System for Electric Vehicles Based on Genetic Algorithm Optimization and Temperature Effect［J］. Journal of Energy Storage， 2022， 51： 104314.
[17]	郑悦，谢长君，黄亮，等. 锂电池与超级电容混合电动汽车系统在环综合测试［J］. 中国机械工程， 2016， 27（6）： 821-826.
	ZHENG Yue， XIE Changjun， HUANG Liang， et al. Powertrain in Loop Test System of Hybrid Electric Vehicles Combined Lithium Battery and Super Capacitor［J］. China Mechanical Engineering， 2016， 27（6）： 821-826.
[18]	STEIGER J， RICHTER G， WENK M， et al. Comparison of the Growth of Lithium Filaments and Dendrites under Different Conditions［J］. Electrochemistry Communications， 2015， 50： 11-14.
[19]	GAO L， LIU S， DOUGAL R A. Dynamic Lithium-ion Battery Model for System Simulation［J］. IEEE Transactions on Components and Packaging Technologies， 2002， 25（3）： 495-505.
[20]	LI C， XU X， ZHU H， et al. Research on Car-following Control and Energy Management Strategy of Hybrid Electric Vehicles in Connected Scene［J］. Energy， 2024， 293： 130586.