一种基于改进SAC算法的六轴机械臂路径规划

doi:10.3969/j.issn.1004-132X.2025.12.022

摘要/Abstract

摘要：

为提升柔性动作-评价（SAC）算法的收敛速度及训练的稳定性，在引入优势函数与奖励聚中机制的基础上，提出一种改进SAC算法。为验证改进SAC算法的训练效果，在六轴机械臂路径规划场景中进行了仿真分析，并与深度确定性策略梯度（DDPG）算法、双延迟深度确定性策略梯度（TD3）算法及SAC算法进行对比。结果显示，改进SAC算法在收敛速度和稳定性上均超越DDPG、TD3与SAC算法，训练1500回合后其路径规划成功率较SAC算法提高4.8%。进一步的实验验证了改进SAC算法的规划结果在真实环境中的可行性与有效性。

关键词: 六轴机械臂, 路径规划, 优势函数, 奖励聚中, 改进SAC算法

Abstract:

To improve the convergence speed and training stability of the SAC（soft actor-critic） algorithm， an improved SAC algorithm was proposed， incorporating the concepts of advantage functions and reward centering. To validate the performance of the improved SAC algorithm， simulation analyses were conducted in a six-axis robotic arm path planning scenario， comparing with DDPG（deep deterministic policy gradient）， TD3（twin delayed deep deterministic policy gradient）， and the original SAC algorithm. The results show that the improved SAC outperforms DDPG， TD3， and SAC in both of the convergence speed and stability. After 1500 training episodes， the path planning success rate increases by 4.8% compared to the SAC algorithm. Further experiments confirm the feasibility and effectiveness of the improved SAC algorithm's planning results in real-world environments.

Key words: six-axis robotic arm, path planning, advantage function, reward centering, improved SAC algorithm

中图分类号:

TP242

妥吉英, 徐笑南, 李俊, 张玉琛, 黄安, 胡都, 刘梓林. 一种基于改进SAC算法的六轴机械臂路径规划[J]. 中国机械工程, 2025, 36(12): 2986-2992.

Jiying TUO, Xiaonan XU, Jun LI, Yuchen ZHANG, An HUANG, Du HU, Zilin LIU. A Six-axis Robotic Arm Path Planning Based on Improved SAC Algorithm[J]. China Mechanical Engineering, 2025, 36(12): 2986-2992.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://www.cmemo.org.cn/CN/10.3969/j.issn.1004-132X.2025.12.022

https://www.cmemo.org.cn/CN/Y2025/V36/I12/2986

图/表 13

图1 MDH参数法

Fig.1 MDH parameter method

表1 MDH参数表

Tab.1 MDH parameter table

关节	$l i - 1$ /mm	$α i - 1$ /rad	$d i$ /mm	$θ i$ /rad
1	64.2	1.571	149.58	0
2	305	0	0	$-$ 1.571
3	0	1.571	0	3.142
4	0	$-$ 1.571	213.91	0
5	0	1.571	0	1.571
6	0	0	74.91	0

表1 MDH参数表

Tab.1 MDH parameter table

关节	$l i - 1$ /mm	$α i - 1$ /rad	$d i$ /mm	$θ i$ /rad
1	64.2	1.571	149.58	0
2	305	0	0	$-$ 1.571
3	0	1.571	0	3.142
4	0	$-$ 1.571	213.91	0
5	0	1.571	0	1.571
6	0	0	74.91	0

图2 圆柱形包围盒简图

Fig.2 Schematic diagram of a cylindrical bounding box

图3 碰撞检测流程图

Fig.3 Collision detection flowchart

图4 马尔可夫决策过程示意图

Fig.4 Markov decision process diagram

图5 SAC算法框图

Fig.5 SAC algorithm block diagram

图6 机械臂深度强化学习仿真模型

Fig.6 Robotic arm deep reinforcement learning simulation model

图7 回合数-奖励对比曲线

Fig.7 Episode vs Reward Comparison Curve

图8 回合数-成功率对比曲线

Fig.8 Episode vs success rate comparison curve

表2 不同的DRL算法路径规划结果对比

Tab.2 Comparison of path planning results of different DRL algorithms

	DDPG	TD3	SAC	改进SAC
成功率/%	82.46	91.44	91.53	96.33

图9 六轴机械臂末端运动路径图

Fig.9 End-effector motion path diagram of a six-axis robotic arm

图10 六轴机械臂路径规划实验

Fig.10 Six-axis robotic arm path planning experiment

图11 六轴机械臂关节转角仿真曲线（实线）与关节角度测量曲线（点线）的对比

Fig.11 Comparison of joint angle simulation curve （solid line） and joint angle measurement curve （dashed line） for a six-axis robotic arm

参考文献 19

[1]	LIU Y C， HUANG C Y.DDPG-based Adaptive Robust Tracking Control for Aerial Manipulators with Decoupling Approach［J］.IEEE Transactions on Cybernetics， 2021（99）：1-14.
[2]	ALI A A， SHI J F， ZHU Z H.Path Planning of 6-DOF Free-floating Space Robotic Manipulators Using Reinforcement Learning［J］.Acta Astronautica， 2024， 224：367-378.
[3]	戴晟潭，王寅，尚晨晨.基于深度强化学习的多无人车协同路径规划方法［J/OL］.北京航空航天大学学报， 2024.（2024-09-10）［2025-04-08］. .
	DAI Shengtan， WANG Yin， SHANG Chenchen.Multi-UAV Collaborative Path Planning Method Based on Deep Reinforcement Learning［J/OL］. Journal of Beijing University of Aeronautics and Astronautics， 2024. （2024-09-10）［2025-04-08］. .
[4]	陈学松，杨宜民.强化学习研究综述［J］.计算机应用研究， 2010， 27（8）：2834-2838.
	CHEN Xuesong， YANG Yimin. A Review of Reinforcement Learning Research［J］. Computer Applications and Research， 2010， 27（8）：2834-2838.
[5]	李永迪，李彩虹，张耀玉，等.基于改进SAC算法的移动机器人路径规划［J］.计算机应用， 2022， 43（2）：654-660.
	LI Yongdi， LI Caihong， ZHANG Yaoyu， et al. Path Planning of Mobile Robots Based on the Improved SAC algorithm［J］. Computer Applications， 2022， 43（2）：654-660.
[6]	刘正发.面向局部路径规划的深度强化学习移动机器人导航［D］.贵阳：贵州大学，2021.
	LIU Zhengfa. Deep Reinforcement Learning-based Mobile Robot Navigation for Local Path Planning［D］. Guiyang： Guizhou University， 2021.
[7]	裴结安.基于深度强化学习的机械臂动态避障规划策略研究［D］.南昌：华东交通大学，2022.
	PEI Jiean. Research on Dynamic Obstacle Avoidance Planning Strategy of Robotic Arm Based on Deep Reinforcement Learning［D］. Nanchang：East China Jiaotong University， 2022.
[8]	ZHANG Y， CHEN P.Path Planning of a Mobile Robot for a Dynamic Indoor Environment Based on an SAC-LSTM Algorithm［J］.Sensors， 2023， 23（24）： 9802.
[9]	KHALIL W， KLEINFINGER J.A New Geometric Notation for Open and Closed-loop Robots［C］∥IEEE International Conference on Robotics & Automation.San Francisco， 1986：1174-1179.
[10]	靳雁霞，乔星宇，张翎，等.布料与刚体模型间的空间网格碰撞检测方法［J］.中国图象图形学报， 2024， 29（10）：3144-3156.
	JIN Yanxia， QIAO Xingyu， ZHANG Ling， et al. A Spatial Mesh Collision Detection Method Between Cloth and Rigid Body Models［J］. Journal of Image and Graphics， 29（10）， 3144-3156..
[11]	CAO X， ZOU X， JIA C，et al.RRT-based Path Planning for an Intelligent Litchi-picking Manipulator［J］.Computers and Electronics in Agriculture， 2019， 156：105-118.
[12]	SUTTON R S， BARTO A G.Reinforcement Learning： an Introduction［J］.IEEE Transactions on Neural Networks， 1998， 9（5）：1054.
[13]	BELLMAN R. A Markovian Decision Process［J］. Journal of Mathematics and Mechanics， 1957（6）： 679-684.
[14]	张宇航，陈雯柏，张佳琪，等. 一种面向六自由度机械臂柔顺装配的深度强化学习策略［J］. 重庆理工大学学报（自然科学）， 2025， 38（12）： 148-154.
	ZHANG Yuhang， CHEN Wenbai， ZHANG Jiaqi， et al.A Deep Reinforcement Learning Strategy for Compliant Assembly of Six-degree-of-freedom Robotic Arms［J］. Journal of Chongqing University of Technology （Natural Science）， 2025， 38（12）： 148-154.
[15]	HAARNOJA T， ZHOU A， HARTIKAINEN K，et al.Soft Actor-Critic Algorithms and Applications［EB/OL］.［2025-04-08］..
[16]	何联格，李天华，聂远航，等.一种基于DDPG算法的6轴机械臂控制研究［J］.重庆理工大学学报（自然科学）， 2023， 37（9）：134-140.
	HE Lianluo， LI Tianhua， NIE Yuanhuang， et al. A Study on the Control of a 6-axis Robotic Arm Based on the DDPG Algorithm［J］. Journal of Chongqing University of Technology（Natural Science）， 2023， 37（9）， 134-140.
[17]	时高松，赵清海，董鑫，等. 基于 PPO 算法的自动驾驶人机交互式强化学习方法［J］. 计算机应用研究， 2024， 41（9）：2732-2736.
	SHI Gaosong， ZHAO Qinghai， DONG Xin， et al. A Human-machine Interactive Reinforcement Learning Method for Autonomous Driving Based on the PPO Algorithm［J］. Application Research of Computers， 2024， 41（9）：2732-2736.
[18]	方宝富，余婷婷，王浩，等. 稀疏奖励场景下基于状态空间探索的多智能体强化学习算法［J］. 模式识别与人工智能， 2024， 37（5）： 435-446.
	FANG Baofu， YU Tingting， WANG Hao， et al.Multi-agent Reinforcement Learning Algorithm Based on State Space Exploration in Sparse Reward Scenarios［J］. Pattern Recognition and Artificial Intelligence， 2024， 37（5）： 435-446.
[19]	NAIK A， WAN Y， TOMAR M， et al. Reward Centering［EB/OL］. ［2025-04-08］..