A Six-axis Robotic Arm Path Planning Based on Improved SAC Algorithm

doi:10.3969/j.issn.1004-132X.2025.12.022

Abstract

Abstract:

To improve the convergence speed and training stability of the SAC（soft actor-critic） algorithm， an improved SAC algorithm was proposed， incorporating the concepts of advantage functions and reward centering. To validate the performance of the improved SAC algorithm， simulation analyses were conducted in a six-axis robotic arm path planning scenario， comparing with DDPG（deep deterministic policy gradient）， TD3（twin delayed deep deterministic policy gradient）， and the original SAC algorithm. The results show that the improved SAC outperforms DDPG， TD3， and SAC in both of the convergence speed and stability. After 1500 training episodes， the path planning success rate increases by 4.8% compared to the SAC algorithm. Further experiments confirm the feasibility and effectiveness of the improved SAC algorithm's planning results in real-world environments.

Key words: six-axis robotic arm, path planning, advantage function, reward centering, improved SAC algorithm

摘要：

为提升柔性动作-评价（SAC）算法的收敛速度及训练的稳定性，在引入优势函数与奖励聚中机制的基础上，提出一种改进SAC算法。为验证改进SAC算法的训练效果，在六轴机械臂路径规划场景中进行了仿真分析，并与深度确定性策略梯度（DDPG）算法、双延迟深度确定性策略梯度（TD3）算法及SAC算法进行对比。结果显示，改进SAC算法在收敛速度和稳定性上均超越DDPG、TD3与SAC算法，训练1500回合后其路径规划成功率较SAC算法提高4.8%。进一步的实验验证了改进SAC算法的规划结果在真实环境中的可行性与有效性。

关键词: 六轴机械臂, 路径规划, 优势函数, 奖励聚中, 改进SAC算法

CLC Number:

TP242

Jiying TUO, Xiaonan XU, Jun LI, Yuchen ZHANG, An HUANG, Du HU, Zilin LIU. A Six-axis Robotic Arm Path Planning Based on Improved SAC Algorithm[J]. China Mechanical Engineering, 2025, 36(12): 2986-2992.

妥吉英, 徐笑南, 李俊, 张玉琛, 黄安, 胡都, 刘梓林. 一种基于改进SAC算法的六轴机械臂路径规划[J]. 中国机械工程, 2025, 36(12): 2986-2992.

Figures/Tables 13

Fig.1 MDH parameter method

Tab.1 MDH parameter table

关节	$l i - 1$ /mm	$α i - 1$ /rad	$d i$ /mm	$θ i$ /rad
1	64.2	1.571	149.58	0
2	305	0	0	$-$ 1.571
3	0	1.571	0	3.142
4	0	$-$ 1.571	213.91	0
5	0	1.571	0	1.571
6	0	0	74.91	0

Tab.1 MDH parameter table

关节	$l i - 1$ /mm	$α i - 1$ /rad	$d i$ /mm	$θ i$ /rad
1	64.2	1.571	149.58	0
2	305	0	0	$-$ 1.571
3	0	1.571	0	3.142
4	0	$-$ 1.571	213.91	0
5	0	1.571	0	1.571
6	0	0	74.91	0

Fig.2 Schematic diagram of a cylindrical bounding box

Fig.3 Collision detection flowchart

Fig.4 Markov decision process diagram

Fig.5 SAC algorithm block diagram

Fig.6 Robotic arm deep reinforcement learning simulation model

Fig.7 Episode vs Reward Comparison Curve

Fig.8 Episode vs success rate comparison curve

Tab.2 Comparison of path planning results of different DRL algorithms

	DDPG	TD3	SAC	改进SAC
成功率/%	82.46	91.44	91.53	96.33

Fig.9 End-effector motion path diagram of a six-axis robotic arm

Fig.10 Six-axis robotic arm path planning experiment

Fig.11 Comparison of joint angle simulation curve （solid line） and joint angle measurement curve （dashed line） for a six-axis robotic arm

References 19

[1]	LIU Y C， HUANG C Y.DDPG-based Adaptive Robust Tracking Control for Aerial Manipulators with Decoupling Approach［J］.IEEE Transactions on Cybernetics， 2021（99）：1-14.
[2]	ALI A A， SHI J F， ZHU Z H.Path Planning of 6-DOF Free-floating Space Robotic Manipulators Using Reinforcement Learning［J］.Acta Astronautica， 2024， 224：367-378.
[3]	戴晟潭，王寅，尚晨晨.基于深度强化学习的多无人车协同路径规划方法［J/OL］.北京航空航天大学学报， 2024.（2024-09-10）［2025-04-08］. .
	DAI Shengtan， WANG Yin， SHANG Chenchen.Multi-UAV Collaborative Path Planning Method Based on Deep Reinforcement Learning［J/OL］. Journal of Beijing University of Aeronautics and Astronautics， 2024. （2024-09-10）［2025-04-08］. .
[4]	陈学松，杨宜民.强化学习研究综述［J］.计算机应用研究， 2010， 27（8）：2834-2838.
	CHEN Xuesong， YANG Yimin. A Review of Reinforcement Learning Research［J］. Computer Applications and Research， 2010， 27（8）：2834-2838.
[5]	李永迪，李彩虹，张耀玉，等.基于改进SAC算法的移动机器人路径规划［J］.计算机应用， 2022， 43（2）：654-660.
	LI Yongdi， LI Caihong， ZHANG Yaoyu， et al. Path Planning of Mobile Robots Based on the Improved SAC algorithm［J］. Computer Applications， 2022， 43（2）：654-660.
[6]	刘正发.面向局部路径规划的深度强化学习移动机器人导航［D］.贵阳：贵州大学，2021.
	LIU Zhengfa. Deep Reinforcement Learning-based Mobile Robot Navigation for Local Path Planning［D］. Guiyang： Guizhou University， 2021.
[7]	裴结安.基于深度强化学习的机械臂动态避障规划策略研究［D］.南昌：华东交通大学，2022.
	PEI Jiean. Research on Dynamic Obstacle Avoidance Planning Strategy of Robotic Arm Based on Deep Reinforcement Learning［D］. Nanchang：East China Jiaotong University， 2022.
[8]	ZHANG Y， CHEN P.Path Planning of a Mobile Robot for a Dynamic Indoor Environment Based on an SAC-LSTM Algorithm［J］.Sensors， 2023， 23（24）： 9802.
[9]	KHALIL W， KLEINFINGER J.A New Geometric Notation for Open and Closed-loop Robots［C］∥IEEE International Conference on Robotics & Automation.San Francisco， 1986：1174-1179.
[10]	靳雁霞，乔星宇，张翎，等.布料与刚体模型间的空间网格碰撞检测方法［J］.中国图象图形学报， 2024， 29（10）：3144-3156.
	JIN Yanxia， QIAO Xingyu， ZHANG Ling， et al. A Spatial Mesh Collision Detection Method Between Cloth and Rigid Body Models［J］. Journal of Image and Graphics， 29（10）， 3144-3156..
[11]	CAO X， ZOU X， JIA C，et al.RRT-based Path Planning for an Intelligent Litchi-picking Manipulator［J］.Computers and Electronics in Agriculture， 2019， 156：105-118.
[12]	SUTTON R S， BARTO A G.Reinforcement Learning： an Introduction［J］.IEEE Transactions on Neural Networks， 1998， 9（5）：1054.
[13]	BELLMAN R. A Markovian Decision Process［J］. Journal of Mathematics and Mechanics， 1957（6）： 679-684.
[14]	张宇航，陈雯柏，张佳琪，等. 一种面向六自由度机械臂柔顺装配的深度强化学习策略［J］. 重庆理工大学学报（自然科学）， 2025， 38（12）： 148-154.
	ZHANG Yuhang， CHEN Wenbai， ZHANG Jiaqi， et al.A Deep Reinforcement Learning Strategy for Compliant Assembly of Six-degree-of-freedom Robotic Arms［J］. Journal of Chongqing University of Technology （Natural Science）， 2025， 38（12）： 148-154.
[15]	HAARNOJA T， ZHOU A， HARTIKAINEN K，et al.Soft Actor-Critic Algorithms and Applications［EB/OL］.［2025-04-08］..
[16]	何联格，李天华，聂远航，等.一种基于DDPG算法的6轴机械臂控制研究［J］.重庆理工大学学报（自然科学）， 2023， 37（9）：134-140.
	HE Lianluo， LI Tianhua， NIE Yuanhuang， et al. A Study on the Control of a 6-axis Robotic Arm Based on the DDPG Algorithm［J］. Journal of Chongqing University of Technology（Natural Science）， 2023， 37（9）， 134-140.
[17]	时高松，赵清海，董鑫，等. 基于 PPO 算法的自动驾驶人机交互式强化学习方法［J］. 计算机应用研究， 2024， 41（9）：2732-2736.
	SHI Gaosong， ZHAO Qinghai， DONG Xin， et al. A Human-machine Interactive Reinforcement Learning Method for Autonomous Driving Based on the PPO Algorithm［J］. Application Research of Computers， 2024， 41（9）：2732-2736.
[18]	方宝富，余婷婷，王浩，等. 稀疏奖励场景下基于状态空间探索的多智能体强化学习算法［J］. 模式识别与人工智能， 2024， 37（5）： 435-446.
	FANG Baofu， YU Tingting， WANG Hao， et al.Multi-agent Reinforcement Learning Algorithm Based on State Space Exploration in Sparse Reward Scenarios［J］. Pattern Recognition and Artificial Intelligence， 2024， 37（5）： 435-446.
[19]	NAIK A， WAN Y， TOMAR M， et al. Reward Centering［EB/OL］. ［2025-04-08］..