基于强化学习自适应鲁棒控制的异构双阀协调控制策略研究

doi:10.3969/j.issn.1004-132X.2025.10.022

中国机械工程 ›› 2025, Vol. 36 ›› Issue (10): 2335-2342.DOI: 10.3969/j.issn.1004-132X.2025.10.022

• 机械基础工程 • 上一篇

基于强化学习自适应鲁棒控制的异构双阀协调控制策略研究

苏世杰¹(), 程泳钦¹, 胡毅¹^,², 何建辉¹, 杨书吉¹

^1.江苏科技大学机械工程学院, 镇江, 212003
^2.航天晨光股份有限公司, 南京, 211100

收稿日期:2024-09-10 出版日期:2025-10-25 发布日期:2025-11-05
通讯作者: 苏世杰
作者简介:苏世杰^*（通信作者），男，1981年生，教授、博士。研究方向为电液伺服控制、智能控制以及仿生机械设计等。E-mail：sushijie@just.edu.cn。
第一联系人：闫祖龙，男，1999 年生，硕士研究生。研究方向为基于深度学习的精密加工光学元件的表面形貌预测和性能分析。E-mail：yanzulong@njfu.edu.cn。庞启龙^*（通信作者），男，1979 年生，副教授。研究方向为表面微观结构的分析与重构、parylene镀膜工艺与设备、分子动力学仿真。E-mail：qlpang@njfu.edu.cn。
基金资助:
江苏省高等学校基础学科研究重大资助项目(23KJA40005);江苏省镇江市产业前瞻与共性关键技术项目(GY2024003)

Coordination Control of Dual-valve Electrohydraulic Servo Systems Based on Integration of Reinforcement Learning and Adaptive Robust Control

Shijie SU¹(), Yongqin CHENG¹, Yi HU¹^,², Jianhui HE¹, Shuji YANG¹

^1.School of Mechanical Engineering，Jiangsu University of Science and Technology，Zhenjiang，Jiangsu，212003
^2.Aerosun Co. ，Ltd. ，Nanjing，211100

Received:2024-09-10 Online:2025-10-25 Published:2025-11-05
Contact: Shijie SU

摘要/Abstract

摘要：

采用小流量伺服阀和大流量比例阀并联驱动同一个执行元件的异构双阀电液伺服系统具有成本低、流量大、精度高的优势，但当系统参数发生变化或受到内外扰动时，其控制性能和稳定性会急剧下降。为此提出一种融合强化学习SAC（soft actor-critic）算法与自适应鲁棒控制算法（ARC）的异构双阀协调控制策略。该控制策略一方面通过设计的流量分配策略减小比例阀与伺服阀在工作切换中产生的瞬态误差，另一方面通过上层SAC算法学习目标电液伺服系统的动态非线性特性，进而实现对下层ARC算法控制参数的动态调节，以增强系统的控制性能与鲁棒性。该研究为后续的仿真和实验验证提供了坚实的理论基础。

关键词: 电液伺服系统, 双阀并联控制, 流量分配, 伺服控制

Abstract:

The dual-valve electrohydraulic servo systems， which employed a small-flow servo valve and a large-flow proportional valve to drive the same actuator in parallel， offered advantages such as low cost， high flow rate and high accuracy. However， the control performance of the systems was compromised by parameter uncertainties， system nonlinearities and disturbances. To address these issues， a dual-valve coordinated control strategy was proposed which integrates the SAC reinforcement learning algorithm with the ARC algorithm. This control strategy aimed to reduce transient errors generated by the proportional valves and the servo valves during work switching through a specifically designed flow allocation strategy. Additionally， the upper SAC algorithm learned the dynamic nonlinearities of the target electrohydraulic servo systems. Consequently， the control parameters of the lower ARC algorithm were dynamically adjusted， thereby enhancing the system's control performance and robustness.The findings of this study establish a solid theoretical foundation for subsequent simulation and experimental validation.

Key words: electrohydraulic servo system, dual-valve parallel control, flow allocation, servo control

中图分类号:

TP273

苏世杰, 程泳钦, 胡毅, 何建辉, 杨书吉. 基于强化学习自适应鲁棒控制的异构双阀协调控制策略研究[J]. 中国机械工程, 2025, 36(10): 2335-2342.

Shijie SU, Yongqin CHENG, Yi HU, Jianhui HE, Shuji YANG. Coordination Control of Dual-valve Electrohydraulic Servo Systems Based on Integration of Reinforcement Learning and Adaptive Robust Control[J]. China Mechanical Engineering, 2025, 36(10): 2335-2342.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://www.cmemo.org.cn/CN/10.3969/j.issn.1004-132X.2025.10.022

https://www.cmemo.org.cn/CN/Y2025/V36/I10/2335

图/表 4

图1 异构双阀协调控制系统的工作原理

Fig.1 The design of heterogeneous dual-valve control system

图2 异构双阀协调控制SAC-ARC概念模型

Fig.2 Structure of the proposed SAC-ARC scheme

图3 伺服阀与比例阀的输入信号与系统总流量的映射关系

Fig.3 The relationship of the servo valve and proportional directional valve between the input signal and system the total flow

图4 基于SAC-ARC控制的异构双阀协调控制系统模型

Fig.4 The main framework of the dual-valve control system based on the SAC-ARC control strategy

参考文献 25

[1]	YANG Huayong， SHI Hu， GONG Guofang， et al. Electro-hydraulic Proportional Control of Thrust System for Shield Tunneling Machine［J］. Automation in Construction， 2009， 18（7）： 950-956.
[2]	NGUYEN M T， DANG T D， AHN K K. Application of Electro-hydraulic Actuator System to Control Continuously Variable Transmission in Wind Energy Converter［J］. Energies， 2019， 12（13）： 2499.
[3]	QianLYU， YU Xiaoling， MA Haihui， et al. Applications of Machine Learning to Reciprocating Compressor Fault Diagnosis： a Review［J］. Processes， 2021， 9（6）： 909.
[4]	BAI Yanhong， QUAN Long. Improving Electro-hydraulic System Performance by Double-valve Actuation［J］. Transactions of the Canadian Society for Mechanical Engineering， 2016， 40（3）： 289-301.
[5]	YU Shaojuan， SONG Junjun. Iterative Learning Control of Double Servo Valve Controlled Electro Hydraulic Servo System［C］∥2011 Seventh International Conference on Computational Intelligence and Security. IEEE， 2011： 278-282.
[6]	SU Shijie， XUE Ting， CHEN Yun， et al. Harmonic Control of a Dual-valve Hydraulic Servo System with Dynamically Allocated Flows［J］. Asian Journal of Control， 2023， 25（3）： 1939-1956.
[7]	焦宗夏，吴帅，李洋，等. 液压元件及系统智能化发展现状及趋势思考［J］. 机械工程学报， 2023， 59（20）： 357-384.
	JIAO Zongxia， WU Shuai， LI Yang， et al. Development Status and Trends of the Intelligence of Hydraulic Components and Systems［J］. Journal of Mechanical Engineering， 2023， 59（20）： 357-384.
[8]	郭具涛，吕佑龙，戴铮，等. 基于复合规则和强化学习的混流装配线调度方法［J］. 中国机械工程， 2023， 34（21）： 2600-2606.
	GUO Jutao， Youlong LYU， DAI Zheng， et al. Compound Rules and Reinforcement Learning Based Scheduling Method for Mixed Model Assembly Lines［J］. China Mechanical Engineering， 2023， 34（21）： 2600-2606.
[9]	CORONATO A， NAEEM M， de PIETRO G， et al. Reinforcement Learning for Intelligent Healthcare Applications： a Survey［J］. Artificial Intelligence in Medicine， 2020， 109： 101964.
[10]	石晴晴，张润锋，张连洪，等. 基于强化学习算法的水下滑翔机路径跟踪研究［J］. 中国机械工程， 2023， 34（9）： 1100-1110.
	SHI Qingqing， ZHANG Runfeng， ZHANG Lianhong， et al. Research on Underwater Gliders Path Tracking Based on Reinforcement Learning Algorithm［J］. China Mechanical Engineering， 2023， 34（9）： 1100-1110.
[11]	CHEN Pengzhan， HE Zhiqiang， CHEN Chuanxi， et al. Control Strategy of Speed Servo Systems Based on Deep Reinforcement Learning［J］. Algorithms， 2018， 11（5）： 65.
[12]	HE Jianhui， SU Shijie， WANG Hairong， et al. Online PID Tuning Strategy for Hydraulic Servo Control Systems via SAC-based Deep Reinforcement Learning［J］. Machines， 2023， 11（6）： 593.
[13]	YUAN Xiaoming， WANG Yu， ZHANG Ruicong， et al. Reinforcement Learning Control of Hydraulic Servo System Based on TD3 Algorithm［J］. Machines， 2022， 10（12）： 1244.
[14]	YU Xinyi， FAN Yuehai， XU Siyu， et al. A Self-adaptive SAC-PID Control Approach Based on Reinforcement Learning for Mobile Robots［J］. International Journal of Robust and Nonlinear Control， 2022， 32（18）： 9625-9643.
[15]	ZHUANG Huixuan， SUN Qinglin， CHEN Zengqiang. Sliding Mode Control for Electro-hydraulic Proportional Directional Valve-controlled Position Tracking System Based on an Extended State Observer［J］. Asian Journal of Control， 2021， 23（4）： 1855-1869.
[16]	HE Jianhui， ZHOU Lijun， LI Cunjun， et al. Control Strategy of Hydraulic Servo Control Systems Based on the Integration of Soft Actor-Critic and Adaptive Robust Control［J］. IEEE Access， 2024， 12： 63629-63643.
[17]	苏世杰，游有鹏，齐继阳，等. 电液伺服试验机力控系统负载刚度自适应控制［J］. 控制理论与应用， 2018， 35（4）： 429-437.
	SU Shijie， YOU Youpeng， QI Jiyang， et al. Load Rigidity Adaptive Control of Electro-hydraulic Servo Universal Testing Machine Force Control System［J］. Control Theory & Applications， 2018， 35（4）： 429-437.
[18]	CHEN Zheng， YAO Bin， WANG Qingfeng. μ-synthesis-based Adaptive Robust Control of Linear Motor Driven Stages with High-frequency Dynamics： a Case Study［J］. IEEE/ASME Transactions on Mechatronics， 2015， 20（3）： 1482-1490.
[19]	YAO Jianyong， JIAO Zongxia， YAO Bin， et al. Nonlinear Adaptive Robust Force Control of Hydraulic Load Simulator［J］. Chinese Journal of Aeronautics， 2012， 25（5）： 766-775.
[20]	LI Chao， CHEN Zheng， YAO Bin. Adaptive Robust Synchronization Control of a Dual-linear-motor-driven Gantry with Rotational Dynamics and Accurate Online Parameter Estimation［J］. IEEE Transactions on Industrial Informatics， 2018， 14（7）： 3013-3022.
[21]	TANG Hengliang， WANG Anqi， XUE Fei， et al. A Novel Hierarchical Soft Actor-Critic Algorithm for Multi-logistics Robots Task Allocation［J］. IEEE Access， 2021， 9： 42568-42582.
[22]	LEE M H， MOON J. Deep Reinforcement Learning-based Model-free Path Planning and Collision Avoidance for UAVs： a Soft Actor-Critic with Hindsight Experience Replay Approach［J］. ICT Express， 2023， 9（3）： 403-408.
[23]	DING Feng， MA Guanfeng， CHEN Zhikui， et al. Averaged Soft Actor-Critic for Deep Reinforcement Learning［J］. Complexity， 2021， 2021（1）： 6658724.
[24]	WONG C C， CHIEN S Y， FENG H M， et al. Motion Planning for Dual-arm Robot Based on Soft Actor-critic［J］. IEEE Access， 2021， 9： 26871-26885.
[25]	CHU Zhenzhong， WANG Fulun， LEI Tingjun， et al. Path Planning Based on Deep Reinforcement Learning for Autonomous Underwater Vehicles under Ocean Current Disturbance［J］. IEEE Transactions on Intelligent Vehicles， 2023， 8（1）： 108-120.

基于强化学习自适应鲁棒控制的异构双阀协调控制策略研究

Coordination Control of Dual-valve Electrohydraulic Servo Systems Based on Integration of Reinforcement Learning and Adaptive Robust Control

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 25

相关文章 15

编辑推荐

Metrics

[1]	陈浩, 巩明德, 赵丁选, 张伟, 张悦, 郝春友, . 电液主动悬架灵敏度分析与自适应跟踪控制[J]. 中国机械工程, 2023, 34(04): 481-489.
[2]	董振乐, 杨英浩, 姚建勇, 张政, 李阁强, 王帅. 匹配和不匹配干扰共存时电液伺服系统预设性能渐近跟踪控制[J]. 中国机械工程, 2022, 33(20): 2437-2443.
[3]	黄康, 巩淼, 钟华勇, 王开来. 基于广义预测相邻耦合理论的多点顶推系统同步控制策略[J]. 中国机械工程, 2016, 27(15): 2009-2014.
[4]	董振乐, 马大为, 姚建勇, 王晓锋. 含磁滞补偿的电液伺服系统预设性能跟踪控制[J]. 中国机械工程, 2016, 27(08): 995-1000.
[5]	吴路路, 韩江, 田晓青, 夏链. 无偏差最小二乘法伺服控制系统参数辨识[J]. 中国机械工程, 2016, 27(01): 109-113.
[6]	朱勇, 姜万录, 刘思远, 郑直, . 非线性液压弹簧力对电液伺服系统非线性动力学行为影响的研究[J]. 中国机械工程, 2015, 26(8): 1085-1091,1104.
[7]	田威, 戴家隆, 周卫雪, 曾远帆, 廖文和. 附加外部轴的工业机器人自动钻铆系统分站式任务规划与控制技术[J]. 中国机械工程, 2014, 25(1): 23-27.
[8]	倪敬, 邵斌, 蒙臻, 陈国金. 液压拉床双缸IPSO-PID伺服同步驱动控制研究[J]. 中国机械工程, 2013, 24(11): 1494-1500.
[9]	龙满林1, 2, 付永领1, 李光华2, 陈双桥2. 自抗扰算法在直流力矩电机伺服系统中的应用[J]. 中国机械工程, 2012, 23(9): 1047-1050.
[10]	黎波, 严骏, 曾拥华, 郭刚. 液压挖掘臂关节伺服系统非线性动态特征研究[J]. 中国机械工程, 2012, 23(15): 1807-1810.
[11]	文广1, 巩明德2, 张红彦2. H_∞控制的主从遥操作力觉双向伺服控制系统研究[J]. 中国机械工程, 2011, 22(22): 2717-2722.
[12]	倪敬1, 彭丽辉2, 陈国金1. 四缸驱动起模机非线性PID同步控制研究 [J]. 中国机械工程, 2011, 22(14): 1645-1651.
[13]	李新有, 刘玉, 柏, 峰, 邓晓林. 转炉煤气回收液压伺服系统性能分析 [J]. 中国机械工程, 2011, 22(11): 1294-1297.
[14]	曹勇;;李华德;. 机床直线进给伺服的FSMC型迭代学习控制研究[J]. J4, 2009, 20(14): 0-1703.
[15]	张细政;;王耀南;. 电液伺服系统参数自校正滑模变结构控制[J]. J4, 2009, 20(11): 0-1292.