基于双注意力网络深度强化学习的柔性作业车间节能调度方法

doi:10.3969/j.issn.1004-132X.2026.10.014

摘要/Abstract

摘要：

针对柔性作业车间节能调度研究中工序-机器复杂关系建模不足，算法效率与解质量难以兼顾，冗余信息干扰决策等问题，以最小化最大完工时间与机器总能耗为优化目标，提出一种基于双注意力网络深度强化学习的调度优化方法。首先，构建双目标调度问题数学模型并转化为马尔可夫决策过程；设计包含工序消息Agent与机器消息Agent的双注意力网络，用于分别建模工序优先级约束和机器竞争关系与加工资格，精准捕捉工序-机器复杂关联关系并滤除冗余调度信息。其次，在深度强化学习框架下将工序选择与机器分配整合为联合决策问题，通过双目标协同优化机制生成工序-机器对的优先级概率分布，平衡运行效率与解质量。最后，在合成数据集与Mk1~Mk7基准数据集上开展对比实验，结果表明所提方法综合性能优势显著，可有效平衡解质量与运行效率，兼具实用性与优化性能。

关键词: 柔性作业车间节能调度问题, 深度强化学习, 双注意力网络, 多目标优化

Abstract:

To address the issues in existing research on the EEFJSP， including inadequate modeling of complex operation-machine relationships， the persistent trade-off between algorithm efficiency and solution quality， and decision-making interference from redundant information， this paper proposed a scheduling optimization method based on deep reinforcement learning （DRL） with a dual attention network （DAN）， targeting the minimization of makespan and total machine energy consumption. First， the bi-objective scheduling problem was mathematically formulated and further transformed into a Markov decision process， upon which a DAN consisting of an operation message agent and a machine message attention agent was developed to separately characterize operation precedence constraints， machine competition relationships and processing eligibility， enabling accurate capture of intricate operation-machine correlations while eliminating redundant scheduling information. Subsequently， within a DRL framework， operation selection and machine assignment were integrated into a joint decision-making problem， where a bi-objective collaborative optimization mechanism generated the priority probability distribution of operation-machine pairs to achieve a well-balanced trade-off between operation efficiency and solution quality. Finally， comparative experiments on synthetic datasets and the Mk1-Mk7 public benchmark datasets verified that the proposed method achieved prominent comprehensive performance， effectively reconciling solution quality with operation efficiency and delivering both strong practicability and superior optimization capability.

Key words: energy-efficient flexible job shop scheduling problem（EEFJSP）, deep reinforcement learning, dual attention network, multi-objective optimization

中图分类号:

TP39

曾丹, 杨武, 杜彦斌, 吕岩, 李聪波. 基于双注意力网络深度强化学习的柔性作业车间节能调度方法[J]. 中国机械工程, 2026, 37(10): 2511-2519.

ZENG Dan, YANG Wu, DU Yanbin, LYU Yan, LI Congbo. Energy-efficient Flexible Job Shop Scheduling Method via Dual Attention Network Based Deep Reinforcement Learning[J]. China Mechanical Engineering, 2026, 37(10): 2511-2519.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://www.cmemo.org.cn/CN/10.3969/j.issn.1004-132X.2026.10.014

https://www.cmemo.org.cn/CN/Y2026/V37/I10/2511

图/表 13

图1 基于双注意力网络深度强化学习的柔性作业车间节能调度方法总体框架

Fig.1 Overall framework for EEFJSP via dual attention network based deep reinforcement learning

图2 EEFJSP的一个实例和一个可行解

Fig.2 An instance and a feasible solution for EEFJSP

图3 双注意力网络框架

Fig.3 Framework of the dual attention network

图4 决策网络

Fig.4 Decision network

表1 PPO算法

Tab.1 PPO algorithm

算法1　PPO算法流程
输入：DAN，演员网络和评论家网络以及它们的参数θ和ϕ；
初始化经验池Memory并取样一批MaxStep个EEFJSP实例；
1 for iteration = 1，2，…，Ido
2 获取环境的初始状态 $s t$ ；
3 for Step = 1，2，…， MaxStep do
4 采样 $a t$ ~ $π θ (⋅ \| s t)$ ；
5 得到奖励r_i 并进入下一个状态 $s t + 1$ ；
6 Memory $← (s t, a t, r t, s t + 1)$ ；
7 $s t ← s t + 1$ ；
8 end for
9 for Step = 1，2，…， MaxStep do
10 计算每一步的广义优势估计 $A t ⌢$ ；
11 end for
12 fork = 1，2，…，Kdo
13 计算损失函数；
14 优化并更新参数θ和ϕ
15 end for
16 if iteration mod 20 = 0 then
17 采样新一批MaxStep个EEFJSP实例；
18 end if
19 if iteration mod 10 = 0 then
20 验证策略；
21 end if
22 清空经验池Memory；
23 end for
输出策略 $π θ (a t \| s t)$ 和估计器 $ν ϕ$ ；

表1 PPO算法

Tab.1 PPO algorithm

算法1　PPO算法流程
输入：DAN，演员网络和评论家网络以及它们的参数θ和ϕ；
初始化经验池Memory并取样一批MaxStep个EEFJSP实例；
1 for iteration = 1，2，…，Ido
2 获取环境的初始状态 $s t$ ；
3 for Step = 1，2，…， MaxStep do
4 采样 $a t$ ~ $π θ (⋅ \| s t)$ ；
5 得到奖励r_i 并进入下一个状态 $s t + 1$ ；
6 Memory $← (s t, a t, r t, s t + 1)$ ；
7 $s t ← s t + 1$ ；
8 end for
9 for Step = 1，2，…， MaxStep do
10 计算每一步的广义优势估计 $A t ⌢$ ；
11 end for
12 fork = 1，2，…，Kdo
13 计算损失函数；
14 优化并更新参数θ和ϕ
15 end for
16 if iteration mod 20 = 0 then
17 采样新一批MaxStep个EEFJSP实例；
18 end if
19 if iteration mod 10 = 0 then
20 验证策略；
21 end if
22 清空经验池Memory；
23 end for
输出策略 $π θ (a t \| s t)$ 和估计器 $ν ϕ$ ；

图5 关键超参数敏感性分析

Fig.5 Sensitivity analysis of key hyperparameters

表2 所提方法与4种PDRs方法在训练集上的结果对比

Tab.2 Comparison of the proposed method and four PDRs on the training dataset

规模		本文方法	FIFO	MOR	SPT	MWKR
15 × 10	目标	［112.67，631.30］	［148.72，793.6］	［147.77，1001.41］	［118.43，672.83］	［149.72，936.97］
15 × 10	时间/s	1.25	0.23	0.24	0.23	0.24
20 × 10	目标	［124.97，783.20］	［202.41，1424.44］	［198.45，1423.88］	［136.39，853.8］	［199.43，994.35］
20 × 10	时间/s	1.70	0.32	0.32	0.32	0.32
30 × 10	目标	［157.18，964.70］	［295.62，1667.05］	［296.52，2185.90］	［188.22，1138.12］	［298.02，1704.31］
30 × 10	时间/s	2.56	0.50	0.50	0.50	0.50
40 × 10	目标	［202.01，1061.30］	［398.61，2541.69］	［390.81，2112.67］	［245.19，1413.84］	［396.21，2091.47］
40 × 10	时间/s	3.44	0.71	0.71	0.71	0.71

图6 所提方法与4种PDRs方法在不同规模训练集上的非支配前沿解

Fig.6 Non-dominated frontier solutions of the method and four PDRs on the training datasets of different scales

表3 所提方法与其他先进算法在公开基准数据集上的结果对比

Tab.3 Comparison of the method and other advanced algorithms on the public benchmark datasets

规模		本文方法	NSGA-Ⅱ^［7］	INSGA-Ⅱ^［7］	AGA-IS^［23］	A2C-Gauss^［14］
Mk1	目标	［43.0，243.20］	［45，279.0］	［46，276.4］	—	［42，480］
Mk1	时间/s	0.45	—	37	—	0.79
Mk2	目标	［32.0，177.70］	［42，378.5］	［39，366.4］	［34，356.3］	［31，348］
Mk2	时间/s	0.48	—	32	—	0.82
Mk3	目标	［216.0，1453.80］	［264，3312.7］	［257，3310.2］	［205，2566.1］	［206，2763］
Mk3	时间/s	1.34	—	164	—	2.12
Mk4	目标	［68.0，415.80］	［91，1004.8］	［86，1003.1］	［85，901.3］	［70，878］
Mk4	时间/s	0.76	—	65	—	0.77
Mk5	目标	［186.0，1393.10］	［193，1260.2］	［192，1256.5］	［185，1295.2］	［182，1243］
Mk5	时间/s	0.89	—	110	—	0.94
Mk6	目标	［81.0，792.20］	［122，2103.3］	［117，1960.6］	［87，1344.5］	［73，1256］
Mk6	时间/s	1.31	—	76	—	2.45
Mk7	目标	［152.0，1403.90］	［193，1844.1］	［188，1832.0］	［156，1636.5］	［155，1538］
Mk7	时间/s	0.88	—	129	—	0.90

图7 不同方法解集数对比

Fig.7 Comparison of the number of solution sets of the different methods

图8 不同方法在Mk2和Mk4测试数据集的所有非支配解散点图

Fig.8 Scatter plot of all non-dominated solutions of the different methods on the test datasets of Mk2 and Mk4

图9 两种方法在测试集中的两组非支配前沿解对比

Fig.9 Comparison of two non-dominated frontier solutions by two methods on the test dataset

图10 本文方法在Mk1数据集上获得的最小化最大完工时间甘特图

Fig.10 Gantt chart of minimizing maximum makespan obtained by the method on the mk1 dataset

参考文献 23

[1]	XIE J， GAO L， PENG K， et al. Review on Flexible Job Shop Scheduling［J］. IET Collaborative Intelligent Manufacturing， 2019， 1（3）： 67-77.
[2]	李开心，尹瑞雪，周鹏. 面向能耗的柔性作业车间调度研究方法综述［J］. 制造业自动化， 2024， 46（9）： 150-158.
	LI Kaixin， YIN Ruixue， ZHOU Peng. Review of Research Methods for Flexible Job-shop Scheduling Based on Energy Consumption［J］. Manufacturing Automation， 2024， 46（9）： 150-158.
[3]	李敬花，闫恒山，杨博歆，等. 改进遗传—和声搜索算法求解海工装备制造车间调度问题［J］. 计算机集成制造系统， 2022， 28（12）： 3921-3934.
	LI Jinghua， YAN Hengshan， YANG Boxin， et al. Improved Genetic-harmony Search Algorithm for Solving Workshop Scheduling Problem of Marine Equipment［J］. Computer Integrated Manufacturing Systems， 2022， 28（12）： 3921-3934.
[4]	李聪波，雷焱绯，肖溱鸽，等. 面向广义能耗的柔性作业车间调度优化模型［J］. 计算机集成制造系统， 2018， 24（12）： 3050-3059.
	LI Congbo， LEI Yanfei， XIAO Qinge， et al. Flexible Job Shop Scheduling Optimization Model for Generalized Energy［J］. Computer Integrated Manufacturing Systems， 2018， 24（12）： 3050-3059.
[5]	姜一啸，吉卫喜，何鑫，等. 基于改进非支配排序遗传算法的多目标柔性作业车间低碳调度［J］. 中国机械工程， 2022， 33（21）： 2564-2577.
	JIANG Yixiao， JI Weixi， HE Xin， et al. Low-carbon Scheduling of Multi-objective Flexible Job-shop Based on Improved NSGA-Ⅱ［J］. China Mechanical Engineering， 2022， 33（21）： 2564-2577.
[6]	栾飞，蔡宗琰，吴书强，等. 求解低碳车间调度问题的改进鲸鱼算法［J］. 机械科学与技术， 2020， 39（5）： 721-728.
	LUAN Fei， CAI Zongyan， WU Shuqiang， et al. Improved Whale Optimization Algorithm of Scheduling Problem for Low Carbon Workshop［J］. Mechanical Science and Technology for Aerospace Engineering， 2020， 39（5）： 721-728.
[7]	徐明，张剑铭，陈松航，等. 柔性作业车间调度问题的多目标优化算法［J］. 计算机与现代化， 2021（12）： 1-6.
	XU Ming， ZHANG Jianming， CHEN Songhang， et al. Multi-objective Optimization Algorithm for Flexible Job Shop Scheduling Problem［J］. Computer and Modernization， 2021（12）： 1-6.
[8]	WANG L， PAN Z， WANG J. A Review of Reinforcement Learning Based Intelligent Optimization for Manufacturing Scheduling［J］. Complex System Modeling and Simulation， 2021， 1（4）： 257-270.
[9]	郑国梁，张朝阳，吉卫喜，等. 基于DQN的改进NSGA-Ⅱ求解多目标柔性作业车间调度问题［J］. 现代制造工程， 2025（9）： 1-11.
	ZHENG Guoliang， ZHANG Chaoyang， JI Weixi， et al. Solving Multi-objective Flexible Job Shop Scheduling Problems with an Improved NSGA-Ⅱ Based on DQN［J］. Modern Manufacturing Engineering， 2025（9）： 1-11.
[10]	张国辉，李志霄，张利平，等. 基于强化学习协同进化算法求解柔性作业车间节能调度问题［J］. 计算机应用研究， 2025， 42（7）： 2039-2047.
	ZHANG Guohui， LI Zhixiao， ZHANG Liping， et al. Reinforcement Learning Based Co-evolutionary Algorithm for Solving Flexible Job Shop Energy Efficient Scheduling Problem［J］. Application Research of Computers， 2025， 42（7）： 2039-2047.
[11]	CHENG W， ZHANG C， MENG L， et al. Deep Reinforcement Learning for Solving Efficient and Energy-saving Flexible Job Shop Scheduling Problem with Multi-AGV［J］.Computers & Operations Research，2025，181：107087.
[12]	张国辉，伦伟航，李亮，等. 基于混合学习策略进化算法的柔性作业车间节能分批调度研究［J］. 控制与决策， 2025， 40（12）： 3655-3666.
	ZHANG Guohui， Weihang LUN， LI Liang， et al. A Hybrid Learning Strategy Evolutionary Algorithm for Energy-efficient Flexible Job Shop Batch Scheduling Problem［J］. Control and Decision， 2025， 40（12）： 3655-3666.
[13]	WANG S， LI J， TANG H， et al. CEA-FJSP： Carbon Emission-aware Flexible Job-shop Scheduling Based on Deep Reinforcement Learning［J］. Frontiers in Environmental Science， 2022， 10： 1059451.
[14]	张凯，毕利，焦小刚. 集成强化学习算法的柔性作业车间调度问题研究［J］.中国机械工程，2023，34（2）：201-207.
	ZHANG Kai， BI Li， JIAO Xiaogang. Research on Flexible Job-shop Scheduling Problems with Integrated Reinforcement Learning Algorithm［J］. China Mechanical Engineering， 2023， 34（2）： 201-207.
[15]	ZENG D， YANG W， DU Y， et al. Dynamic Multi-objective Flexible Job-shop Scheduling via Dynamic Dual Attention Network-based Deep Reinforcement Learning［J］.The Journal of Supercomputing， 2025， 81（10）： 1099.
[16]	WU Z， PAN S， CHEN F， et al. A Comprehensive Survey on Graph Neural Networks［J］. IEEE Transactions on Neural Networks and Learning Systems，2021，32（1）：4-24.
[17]	BRANDIMARTE P. Routing and Scheduling in a Flexible Job Shop by Tabu Search［J］. Annals of Operations Research， 1993， 41（3）： 157-183.
[18]	WANG R， WANG G， SUN J， et al. Flexible Job Shop Scheduling via Dual Attention Network Based Reinforcement Learning［J］. IEEE Transactions on Neural Networks and Learning Systems， 2024， 35（3）： 3091-3102.
[19]	SCHULMAN J， WOLSKI F， DHARIWAL P， et al. Proximal Policy Optimization Algorithms［EB/OL］. arXiv，2017［2025-10-18］..
[20]	SCHULMAN J， MORITZ P， LEVINE S， et al. High-dimensional Continuous Control Using Generalized Advantage Estimation ［EB/OL］.arXiv，2018［2025-10-18］..
[21]	GLOROT X， BENGIO Y. Understanding the Difﬁculty of Training Deep Feedforward Neural Networks［C］∥Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics. Sardinia， 2010：249-256.
[22]	ORTÍZ M A， BETANCOURT L E， NEGRETE K P， et al. Dispatching Algorithm for Production Programming of Flexible Job-shop Systems in the Smart Factory Industry［J］.Annals of Operations Research，2018，264（1）：409-433.
[23]	LIANG X， LIU Y， GU X， et al. Adaptive Genetic Algorithm Based on Individual Similarity to Solve Multi-Objective Flexible Job-Shop Scheduling Problem［J］. IEEE Access， 2022， 10： 45748-45758.