集成强化学习算法的柔性作业车间调度问题研究

doi:10.3969/j.issn.1004-132X.2023.02.010

中国机械工程 ›› 2023, Vol. 34 ›› Issue (02): 201-207.DOI: 10.3969/j.issn.1004-132X.2023.02.010

集成强化学习算法的柔性作业车间调度问题研究

张凯;毕利;焦小刚

宁夏大学信息工程学院，银川，750021

出版日期:2023-01-25 发布日期:2023-02-16
通讯作者: 毕利（通信作者），女，1968年生，教授。研究方向为数据挖掘、智能调度。发表论文45篇。E-mail：billy68@nxu.edu.cn。
作者简介:张凯，男，1998年生，硕士研究生。研究方向为人工智能、智能调度。发表论文1篇。E-mail：zhangk0212@163.com。
基金资助:
国家自然科学基金（62266034）；宁夏重点研发项目（2021BEE03020）

Research on Flexible Job-shop Scheduling Problems with Integrated Reinforcement Learning Algorithm

ZHANG Kai;BI Li;JIAO Xiaogang

School of Information Engineering，Ningxia University，Yinchuan，750021

Online:2023-01-25 Published:2023-02-16

摘要/Abstract

摘要： 将柔性作业车间调度问题转化为马尔可夫决策过程，提出了集成5种深度Q网络（DQN）优化的算法D5QN。构建马尔可夫过程中，提取一组特征来表述状态，通过调度规则的组合设计出三组动作，通过直接和间接两种方式共同描述奖励。与基于规则、元启发式和其他强化学习算法的比较证明，所提方法可进一步缩短求解时间，并具有可行性和有效性。

关键词: 作业调度, 智能调度, 马尔可夫决策过程, 强化学习

Abstract: The flexible job-shop scheduling problems were transformed into a Markov decision process， and an algorithm D5QN integrated with 5 kinds of deep Q-network (DQN) optimizations was proposed. In the constructing of Markov process， a set of features was extracted to describe the states， and 3 sets of actions were designed by composite rules. The rewards were mapped by direct and indirect methods. The proposed algorithm was compared with the algorithms based on rules， meta-heuristic， and other reinforcement learning， which verifies the proposed algorithm may further decrease the calculating time， and have feasibility and effectiveness.

Key words: , job scheduling, intelligent dispatching, Markov decision process, reinforcement learning

中图分类号:

TP39

张凯, 毕利, 焦小刚. 集成强化学习算法的柔性作业车间调度问题研究[J]. 中国机械工程, 2023, 34(02): 201-207.

ZHANG Kai, BI Li, JIAO Xiaogang. Research on Flexible Job-shop Scheduling Problems with Integrated Reinforcement Learning Algorithm[J]. China Mechanical Engineering, 2023, 34(02): 201-207.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://www.cmemo.org.cn/CN/10.3969/j.issn.1004-132X.2023.02.010

https://www.cmemo.org.cn/CN/Y2023/V34/I02/201

参考文献

［1］刘晓冰，焦璇，宁涛，等. 基于双链量子遗传算法的柔性作业车间调度［J］. 计算机集成制造系统， 2015， 21（2）：495-502.
LIU Xiaobing， JIAO Xuan， NING Tao， et al. Flexible Job Shop Scheduling Based on Double-chains Quantum Genetic Algorithm［J］. Computer Integrated Manufacturing System， 2015， 21（2）：495-502.
［2］彭建刚，刘明周，张铭鑫，等. 多目标柔性作业车间调度算法研究综述［J］. 中国机械工程， 2014， 25（23）：3244-3254.
PENG Jiangang， LIU Mingzhou， ZHANG Ming-xin， et al. Review on Scheduling Algorithms for MOFJSP［J］. China Mechanical Engineering， 2014， 25（23）：3244-3254.
［3］李益兵，黄炜星，吴锐. 基于改进人工蜂群算法的多目标绿色柔性作业车间调度研究［J］. 中国机械工程， 2020， 31（11）：1344-1350.
LI Yibing， HUANG Weixing， WU Rui. Research on Multi-objective Green Flexible Job-shop Scheduling Based on Improved ABC Algorithm［J］. China Mechanical Engineering， 2020， 31（11）：1344-1350.
［4］贺长征，宋豫川，雷琦，等. 柔性作业车间多自动导引小车和机器的集成调度［J］. 中国机械工程， 2019， 30（4）：438-447.
HE Changzheng， SONG Yuchuan， LEI Qi， et al. Research Integrated Scheduling of Multiple AGVs and Machines in Flexible Job Shops［J］. China Mechanical Engineering， 2019， 30（4）：438-447.
［5］张国辉，高亮，李培根. 改进遗传算法求解柔性作业车间调度问题［J］. 机械工程学报， 2009， 45（7）：145-151.
ZHANG Guohui， GAO Liang， LI Peigen. Improved Genetic Algorithm for the Flexible Job-shop Scheduling Problem［J］. Journal of Mechanical Engineering， 2009， 45（7）：145-151.
［6］陈魁，毕利. 考虑运输时间的多目标柔性作业车间调度研究［J］. 小型微型计算机系统， 2021， 42（5）：946-952.
CHEN Kui， BI Li. Research on Multi-objective Flexible Job Shop Scheduling Considering Transport Time［J］. Microcomputer Systems， 2021， 42（5）：946-952.
［7］靳彬锋，毕利. 基于遗传算法的多目标车间调度［J］. 组合机床与自动化加工技术， 2019（4）：157-160.
JIN Binfeng， BI Li. Multi-objective Shop Scheduling Based on Genetic Algorithm［J］. Modular Machine Tool & Automatic Manufacturing Technique， 2019（4）：157-160.
［8］王霄汉，张霖，任磊，等. 基于强化学习的车间调度问题研究简述［J］. 系统仿真学报， 2021， 33（12）：2782-2719.
WANG Xiaohan， ZHANG Lin， REN Lei， et al. Brief Review on Applying Reinforcement Learning to Job Shop Scheduling Problems［J］. Journal of System Simulation， 2021， 33（12）：2782-2719.
［9］XUE T， ZENG P， YU H. A Reinforcement Learning Method for Multi-AGV Scheduling in Manufacturing［C］∥2018 IEEE International Conference on Industrial Technology（ICIT）. Lyon， 2018：1557-1561.
［10］CHEN R， YANG B， LI S， et al. A Self-learning Genetic Algorithm Based on Reinforcement Learning for Flexible Job-shop Scheduling Problem［J］. Computers & Industrial Engineering， 2020， 149：106778.
［11］LUO S. Dynamic Scheduling for Flexible Job Shop with New Job Insertions by Deep Reinforcement Learning［J］. Applied Soft Computing， 2020， 91：106208.
［12］ZHANG C， SONG W， CAO Z， et al. Learning to Dispatch for Job Shop Scheduling via Deep Reinforcement Learning［J］. Advances in Neural Information Processing Systems， 2020， 33：1621-1632.
［13］FENG Y， ZHANG L， YANG Z， et al. Flexible Job Shop Scheduling Based on Deep Reinforcement Learning［C］∥2021 5th Asian Conference on Artificial Intelligence Technology（ACAIT）. Haikou， 2021：660-666.
［14］HAN B， YANG J. A Deep Reinforcement Learning Based Solution for Flexible Job Shop Scheduling Problem［J］. Int. J. Simul. Model. ， 2021， 20（2）：375-386.

[1]	汪凯, 顾刘栋, 周一帆. 基于POMDP模型的检修与备件库存联合优化[J]. 中国机械工程, 2025, 36(08): 1853-1863.
[2]	文笑雨1, 张昊1, 张玉彦1, 刘思仁2, 吉硕1, 郭伟飞1, 李浩1. 数字孪生环境下飞机装配过程中的激光跟踪仪位置优化[J]. 中国机械工程, 2025, 36(07): 1573-1581,1635.
[3]	李益兵1, 2, 曹岩1, 郭钧1, 2, 王磊1, 2, 李西兴3, 孙利波4. 考虑峰值功率受限约束的柔性作业车间调度研究[J]. 中国机械工程, 2025, 36(02): 280-293.
[4]	胡楷雄1, 宋远航1, 周勇1, 李卫东2. 基于深度强化学习的混杂场景目标物体推抓协同策略[J]. 中国机械工程, 2025, 36(01): 133-140.
[5]	祝正宇1, 郭具涛2, 吕佑龙3, 左丽玲1, 张洁3. 面向柔性作业车间生产调度的深度强化学习方法[J]. 中国机械工程, 2024, 35(11): 2007-2014，2034.
[6]	钟意, 杨勇, 姜学涛, 潘顺洋, 朱其新, 王磊. 基于多智能体深度Q网络交互的板壳加强筋生长式设计[J]. 中国机械工程, 2024, 35(08): 1397-1404.
[7]	郭具涛, 吕佑龙, 戴铮, 张洁, 郭宇. 基于复合规则和强化学习的混流装配线调度方法[J]. 中国机械工程, 2023, 34(21): 2600-2606,2614.
[8]	石晴晴, 张润锋, 张连洪, 兰世泉, . 基于强化学习算法的水下滑翔机路径跟踪研究[J]. 中国机械工程, 2023, 34(09): 1100-1110.
[9]	武星, 杨俊杰, 汤凯, 翟晶晶, 楼佩煌. 面向复合地图的移动机器人分层路径规划[J]. 中国机械工程, 2023, 34(05): 563-575.
[10]	何李, 陶翼飞, 罗俊斌, 荀洪凯. 基于两阶段狼群算法的自动化立体仓库作业集成优化[J]. 中国机械工程, 2022, 33(21): 2538-2546.
[11]	贺俊杰, 张洁, 张朋, 汪俊亮, 郑鹏, 王明. 基于长短期记忆近端策略优化强化学习的等效并行机在线调度方法[J]. 中国机械工程, 2022, 33(03): 329-338.
[12]	聂黎1;张国辉2;王小刚1;白跃伟1. 基于博弈论的虚拟制造网络车间调度优化方法[J]. 中国机械工程, 2019, 30(12): 1492-1497.
[13]	张洁1;秦威2. 智能制造调度为先——《制造系统智能调度方法与云服务》导读[J]. 中国机械工程, 2019, 30(08): 1002-1007.
[14]	邹攀, 李蓓智, 杨建国, 施烁, 梁越昇, . 基于分层蚁群遗传算法的多目标柔性作业车间调度方法[J]. 中国机械工程, 2015, 26(21): 2873-2879,2884.
[15]	刘洪伟, 刘智辉. 基于遗传算法的“人-多台单机”柔性作业调度[J]. 中国机械工程, 2013, 24(16): 2189-2194.

集成强化学习算法的柔性作业车间调度问题研究

Research on Flexible Job-shop Scheduling Problems with Integrated Reinforcement Learning Algorithm

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics