增强现实赋能的移动机器人运动监视与交互系统

doi:10.3969/j.issn.1004-132X.2026.06.017

中国机械工程 ›› 2026, Vol. 37 ›› Issue (6): 1442-1450.DOI: 10.3969/j.issn.1004-132X.2026.06.017

• 机械基础工程 • 上一篇

增强现实赋能的移动机器人运动监视与交互系统

徐晗昕¹(), 柳丽¹^,²(), 陈兴³, 王晶⁴

^1.宁波大学机械工程与力学学院, 宁波, 315211
^2.宁波市微纳运动及智能控制重点实验室, 宁波, 315211
^3.宁波财经学院数字技术与工程学院, 宁波, 315175
^4.北京航空航天大学江西研究院, 南昌, 330200

收稿日期:2025-07-14 出版日期:2026-06-25 发布日期:2026-07-17
通讯作者: 柳丽
作者简介:徐晗昕，男，2000年生，硕士研究生。研究方向为机器视觉、人机交互技术。发表论文3篇。E-mail：xhxdyx2023@163.com
柳丽^*（通信作者），女，1968年生，教授，硕士研究生导师。研究方向为增强现实技术的工程应用、人机交互技术。发表论文40余篇。E-mail：liuli@nbu.edu.cn。
基金资助:
国家自然科学基金(U23A20618);宁波市“科创甬江2035”关键技术突破计划(2024Z167)

Augmented Reality-enabled Motion Monitoring and Interaction System for Mobile Robots

XU Hanxin¹(), LIU Li¹^,²(), CHEN Xing³, WANG Jing⁴

^1.School of Mechanical Engineering and Mechanics，Ningbo University，Ningbo，Zhejiang，315211
^2.Ningbo Key Laboratory of Micro-nano Motion and Intelligent Control，Ningbo，Zhejiang，315211
^3.School of Digital Technology and Engineering，Ningbo University of Finance and Economics，Ningbo，Zhejiang，315175
^4.Jiangxi Institute of Beihang University，Nanchang，330200

Received:2025-07-14 Online:2026-06-25 Published:2026-07-17
Contact: LIU Li

摘要/Abstract

摘要：

移动机器人在工作场景中的运动分析能辅助及时发现并解决运行过程中的动态问题，对确保机器人的可靠运行具有重要作用，因此基于增强现实技术设计了移动机器人的运动监控与交互系统。采用融合自然特征和数据通信的方法实现了对部件之间有相对运动的移动机器人动态跟踪注册；基于运动分析策略进行了机器人机械故障预判、稳定性预测、工作空间安全保障、运动预览及示教。搭建的原型系统验证了所提运动分析策略的可行性和有效性。

关键词: 移动机器人, 动态跟踪注册, 状态监视, 环境适应性, 人机交互

Abstract:

Motion analysis in working scenarios of mobile robots might assist in promptly identifying and resolving dynamic issues during operations， and played a significant role in ensuring the reliable functioning of the robots. A mobile robot motion monitoring and interaction system was designed based on augmented reality technology. By adopting the method of integrating natural features and data communication， the dynamic tracking and registration of mobile robots with relative motion among internal structures components were achieved. Based on the motion analysis strategy， mechanical failure prediction， stability prediction， workspace safety guarantee of robots， motion preview， and teaching were carried out. The prototype system verified the feasibility and effectiveness of the proposed motion analysis strategy.

Key words: mobile robot, dynamic tracking and registration, state monitoring, environmental adaptability, human-robot interaction

中图分类号:

TH122

徐晗昕, 柳丽, 陈兴, 王晶. 增强现实赋能的移动机器人运动监视与交互系统[J]. 中国机械工程, 2026, 37(6): 1442-1450.

XU Hanxin, LIU Li, CHEN Xing, WANG Jing. Augmented Reality-enabled Motion Monitoring and Interaction System for Mobile Robots[J]. China Mechanical Engineering, 2026, 37(6): 1442-1450.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://www.cmemo.org.cn/CN/10.3969/j.issn.1004-132X.2026.06.017

https://www.cmemo.org.cn/CN/Y2026/V37/I6/1442

图/表 13

图1 虚实融合的机器人运动监控与交互系统

Fig.1 Robotic motion monitoring and interaction system integrating virtual and physical realms

图2 动态跟踪注册流程

Fig.2 Dynamic tracking registration flow

图3 静态注册对比结果

Fig.3 Static registration comparison results

图4 动态跟踪注册结果

Fig.4 Dynamic tracking of registration results

表1 跟踪注册平均响应时间

Tab.1 Average response time for tracking registrations

机器人状态	粗匹配时间/ms	精准定位时间/ms	总时间/ms
静态站立	33.80	21.50	55.30
Pace步态	34.35	24.10	58.45

图5 腿部二连杆结构

Fig.5 Double-link leg structure

图6 运动状态分析

Fig.6 Motion state analysis

图7 ZMP稳定裕度示意图

Fig.7 Schematic diagram of ZMP stability margin

图8 斜坡适应性测试

Fig.8 Slope adaptability test

表2 斜坡稳定性分析结果

Tab.2 Slope stability analysis results

坡度	稳定裕度		重心投影与支撑面关系	稳定性判断
坡度	三足着地	四足着地	重心投影与支撑面关系	稳定性判断
20°	27.2	31.9	相交	稳定
25°	17.1	21.8	相交	稳定
30°	7.3	12	相交	稳定
35°	$-$ 2.0	2.7	相切	较不稳定
40°	$-$ 10.7	$-$ 6.0	相离	不稳定

表2 斜坡稳定性分析结果

Tab.2 Slope stability analysis results

坡度	稳定裕度		重心投影与支撑面关系	稳定性判断
坡度	三足着地	四足着地	重心投影与支撑面关系	稳定性判断
20°	27.2	31.9	相交	稳定
25°	17.1	21.8	相交	稳定
30°	7.3	12	相交	稳定
35°	$-$ 2.0	2.7	相切	较不稳定
40°	$-$ 10.7	$-$ 6.0	相离	不稳定

图9 复杂场景适应性测试

Fig.9 Complex scenario adaptability testing

图10 人机协作安全分析

Fig.10 Human-Machine collaboration safety analysis

图11 模型运动反馈

Fig.11 Model motion feedback

参考文献 26

[1]	吉爱红，刘荣兴，陈辉，等. 多关节连续体机器人的运动分析与遥操作技术［J］. 中国机械工程， 2021， 32（23）： 2883-2889.
	JI Aihong， LIU Rongxing， CHEN Hui， et al. Kinematics Analysis and Teleoperation Technology of Multi-joint Continuum Robots［J］. China Mechanical Engineering， 2021， 32（23）： 2883-2889.
[2]	HOU Xuyan， LI Wei， HAN Yuexing， et al. A Novel Mobile Robot Navigation Method Based on Hand-drawn Paths［J］. IEEE Sensors Journal， 2020， 20（19）： 11660-11673.
[3]	HICHRI B， GALLALA A， GIOVANNINI F， et al. Mobile Robots Path Planning and Mobile Multirobots Control： a Review［J］. Robotica， 2022， 40（12）： 4257-4270.
[4]	Da SILVA S P P， ALMEIDA J S， OHATA E F， et al. Monocular Vision Aided Depth Map from RGB Images to Estimate of Localization and Support to Navigation of Mobile Robots［J］. IEEE Sensors Journal， 2020， 20（20）： 12040-12048.
[5]	徐灵敏，叶伟，李秦川. 并联机器人逆动力学建模的几何代数方法［J］. 机械工程学报， 2022， 58（7）： 1-11.
	XU Lingmin， YE Wei， LI Qinchuan. Geometric Algebra-based Method for Inverse Dynamic Modeling of Parallel Robots［J］. Journal of Mechanical Engineering， 2022， 58（7）： 1-11.
[6]	李凤刚，赵磊，何广平，等. 八自由度连续体操作臂的运动学分析与仿真［J］. 中国机械工程， 2020， 31（16）： 1950-1959.
	LI Fenggang， ZHAO Lei， HE Guangping， et al. Kinematics Analysis and Simulation of Eight-degree-of-freedom Continuum Manipulators［J］. China Mechanical Engineering， 2020， 31（16）： 1950-1959.
[7]	王敏，孙景健，丁基恒，等. 基于D-H参数与拉格朗日联立方程的仿生水蛇机器人运动学分析及动力学建模［J］. 机械工程学报， 2024， 60（15）： 134-148.
	WANG Min， SUN Jingjian， DING Jiheng， et al. Kinematics Analysis and Dynamics Modeling of Bionic Water Snake Robot Based on D-H Parameters and Lagrange Equations［J］. Journal of Mechanical Engineering， 2024， 60（15）： 134-148.
[8]	曲乃恒，杨桂林，郑天江. 基于解耦式主动万向脚轮的全向移动机器人设计［J］. 中国机械工程， 2015， 26（19）： 2601-2605.
	QU Naiheng， YANG Guilin， ZHENG Tianjiang. Design of an Omnidirectional Mobile Robot Based on Decoupled Powered Caster Wheels［J］. China Mechanical Engineering， 2015， 26（19）： 2601-2605.
[9]	张攀，曾怡炜，张威，等. 航空货物搬运机器人运动分析与轨迹规划［J］. 机械设计与研究， 2024， 40（3）： 75-80.
	ZHANG Pan， ZENG Yiwei， ZHANG Wei， et al. Research on Motion Analysis and Trajectory Planning of Air Cargo Handling Robots［J］. Machine Design & Research， 2024， 40（3）： 75-80.
[10]	AIVALIOTIS S， LOTSARIS K， GKOURNELOS C， et al. An Augmented Reality Software Suite Enabling Seamless Human Robot Interaction［J］. International Journal of Computer Integrated Manufacturing， 2023， 36（1）： 3-29.
[11]	CHEN Chengjun， PAN Yong， LI Dongnian， et al. A Virtual-physical Collision Detection Interface for AR-based Interactive Teaching of Robot［J］. Robotics and Computer-Integrated Manufacturing， 2020， 64： 101948.
[12]	HOANG K C， CHAN W P， LAY S， et al. ARviz： an Augmented Reality-enabled Visualization Platform for ROS Applications［J］. IEEE Robotics & Automation Magazine， 2022， 29（1）： 58-67.
[13]	CHANDAN K， KUDALKAR V， LI Xiang， et al. ARROCH： Augmented Reality for Robots Collaborating with a Human［C］∥2021 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2021： 3787-3793.
[14]	郑湃，李成熙，殷悦，等. 增强现实辅助的互认知人机安全交互系统［J］. 机械工程学报， 2023， 59（6）： 173-184.
	ZHENG Pai， LI Chengxi， YIN Yue， et al. Augmented Reality-assisted Mutual Cognitive System for Human-robot Interaction Safety Concerns［J］. Journal of Mechanical Engineering， 2023， 59（6）： 173-184.
[15]	侯守明，韩吉，张煜东，等. 基于视觉的增强现实三维注册技术综述［J］. 系统仿真学报， 2019， 31（11）： 2206-2215.
	HOU Shouming， HAN Ji， ZHANG Yudong， et al. Survey of Vision-based Augmented Reality 3D Registration Technology［J］. Journal of System Simulation， 2019， 31（11）： 2206-2215.
[16]	WANG Jun， ZENG Yajun， WEI Shaoming， et al. Multi-sensor Track-to-track Association and Spatial Registration Algorithm under Incomplete Measurements［J］. IEEE Transactions on Signal Processing， 2021， 69： 3337-3350.
[17]	KHAN D， ULLAH S， YAN Dongming， et al. Robust Tracking through the Design of High Quality Fiducial Markers： an Optimization Tool for ARToolKit［J］. IEEE Access， 2018， 6： 22421-22433.
[18]	YIN Xuyue， FAN Xiumin， YANG Xu， et al. An Automatic Marker–Object Offset Calibration Method for Precise 3D Augmented Reality Registration in Industrial Applications［J］. Applied Sciences， 2019， 9（20）： 4464.
[19]	ONG S K， YEW A W W， THANIGAIVEL N K， et al. Augmented Reality-assisted Robot Programming System for Industrial Applications［J］. Robotics and Computer-Integrated Manufacturing， 2020， 61： 101820.
[20]	WANG Hao， LIU Li， WANG Ying， et al. Hand Acupuncture Point Localization Method Based on a Dual-attention Mechanism and Cascade Network Model［J］. Biomedical Optics Express， 2023， 14（11）： 5965-5978.
[21]	LI Wang， XU Aibo， WEI Ming， et al. Deep Learning-based Augmented Reality Work Instruction Assistance System for Complex Manual Assembly［J］. Journal of Manufacturing Systems， 2024， 73： 307-319.
[22]	YAN Hai’an， WANG Jian， ZHANG Peng. Application of Optimized ORB Algorithm in Design AR Augmented Reality Technology Based on Visualization［J］. Mathematics， 2023， 11（6）： 1278.
[23]	CHEN Jieyu， XI Zhenghao， LU Junxin， et al. Multi-object Tracking Based on Network Flow Model and ORB Feature［J］. Applied Intelligence， 2022， 52（11）： 12282-12300.
[24]	MA Dan， LAI Huicheng. Remote Sensing Image Matching Based Improved ORB in NSCT Domain［J］. Journal of the Indian Society of Remote Sensing， 2019， 47（5）： 801-807.
[25]	ZAFAR M H， LANGÅS E F， SANFILIPPO F. Exploring the Synergies between Collaborative Robotics， Digital Twins， Augmentation， and Industry 5.0 for Smart Manufacturing： a State-of-the-art Review［J］. Robotics and Computer-Integrated Manufacturing， 2024， 89： 102769.
[26]	程云，黄瑞，蒋俊锋，等. 基于增强现实的产品质量信息传递方法［J］. 计算机辅助设计与图形学学报， 2019， 31（5）： 859-868.
	CHENG Yun， HUANG Rui， JIANG Junfeng， et al. Product Manufacturing Information Transmission Method Based on Augmented Reality［J］. Journal of Computer-Aided Design & Computer Graphics， 2019， 31（5）： 859-868.

增强现实赋能的移动机器人运动监视与交互系统

Augmented Reality-enabled Motion Monitoring and Interaction System for Mobile Robots

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 26

相关文章 15

编辑推荐

Metrics

[1]	陈瑞国, 乌日开西·艾依提. 面向移动机器人3D打印层间偏差优化的双寻迹策略研究[J]. 中国机械工程, 2026, 37(6): 1410-1417.
[2]	曹轶然, 高磊, 吴孟丽, 王旭浩, 彭聪, 郭志永, 梁瑶. 融合预瞄机制的移动机器人预设性能视觉伺服控制策略[J]. 中国机械工程, 2026, 37(5): 1218-1225.
[3]	许万, 程兆, 夏瑞东, 陈汉成. 一种基于动态残差的自适应鲁棒无迹卡尔曼滤波器定位算法[J]. 中国机械工程, 2023, 34(21): 2607-2614.
[4]	杨晓楠, 房浩楠, 李建国, 薛庆. 智能制造中的人-信息-物理系统协同的人因工程[J]. 中国机械工程, 2023, 34(14): 1710-1722,1740.
[5]	武星, 杨俊杰, 汤凯, 翟晶晶, 楼佩煌. 面向复合地图的移动机器人分层路径规划[J]. 中国机械工程, 2023, 34(05): 563-575.
[6]	李荣华, 杨景山, 郑宇锋, 周唯. 恒定轮距的多连杆式独立悬挂系统设计[J]. 中国机械工程, 2023, 34(02): 148-156.
[7]	田明锐, 杨皓, 胡永彪. 大视场室内移动机器人高精度动态定位方法[J]. 中国机械工程, 2022, 33(02): 194-201.
[8]	刘明源, 陈平, 马建设. 直驱式四足机器人的结构优化设计与研究[J]. 中国机械工程, 2021, 32(18): 2246-2253.
[9]	刘会聪, 杨梦柯, 袁鑫, 孙立宁, 金国庆, . 液态金属柔性感知的人机交互软体机械手[J]. 中国机械工程, 2021, 32(12): 1470-1478.
[10]	谢冬福1;罗玉峰1,2;石志新1;刘燕德2. 多移动机器人协同模式及其倾翻稳定性研究[J]. 中国机械工程, 2020, 31(20): 2472-2485.
[11]	李阳1,2,3；刘子明1,2,4；陈庆盈1,2,3 . 考虑打滑干扰的解耦式主动脚轮全向移动机器人跟踪控制[J]. 中国机械工程, 2020, 31(18): 2247-2253.
[12]	刘敏洋1，2;黄艳群1;张大卫1. 基于绩效激励机制的数控机床人机交互系统创新设计[J]. 中国机械工程, 2019, 30(21): 2554-2559.
[13]	王洪斌1;郝策1;张平1;张明泉1;尹鹏衡1;张永顺2. 基于A*算法和人工势场法的移动机器人路径规划[J]. 中国机械工程, 2019, 30(20): 2489-2496.
[14]	贝旭颖1，2;平雪良1，2;高文研1，2. 纵向打滑状态下轮式移动机器人轨迹跟踪控制[J]. 中国机械工程, 2018, 29(16): 1958-1964.
[15]	李逃昌. 农业轮式移动机器人自适应滑模路径跟踪控制[J]. 中国机械工程, 2018, 29(05): 579-584,590.