Augmented Reality-enabled Motion Monitoring and Interaction System for Mobile Robots

doi:10.3969/j.issn.1004-132X.2026.06.017

Abstract

Abstract:

Motion analysis in working scenarios of mobile robots might assist in promptly identifying and resolving dynamic issues during operations， and played a significant role in ensuring the reliable functioning of the robots. A mobile robot motion monitoring and interaction system was designed based on augmented reality technology. By adopting the method of integrating natural features and data communication， the dynamic tracking and registration of mobile robots with relative motion among internal structures components were achieved. Based on the motion analysis strategy， mechanical failure prediction， stability prediction， workspace safety guarantee of robots， motion preview， and teaching were carried out. The prototype system verified the feasibility and effectiveness of the proposed motion analysis strategy.

Key words: mobile robot, dynamic tracking and registration, state monitoring, environmental adaptability, human-robot interaction

摘要：

移动机器人在工作场景中的运动分析能辅助及时发现并解决运行过程中的动态问题，对确保机器人的可靠运行具有重要作用，因此基于增强现实技术设计了移动机器人的运动监控与交互系统。采用融合自然特征和数据通信的方法实现了对部件之间有相对运动的移动机器人动态跟踪注册；基于运动分析策略进行了机器人机械故障预判、稳定性预测、工作空间安全保障、运动预览及示教。搭建的原型系统验证了所提运动分析策略的可行性和有效性。

关键词: 移动机器人, 动态跟踪注册, 状态监视, 环境适应性, 人机交互

CLC Number:

TH122

XU Hanxin, LIU Li, CHEN Xing, WANG Jing. Augmented Reality-enabled Motion Monitoring and Interaction System for Mobile Robots[J]. China Mechanical Engineering, 2026, 37(6): 1442-1450.

徐晗昕, 柳丽, 陈兴, 王晶. 增强现实赋能的移动机器人运动监视与交互系统[J]. 中国机械工程, 2026, 37(6): 1442-1450.

Figures/Tables 13

Fig.1 Robotic motion monitoring and interaction system integrating virtual and physical realms

Fig.2 Dynamic tracking registration flow

Fig.3 Static registration comparison results

Fig.4 Dynamic tracking of registration results

Tab.1 Average response time for tracking registrations

机器人状态	粗匹配时间/ms	精准定位时间/ms	总时间/ms
静态站立	33.80	21.50	55.30
Pace步态	34.35	24.10	58.45

Fig.5 Double-link leg structure

Fig.6 Motion state analysis

Fig.7 Schematic diagram of ZMP stability margin

Fig.8 Slope adaptability test

Tab.2 Slope stability analysis results

坡度	稳定裕度		重心投影与支撑面关系	稳定性判断
坡度	三足着地	四足着地	重心投影与支撑面关系	稳定性判断
20°	27.2	31.9	相交	稳定
25°	17.1	21.8	相交	稳定
30°	7.3	12	相交	稳定
35°	$-$ 2.0	2.7	相切	较不稳定
40°	$-$ 10.7	$-$ 6.0	相离	不稳定

Tab.2 Slope stability analysis results

坡度	稳定裕度		重心投影与支撑面关系	稳定性判断
坡度	三足着地	四足着地	重心投影与支撑面关系	稳定性判断
20°	27.2	31.9	相交	稳定
25°	17.1	21.8	相交	稳定
30°	7.3	12	相交	稳定
35°	$-$ 2.0	2.7	相切	较不稳定
40°	$-$ 10.7	$-$ 6.0	相离	不稳定

Fig.9 Complex scenario adaptability testing

Fig.10 Human-Machine collaboration safety analysis

Fig.11 Model motion feedback

References 26

[1]	吉爱红，刘荣兴，陈辉，等. 多关节连续体机器人的运动分析与遥操作技术［J］. 中国机械工程， 2021， 32（23）： 2883-2889.
	JI Aihong， LIU Rongxing， CHEN Hui， et al. Kinematics Analysis and Teleoperation Technology of Multi-joint Continuum Robots［J］. China Mechanical Engineering， 2021， 32（23）： 2883-2889.
[2]	HOU Xuyan， LI Wei， HAN Yuexing， et al. A Novel Mobile Robot Navigation Method Based on Hand-drawn Paths［J］. IEEE Sensors Journal， 2020， 20（19）： 11660-11673.
[3]	HICHRI B， GALLALA A， GIOVANNINI F， et al. Mobile Robots Path Planning and Mobile Multirobots Control： a Review［J］. Robotica， 2022， 40（12）： 4257-4270.
[4]	Da SILVA S P P， ALMEIDA J S， OHATA E F， et al. Monocular Vision Aided Depth Map from RGB Images to Estimate of Localization and Support to Navigation of Mobile Robots［J］. IEEE Sensors Journal， 2020， 20（20）： 12040-12048.
[5]	徐灵敏，叶伟，李秦川. 并联机器人逆动力学建模的几何代数方法［J］. 机械工程学报， 2022， 58（7）： 1-11.
	XU Lingmin， YE Wei， LI Qinchuan. Geometric Algebra-based Method for Inverse Dynamic Modeling of Parallel Robots［J］. Journal of Mechanical Engineering， 2022， 58（7）： 1-11.
[6]	李凤刚，赵磊，何广平，等. 八自由度连续体操作臂的运动学分析与仿真［J］. 中国机械工程， 2020， 31（16）： 1950-1959.
	LI Fenggang， ZHAO Lei， HE Guangping， et al. Kinematics Analysis and Simulation of Eight-degree-of-freedom Continuum Manipulators［J］. China Mechanical Engineering， 2020， 31（16）： 1950-1959.
[7]	王敏，孙景健，丁基恒，等. 基于D-H参数与拉格朗日联立方程的仿生水蛇机器人运动学分析及动力学建模［J］. 机械工程学报， 2024， 60（15）： 134-148.
	WANG Min， SUN Jingjian， DING Jiheng， et al. Kinematics Analysis and Dynamics Modeling of Bionic Water Snake Robot Based on D-H Parameters and Lagrange Equations［J］. Journal of Mechanical Engineering， 2024， 60（15）： 134-148.
[8]	曲乃恒，杨桂林，郑天江. 基于解耦式主动万向脚轮的全向移动机器人设计［J］. 中国机械工程， 2015， 26（19）： 2601-2605.
	QU Naiheng， YANG Guilin， ZHENG Tianjiang. Design of an Omnidirectional Mobile Robot Based on Decoupled Powered Caster Wheels［J］. China Mechanical Engineering， 2015， 26（19）： 2601-2605.
[9]	张攀，曾怡炜，张威，等. 航空货物搬运机器人运动分析与轨迹规划［J］. 机械设计与研究， 2024， 40（3）： 75-80.
	ZHANG Pan， ZENG Yiwei， ZHANG Wei， et al. Research on Motion Analysis and Trajectory Planning of Air Cargo Handling Robots［J］. Machine Design & Research， 2024， 40（3）： 75-80.
[10]	AIVALIOTIS S， LOTSARIS K， GKOURNELOS C， et al. An Augmented Reality Software Suite Enabling Seamless Human Robot Interaction［J］. International Journal of Computer Integrated Manufacturing， 2023， 36（1）： 3-29.
[11]	CHEN Chengjun， PAN Yong， LI Dongnian， et al. A Virtual-physical Collision Detection Interface for AR-based Interactive Teaching of Robot［J］. Robotics and Computer-Integrated Manufacturing， 2020， 64： 101948.
[12]	HOANG K C， CHAN W P， LAY S， et al. ARviz： an Augmented Reality-enabled Visualization Platform for ROS Applications［J］. IEEE Robotics & Automation Magazine， 2022， 29（1）： 58-67.
[13]	CHANDAN K， KUDALKAR V， LI Xiang， et al. ARROCH： Augmented Reality for Robots Collaborating with a Human［C］∥2021 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2021： 3787-3793.
[14]	郑湃，李成熙，殷悦，等. 增强现实辅助的互认知人机安全交互系统［J］. 机械工程学报， 2023， 59（6）： 173-184.
	ZHENG Pai， LI Chengxi， YIN Yue， et al. Augmented Reality-assisted Mutual Cognitive System for Human-robot Interaction Safety Concerns［J］. Journal of Mechanical Engineering， 2023， 59（6）： 173-184.
[15]	侯守明，韩吉，张煜东，等. 基于视觉的增强现实三维注册技术综述［J］. 系统仿真学报， 2019， 31（11）： 2206-2215.
	HOU Shouming， HAN Ji， ZHANG Yudong， et al. Survey of Vision-based Augmented Reality 3D Registration Technology［J］. Journal of System Simulation， 2019， 31（11）： 2206-2215.
[16]	WANG Jun， ZENG Yajun， WEI Shaoming， et al. Multi-sensor Track-to-track Association and Spatial Registration Algorithm under Incomplete Measurements［J］. IEEE Transactions on Signal Processing， 2021， 69： 3337-3350.
[17]	KHAN D， ULLAH S， YAN Dongming， et al. Robust Tracking through the Design of High Quality Fiducial Markers： an Optimization Tool for ARToolKit［J］. IEEE Access， 2018， 6： 22421-22433.
[18]	YIN Xuyue， FAN Xiumin， YANG Xu， et al. An Automatic Marker–Object Offset Calibration Method for Precise 3D Augmented Reality Registration in Industrial Applications［J］. Applied Sciences， 2019， 9（20）： 4464.
[19]	ONG S K， YEW A W W， THANIGAIVEL N K， et al. Augmented Reality-assisted Robot Programming System for Industrial Applications［J］. Robotics and Computer-Integrated Manufacturing， 2020， 61： 101820.
[20]	WANG Hao， LIU Li， WANG Ying， et al. Hand Acupuncture Point Localization Method Based on a Dual-attention Mechanism and Cascade Network Model［J］. Biomedical Optics Express， 2023， 14（11）： 5965-5978.
[21]	LI Wang， XU Aibo， WEI Ming， et al. Deep Learning-based Augmented Reality Work Instruction Assistance System for Complex Manual Assembly［J］. Journal of Manufacturing Systems， 2024， 73： 307-319.
[22]	YAN Hai’an， WANG Jian， ZHANG Peng. Application of Optimized ORB Algorithm in Design AR Augmented Reality Technology Based on Visualization［J］. Mathematics， 2023， 11（6）： 1278.
[23]	CHEN Jieyu， XI Zhenghao， LU Junxin， et al. Multi-object Tracking Based on Network Flow Model and ORB Feature［J］. Applied Intelligence， 2022， 52（11）： 12282-12300.
[24]	MA Dan， LAI Huicheng. Remote Sensing Image Matching Based Improved ORB in NSCT Domain［J］. Journal of the Indian Society of Remote Sensing， 2019， 47（5）： 801-807.
[25]	ZAFAR M H， LANGÅS E F， SANFILIPPO F. Exploring the Synergies between Collaborative Robotics， Digital Twins， Augmentation， and Industry 5.0 for Smart Manufacturing： a State-of-the-art Review［J］. Robotics and Computer-Integrated Manufacturing， 2024， 89： 102769.
[26]	程云，黄瑞，蒋俊锋，等. 基于增强现实的产品质量信息传递方法［J］. 计算机辅助设计与图形学学报， 2019， 31（5）： 859-868.
	CHENG Yun， HUANG Rui， JIANG Junfeng， et al. Product Manufacturing Information Transmission Method Based on Augmented Reality［J］. Journal of Computer-Aided Design & Computer Graphics， 2019， 31（5）： 859-868.