边缘扩展的皮带撕裂支持向量机视觉检测

王福斌1, 2 孙海洋1 TU Paul2

1.华北理工大学电气工程学院,唐山,063009 2.卡尔加里大学机械制造工程系, 卡尔加里,T2N1N4

摘要提出了基于视觉的皮带撕裂监测方法,并构建了皮带撕裂视觉监控系统。针对皮带输送机运行过程中由于干扰导致的图像退化,采用维纳滤波方法实现了退化图像的复原。为实时识别高速运动的皮带裂纹,采用CamShift算法对快速移动的皮带裂纹序列目标图像进行跟踪与捕捉。采用Canny算子对皮带裂纹进行边缘提取,并通过增加一个δ值,使检测到的裂纹边缘向外扩张,从而增加检测到的皮带裂纹权重,获得鲁棒性更高的边缘检测效果。最后,构建了SVM皮带裂纹预报模型,以皮带裂纹图像的像素面积及长宽比几何特征量作为模型输入量,对皮带裂纹状态进行预报。实验表明,提出的皮带撕裂检测方法是有效的。

关键词皮带撕裂;图像分割;Canny边缘提取;支持向量机;裂纹识别

0 引言

皮带输送设备大量应用于冶金、煤炭、矿山及水泥行业,用来输送粉状或块状物料。皮带输送机高速输送物料时,一旦发生皮带撕裂事故,若不能及时发现并处理,将会造成皮带的长距离撕裂及物料的散落,带来巨大的经济损失。

皮带撕裂监测是一种较难解决的工程问题,国内外许多研究人员也一直在研究、探索更有效的解决办法。卢金龙[1]通过线激光结构光视觉检测系统,识别激光条纹的畸变特征,用来判别皮带是否有撕裂现象发生,采用洛伦兹信息测度的线性加权Ostu分割算法对激光条纹进行分割,并采用Hessian和脊线跟踪算法提取激光条纹的中心线,取得了较好的效果,但激光条纹对皮带划痕的检测效果则不理想。张明敏[2]将两个工业相机固定在输送带的两侧对输送带整个横向截面的图像进行采集,用模式识别的方法来检测输送带纵向撕裂故障。LEE等[3]利用k-均值方法并基于识别对象的类型,提出一种稳健的噪声分割方法(活动轮廓法),可用于分割皮带裂纹图像特征。

为及时发现皮带由于老化、钝器损伤等原因出现的撕裂现象[4],本文构建了皮带撕裂视觉监控系统,代替人工对皮带进行不间断的实时检测。将智能相机及照明光源布置在皮带下方,通过连续采集皮带图像,对图像进行特征提取及特征分析,进而判断是否有裂纹产生。

1 皮带撕裂视觉监控系统

皮带撕裂监控系统原理见图1。系统硬件构成如下:智能工业相机、照明光源及其控制器、继电器控制模块及上位机等。

图1 皮带撕裂监控系统
Fig.1 Monitoring system of belt tearing

由于皮带输送机工作空间黑暗且有大量的粉尘,使得图像采集环境不理想,应对皮带进行连续照明[5-6]。皮带下部工作面图像的采集、预处理、图像特征提取及划痕或撕裂识别等工作均在智能相机内部完成。发现非正常状态时,根据划痕或撕裂程度分别进行报警或停机处理。

制作的皮带撕裂监控装置及选用的智能相机见图2。智能相机位于装置的中间位置,两侧布置LED照明光源。光源控制器为双通道独立控制,可对光源亮度进行调节,通过两路可调节电流的电源,实现对输出通道所连接光源的亮度调节。

图2 皮带撕裂监控装置及智能相机
Fig.2 Monitoring device of belt tearing and intelligent camera

皮带监控装置的监控功能主要依靠相机序列图像分析实现[7]。装置的功能部件主要有:

(1)工业智能相机。相机选用Vision Components公司的VC4038相机。相机本身具备图像采集与处理功能,配合电平转换电路可将信号输出,作为PLC的控制输入量。相机的分辨率为640像素×480像素,图像采集速度为63 帧每秒,相机进光孔调为最大,曝光时间为1 ms,对应皮带最高运行速度(3 m/s)的拖影长度为3 mm,满足应用要求。

(2)光源及光源控制器。光源选用2个VL600D-W型长条LED光源,光源长度为316 mm,为视场范围内的皮带底部提供照明。双通道光源控制器(VP-24)可实现光源亮度的精确调节。图3为皮带监控系统示意图及光源布置[7-8]。为防止粉尘干扰图像的采集,采用压缩空气对镜头进行吹扫。

图3 皮带监控装置的安装及其光源布置
Fig.3 Arrangement of belt monitoring device and its light source

2 皮带退化图像的复原

图4所示为裂纹图像处理及识别原理。图像处理前,首先对裂纹图像进行复原、校正,减弱粉尘、振动等图像退化因素的干扰,获得比较理想的输入图像。输送带工作过程中,如有大块物料落下,不仅会激起粉尘,还可能造成皮带及输送机机架的抖动,导致图像产生一定程度的模糊退化。为提高皮带工作面图像质量[9],采用维纳(Wiener)滤波方法实现退化图像的复原。在二维图像复原处理中,维纳滤波器计算量小[10],有较好的复原效果。

图4 皮带裂纹图像的处理及识别
Fig.4 Image processing and recognition for belt crack

针对平稳随机信号,维纳滤波综合了退化函数及噪声统计特性实现图像的复原,按照复原后的图像与原始图像f(x,y)之间的均方误差最小原则进行滤波[11]

(1)

式中,E(·)为参数的期望值。

在频率域中,多数情况下不知道信号及噪声的分布状态,有约束复原的通用表达式可简化为

(2)

式中,F(·)为图像f(x,y)对应的频域表达式;K为施加到|H(u,v)|2所有项上的特定常数;G(u, v)为退化图像的傅里叶变换;H(u, v)为退化函数。

在已知退化图像H(u, v)的情况下,可通过确定参数K,采用逆傅里叶变换,实现图像复原[12]。图5所示为振动模糊退化图像的复原结果,经过观察可知,与退化图像相比,裂纹目标得到了增强。

图5 退化皮带图像的复原
Fig.5 Restoration of degradation belt image

3 快速运动目标图像的分割与追踪

输送带在工作过程中以较高的线速度运行,视觉监控系统必须快速捕捉到高速运动的皮带裂纹。系统采用CamShift算法实现快速移动目标的跟踪捕捉[13],算法实现原理见图6。实验时,将皮带运动速度调节至最高(3 m/s),来验证监控系统的快速目标捕捉能力。在640×480的像素视场范围内采集高速运行的皮带图像,经图像处理及分割后,可清楚地看出皮带裂纹的变化过程,表明皮带视觉监控系统可满足皮带高速运行时的监控任务。

图6 CamShift算法原理
Fig.6 Principle of CamShift algorithm

(x, y)为搜索窗口中的像素点位置,在投影图中,点(x, y)对应的像素值为I(x,y),搜索窗口的零阶矩M00与一阶矩M01M10表达式为

(3)

当前搜索窗口内的质心位置为

(4)

搜索窗口尺寸依据M00进行调整,预先设定搜索窗口中心与质心间的距离阈值,并动态移动、计算二者之间的实时距离。算法收敛条件为实时距离小于给定的阈值或达到算法规定的循环次数。达到收敛条件则对下一帧图像进行同样的操作,否则重新计算调整后的当前图像帧的窗口质心[14]

对于当前帧,搜索窗口的二阶矩为[15]

(5)

(6)

得到目标长轴方向角为

θ=1/2arctan(b/(a-c))

(7)

图像中目标的长轴l、短轴m分别为

(8)

图7所示为采用CamShift算法分别对第375帧、382帧快速运动的皮带图像跟踪的结果。由图可知,对高速运动的皮带及裂纹的跟踪效果较为清晰。

图7 快速运动皮带跟踪结果
Fig.7 Tracking of fast moving belt

4 皮带裂纹的改进Canny边缘检测

皮带撕裂图像监控过程中的关键环节是采集皮带裂纹图像并有效、快速地识别出来。皮带裂纹的识别提取采用Canny算子实现[16],为提高边缘检测的可靠性,对检测到的皮带边缘进行周向扩充,在边缘基础上增加一个δ常数,从而减小皮带裂纹漏检的几率。

采用Canny边缘检测算子得到平滑后的图像为g(x,y)=f(x,y)⊗h(x,y),其中,f(x,y)为原始图像,h(x,y)为平滑滤波脉冲响应的一阶微分。再对图像g(x,y)求梯度[17]

(9)

根据卷积运算得

g(x,y)=f(x,y)⊗h(x,y)=

f(x,y)⊗h(x,y)

(10)

式中,h(x,y)为一阶微分高斯算子。

为防止提取的边缘模糊,应限制梯度的幅值,采用非极大点抑制方法并结合双阈值方法剔除虚假的边缘,最终目标的边缘轮廓由多段边缘连接而成[18-19],并用参数δ进行外向扩展,增加危险裂纹目标的可识别性。

皮带裂纹边缘提取结果见图8。图8a中外围不规则边缘为一帧图像视场范围轮廓,内框为目标感兴趣区域(ROI);图8b中虚线框为识别出的裂纹最小外接矩形,该矩形在ROI区内。

图8 皮带裂纹边缘提取结果
Fig.8 Edge extraction results of belt crack

5 皮带裂纹的SVM识别

支持向量机(SVM)作为有监督的学习模型,适合于模式识别、分类及回归分析。支持向量机识别算法的主要思想如下。

构建输入向量xRn、输出向量yRn维训练样本集D={(x1,y1),(x2,y2),…,(xl,yl)}。在n维空间中,寻求与训练样本的输入、输出向量拟合最优的分类面方程y=f(x)=wx+b(wb分别为权值和阈值),即SVM的优化过程。该优化问题可化为在约束条件下,求目标函数的极小值[20]。其中约束条件为yi(wxi-b)-1≥0,i=1,2,…,l,目标函数为

(11)

为优化该目标函数,定义Lagrange函数如下

(12)

式中,αi为Lagrange系数,αi≥0。

分别对式(12)中的wb求偏微分,则问题转化为对αi求如下函数的二次规划最大值问题:

(13)

约束条件为

(14)

αi≥0

若求得的最优解为则对应的样本即为支持向量,相应的分类函数f(x)的输出即为分类结果:

(15)

SVM的学习过程以内积核函数代替向高维空间的非线性映射。选用径向基核函数k(x,xi)=exp(-‖x-xi2/(2σ2))。

皮带运行状态监控的SVM预报模型输入特征量为皮带裂纹的像素面积、长宽比,构成SVM识别模型的训练样本。

对皮带裂纹样本的输入量进行了归一化处理,表达式为

s=(s0-s1)/s0

(16)

式中,s0为无裂纹出现时目标图像在ROI区内的像素面积;s1为有裂纹出现时的裂纹目标像素面积。

首先设定裂纹像素面积阈值a1,当前面积sa1,在连续的3帧图像中出现2次时,确定为有皮带撕裂,此时SVM的预报输出值用来报警或停机。

图9为ROI区内的皮带裂纹图像。系统检测到该裂纹目标后,通过图像预处理、分割及几何特征提取,构建裂纹识别的输入几何特征向量。

图9 检测到的裂纹目标
Fig.9 The detected crack target image

检测系统实际运行中,将裂纹目标的长宽比作为辅助决策条件,从而增强识别皮带撕裂的可靠性。归一化时,当前裂纹目标的长宽比与ROI区内贯穿裂纹的长宽比相除。图10所示为第100帧裂纹图像的长宽比几何特征提取结果。

图10 提取的第100帧裂纹的长宽比特征
Fig.10 Extracted feature of length width ratio for the 100th frame belt crack

部分皮带图像几何特征量样本见表1。样本涵盖了可能出现的无裂纹、部分裂纹及裂纹贯通3种特征。表中的样本第53~55帧为为无裂纹;第99~101帧为裂纹刚刚发生;第139~141帧为贯穿裂纹。提取样本图像的像素面积及裂纹长宽比几何特征参数,构建SVM输入特征向量。为提高预报模型的可靠性,对无裂纹时皮带图像分割中出现的斑点干扰进行特殊处理:较大的斑点被误作裂纹时,虽然斑点的像素面积很小,但其长宽比却有可能很大,因此,对无裂纹时的图像样本的长宽比特征量取0~1之间的随机数[21]。模型的预报输出为无裂纹(0~0.3)、部分裂纹(0.3~0.7)、贯穿裂纹(>0.7)。

表1 部分皮带图像几何特征量样本

Tab.1 Geometric feature samples of partial belt image

皮带图像像素面积长宽比裂纹类型第53帧0.000 7900.002 00第54帧0.000 010.600 000.005 00第55帧0.000 130.890 000.016 00第99帧0.008 410.359 300.402 00第100帧0.007 830.368 700.501 00第101帧0.007 950.368 100.413 00第139帧0.022 000.618 40.879 00第140帧0.021 500.630 10.798 00第141帧0.021 200.636 300.902 00

将训练样本数据作为SVM预报模型的输入特征量,对模型进行训练。将第55、102及142帧图像特征选取为测试样本,对模型的裂纹识别能力进行测试,结果见表2。由此可知,采用SVM模型实现的皮带裂纹识别具有较高的精度。实际裂纹类型与SVM裂纹识别结果见图11。

表2 模型识别能力测试结果

Tab.2 Results of the model identification capability

皮带图像像素面积长宽比裂纹类型预测输出55帧0.002 000.450 000.008 000.213 20102帧0.007 900.368 400.513 000.431 70142帧0.021 700.625 900.899 000.942 80

图11 SVM裂纹类型识别结果
Fig.11 Crack type identification result based on SVM

6 结论

为提高皮带图像质量,本文采用维纳滤波实现皮带退化图像的复原增强。为适应皮带高速运行的特点,采用CamShift算法实现皮带裂纹目标图像的快速跟踪与捕捉。对于分割后的图像,在ROI区域内,采用Canny算子对皮带裂纹进行边缘提取,并用增加δ值的方法扩展裂纹边缘,增加裂纹识别的可靠性。最后,通过构建SVM预报模型,实现了皮带撕裂的检测。

皮带撕裂检测是一个较难解决的工程实际问题,如何克服现场恶劣的工作环境,进一步提高皮带撕裂的检测效果将是本文今后的研究方向。

参考文献

[1] 卢金龙. 基于机器视觉的皮带撕裂检测系统设计与实现[D]. 秦皇岛:燕山大学, 2016.

LU Jinlong.Design and Implementation for Belt Tearing Detection System Based on Machine Vision[D]. Qinhuangdao:Yanshan University, 2016.

[2] 张明敏. 基于机器视觉的矿用输送带纵向撕裂检测系统研究[D]. 北京:中国矿业大学(北京), 2014.

ZHANG Mingmin. Research for Longitudinal Tear Detection System of Mine Conveying Based on Machine Vision [D]. Beijing :China University of Mining & Technology, Beijing, 2014.

[3] LEE J W, YOON J S. Visual Inspection System for Irregularly Formed Timing Belt with Low Reflection Ratio[J]. 2012, 13(5):1996-2001.

[4] ANDREJIOVA M, GRINCOVA A, MARASOVA D, et al. Using Logistic Regression in Tracing the Significance of Rubber-Textile Conveyor Belt Damage[J]. Wear, 2014, 318 (1/2): 145-152.

[5] MOLNR V, FEDORKO G, STEHLKOV B, et al. A Regression Model for Prediction of Pipe Conveyor Belt Contact Forces on Idler Rolls[J]. Measurement, 2013, 46(10):3910-3917.

[6] MOLNR V, FEDORKO G, STEHLKOV B, et al. Analysis of Asymmetrical Effect of Tension Forces in Conveyor Belt on the Idler Roll Contact Forces in the Idler Housing[J]. Measurement, 2014, 52(1):22-32.

[7] LI W, WANG Z W, ZHU Z C, et al. Design of Online Monitoring and Fault Diagnosis System for Belt Conveyors Based on Wavelet Packet Decomposition and Support Vector Machine[J]. Advances in Mechanical Engineering, 2013, 5: 1-10.

[8] LI M, DU B J, ZHU M Q, et al. Intelligent Detection System for Mine Belt Tearing Based on Machine Vision[C]// 2011 Chinese Control and Decision Conference (CCDC). Mianyang: 1250-1253.

[9] LI J, MIAO C Y. The Conveyor Belt Longitudinal Tear On-line Detection Based on Improved SSR Algorithm[J]. Optik, 2016, 127 (19):8002-8010.

[10] HUNG K W, SIU W C. Single-image Super-resolution Using Iterative Wiener Filter Based on Nonlocal Means[J]. Signal Processing: Image Communication, 2015,39 :26-45.

[11] BISWAS P, SARKAR A S, MYNUDDIN M. Deblurring Images Using a Wiener Filter[J]. International Journal of Computer Applications, 2015, 109(7): 36-38.

[12] PHAM T D. Estimating Parameters of Optimal Average and Adaptive Wiener Filters for Image Restoration with Sequential Gaussian Simulation[J]. IEEE Signal Processing Letters, 2015,22(11): 1950-1954.

[13] KIM G W, KANG D S. Improved CamShift Algorithm Based on Kalman Filter[J]. Advanced Science and Technology Letters, 2015,98: 135-137.

[14] HSIA K H, LIEN S F, SU J P. Moving Target Tracking Based on CamShift Approach and Kalman Filter[J]. Applied Mathematics & Information Sciences, 2013,7(1): 193-200.

[15] SALHI A, JAMMOUSSI A Y. Object Tracking System Using CamShift, Meanshift and Kalman Filter[J]. Electronics and Communication Engineering, 2012,6(4): 421-426.

[16] SHRIVAKSHAN G T, CHANDRASEKA C. A Comparison of Various Edge Detection Techniques Used in Image Processing[J]. International Journal of Computer Science Issues, 2012, 9(1): 269-276.

[17] CHEN Y, XU M, LIU H L, et al. An Improved Image Mosaic Based on Canny Edge and an 18-dimensional Descriptor[J]. Optik, 2014,125(17): 4745-4750.

[18] DENG C X, WANG G B, YANG X R. Image Edge Detection Algorithm Based on Improved Canny Operator[C]// Proceedings of the 2013 International Conference on Wavelet Analysis and Pattern Recognition. Tianjin, 2013: 168-172.

[19] DI H B, GAO D L. Gray-level Transformation and Canny Edge Detection for 3D Seismic Discontinuity Enhancement[J]. Computers & Geosciences, 2014,72: 192-200.

[20] 何青,褚东亮,毛新华. 基于EEMD和MFFOA-SVM滚动轴承故障诊断[J].中国机械工程, 2016, 27(9):1191-1197.

HEQing, CHU Dongliang, MAO Xinhua. Study on Rolling Bearing Fault Diagnosis Based on EEMD and MFFOA SVM[J]. China Mechanical Engineering, 2016, 27(9):1191-1197.

[21] 方一鸣, 胡春洋, 刘乐,等. 基于主动学习GA-SVM分类器的连铸漏钢预报[J]. 中国机械工程, 2016, 27(12):1609-1614.

FANG Yiming,HU Chunyang,LIU Le, et al. Breakout Prediction Classifier for Continuous Casting Based on Active Learning GA-SVM[J]. China Mechanical Engineering, 2016, 27(12):1609-1614.

Visual Inspection for Extended Edge Belt Tearing Based on SVM

WANG Fubin1,2 SUN Haiyang1 TU Paul 2

1.School of Electrical Engineering, North China University of Science and Technology, Tangshan, Hebei, 063009 2.Department of Mechanical and Manufacturing Engineering, University of Calgary, AB Canada, T2N1N4

Abstract:A belt safety monitoring method was proposed based on vision, and a visual monitoring system for belt tearing was constructed. Aiming at the image degradation from interference during operations of belt conveyor, Wiener filtering method was used to restore the degraded images. In order to recognize the belt cracks with high-speed moving in real time, CamShift algorithm was used to track and capture the targets of fast-moving sequence images of belt cracks. Canny operator was used to extract the edges of belt cracks, and the detected edges of belt cracks were expented outwards by adding a value δ, increasing the weights of the detected cracks, and more robust edge detection results were obtained. Finally, belt crack prediction model was constructed based on SVM, geometric characteristics, such as pixel area and length width ratio of the belt crack images were taken as the model inputs to predict belt crack states. Experimental results show the effectiveness of the method of belt tearing detection method proposed herein.

Key words: belt tearing; image segmentation; Canny edge extraction; support vector machine(SVM); crack recognization

中图分类号TP242.3

DOI:10.3969/j.issn.1004-132X.2019.04.011

开放科学(资源服务)标识码(OSID):

收稿日期2017-09-26

基金项目国家自然科学基金资助项目(71601039)

(编辑 王旻玥)

作者简介王福斌,男,1968年生,副教授、博士。研究方向为数字图像处理、机器视觉。E-mail:wfb2313@126.com。