焊缝X射线探伤图像自动搭接检测方法

张 帆1,2 张伯言3 史潇婉1 张新红4

1.河南大学图像处理与模式识别研究所,开封,4750042.河南省大数据分析与处理重点实验室,开封,475004 3.山东大学(威海)机电与信息工程学院,威海,264209 4.河南大学软件学院,开封,475004

摘要针对焊缝探伤图像造假的现象在工程中比较普遍,而目前主要通过人工读片方式进行检查,检查效率低下、容易漏检。提出了一种基于图像处理的方法对焊缝的搭接区域进行自动定位、分割和比对,建立了焊缝探伤图像搭接自动检测系统,检测是否存在焊缝图像造假的现象。基于拉东变换找到搭接定位标记,从焊缝图像中切割出搭接区图像,采用尺度不变特征变换算法进行搭接匹配,计算两个搭接区图像的结构相似度。最后根据SIFT关键点的匹配点数和结构相似度判断两个搭接区图像是否匹配。实验结果表明,该方法的焊缝图像搭接自动检测准确率达到 87.3%。

关键词焊缝;无损探伤;搭接检测;尺度不变特征变换算法;结构相似度

0 引言

焊接是一种以加热、高温或者高压的方式接合金属或其他热塑性材料的制造工艺,会受到来自外部环境以及各种人为、非人为因素的影响,因此在焊缝中不可避免地会出现气孔、裂纹、夹渣、未熔合、未焊透等焊接缺陷。这些缺陷的危害性极大,可能会导致重大事故发生。为了确保焊接过程中产品不出现问题,就需要对焊缝进行无损检测。目前常见的无损检测手段包括超声波无损检测、射线无损检测、涡流无损检测等。其中,X射线无损检测(照相法)已经广泛应用于实际生产检测中,在焊缝缺陷检查和焊接质量评价方面,X射线无损检测结果通常成为重要判定依据[1-2]

X射线胶片成像检测方法广泛应用于焊接缺陷的质量检测中,该方法具有稳定性高,采集的图片尺寸大等特点。X射线无损探伤法照相检测技术需要以胶片为载体,随后将采集的图像通过技术人员判读达到识别缺陷的目的。近年来,随着计算机技术的发展,很多情况下是将胶片图像转换为数字化图像,进而对缺陷进行自动化分析与评定。目前主要利用工业射线底片数字化扫描仪将胶片图像扫描成为数字化的高质量数字底片[3-5]

根据X射线探伤工艺规程,每张底片上必须显示像质计、定位标记(中心标记、搭接标记)与识别标记。识别标记包括焊接日期、管线号、焊口号、焊工号等。通常一个焊口的X射线无损探伤照片拍摄不止一张,为了能保证覆盖全部焊缝,底片拍摄位置需要有少量的重叠(即搭接)。一般在搭接处放置铅质搭接标记。

目前焊缝探伤图像造假的现象在工程中比较普遍。如果焊工认为某处焊缝质量不佳,无法通过检查,可能会在另一处质量较好的焊缝上重新拍照,冒充原焊缝图像并上交。针对这种造假现象,目前主要在人工读片检查焊缝缺陷的同时进行检查。人工读片时,需要认真审查前后焊缝图像搭接缝,根据是否搭接匹配人工判断是否造假。如果一个焊口的焊缝底片前后搭接不上,就存在造假的嫌疑。由于一个工程中的焊缝无损探伤图像通常数量巨大,人工检查焊缝图像搭接费时费力,容易漏检。如果漏检了包含缺陷的焊缝,会直接影响焊接产品的质量和使用寿命,存在极大的安全隐患。

本文提出了一种焊缝无损探伤图像自动搭接检测方法,基于图像处理技术自动地进行搭接检测,可以提高检查效率,使读片人员把主要精力放在焊接缺陷检查上而不是放在防止造假上。

1 焊缝探伤图像搭接区分割

要实现焊缝图像搭接部分的自动检测,首先需要找到两张图像中搭接的区域。根据X射线探伤工艺规程,每张底片上必须显示搭接标记(一般为箭头或数字)。图1中方框内标出的小箭头就是焊缝图像的搭接标记。搭接标记放置位置比较固定,且周围一般没有其他干扰标记。

图1 焊缝图像的搭接标记
Fig.1 Overlap mark of weld seam image

本文基于拉东(Radon)变换[6-7]在两个焊缝图像中分别找到搭接定位标记。对图像f(x,y)的拉东变换g(ρ,θ)定义为沿着(ρ,θ)的直线上的线积分:

(1)

其中,ρθ分别为极径和极角,δ(·)为狄拉克函数,该函数在非零的点取值均为0,而在整个定义域的积分为1。图像矩阵是二维的,在某个方向上的投影,实质就是在其垂直方向上的线积分。

为了能够在焊缝图像中自动地找到搭接标记,首先需要对焊缝图像进行图像增强预处理,然后在搭接标记的区域分别做水平和垂直两次拉东变换,根据投影值(线积分)的大小就可以准确地定位搭接标记的位置。图2为基于Radon变换确定搭接标记位置的示意图。从搭接定位标记处切割焊缝图像可得到搭接区图像。

2 搭接区图像特征提取

尺度不变特征变换(scale invariant feature transform, SIFT)算法是一种检测图像局部特征的特征描述算法,该算法在多尺度空间中寻找关键特征点,这些关键点具有尺度不变、旋转不变的优点[8-9]。SIFT算法在光线、噪声、微视角改变的情况下不影响其检测的准确性。SIFT特征检测步骤如下。

(a)焊缝图像

(b)预处理图像

(d)水平投影

(e)垂直投影
图2 基于拉东变换确定搭接标记位置
Fig.2 Determination of overlap mark location based
on Radon transform

(1)尺度空间极值检测。SIFT算法首先构造一个金字塔形状的多尺度图像空间,然后在不同的尺度空间上寻找关键特征点。原图像作为金字塔的底层,金字塔形状的多尺度图像空间通过不同尺度的高斯函数和下采样来实现,得到一系列大小不一的图,每次下采样得到的图像为金字塔的一层。最终得到一个以原图像为底层的高斯金字塔,金字塔中的每一层都在不同尺度下反映了原图像的特征。如果把高斯金字塔中相邻两层图像相减,就得到高斯差分(difference of Gaussian, DoG)图像,这些DoG图像组成了DoG金字塔。

(c)切割图像

在DoG金字塔的三维空间中,每一个像素点的邻域既包括在本层图像中与之相邻的像素(图像域),也包括在上下相邻图像层中与之相邻的像素(尺度域),当一个像素点的值大于(或者小于)图像域和尺度域中所有相邻像素点时,该像素点就是要寻找的DoG金字塔的局部极值点。

(2)关键点定位。在DoG金字塔中找到局部极值点以后,通过三维二次函数的拟合过滤掉一些低对比度和不稳定的局部极值点,保留稳定性高、抗噪声能力强的局部极值点,并进一步精确地确定局部极值点的位置和尺度。经过过滤后留下的局部极值点就是焊缝搭接区图像的关键点。

(3)关键点方向。首先计算出上一步得到的焊缝搭接区图像的关键点邻域像素的梯度方向和幅值,进一步得到关键点邻域像素的梯度直方图,并统计这些邻域像素的梯度方向和幅值的分布特征,梯度直方图的峰值就是关键点的主方向。在尺度为 σ 的尺度图像 L(x,y)中,计算以关键点为中心、以3×1.5σ为半径区域图像的方向和幅值,可通过下面公式求得:

m(x,y)=

(2)

(3)

式中,m(x,y)为关键点的梯度幅值;θ(x,y)为关键点的梯度方向。

(4)关键点描述。通过第二步得到关键点的位置和尺度,以及第三步得到关键点的主方向以后,以每个关键点为中心取16×16的邻域像素矩阵,并将坐标轴旋转到关键点的主方向。在图3中,左图表示关键点(中央位置)及其16×16的邻域像素矩阵,每个小格都代表了关键点的邻域像素点。计算每个像素点的梯度幅值与梯度方向,每个小格中箭头长度代表了梯度幅值,箭头方向代表了该像素点的梯度方向。把上述16×16的像素矩阵分割为16个不重叠的4×4小矩阵,如图3的左图所示,每个小矩阵产生一个种子点,利用高斯窗口对小矩阵进行加权运算,得到种子点方向的向量信息。对每个关键点使用4×4共16个种子点来描述,如图3的右图所示,每个种子点包括8维的方向信息,最后每个关键点可获得4×4×8=128维信息,即生成了一个128维的SIFT特征向量。

图3 用128维SIFT特征向量表示关键点
Fig.3 Key point is represented by a 128-dimensional
SIFT eigenvector

3 焊缝探伤图像搭接自动检测

本文建立了一个MySQL数据库,用于保存焊缝图像。利用工业射线底片数字化扫描仪将胶片图像扫描成为数字化的高质量数字底片,并把这些数字化的焊缝图像按照底片号(即拍照顺序)排序保存在MySQL数据库中。本文焊缝图像搭接自动检测算法的流程如图4所示。

图4 搭接自动检测流程图
Fig.4 Flow chart of automatic overlap detection

焊缝图像是按拍照顺序提交的,对于新提交的焊缝图像,其左侧的搭接区应该与数据库中最后提交图像的右侧搭接区匹配。基于SIFT算法对两个焊缝图像的搭接区图像分别计算出关键点,然后进行搭接匹配。如图5所示,主要包括两个阶段。第一阶段:生成SIFT关键点集合,即从两幅焊缝搭接区图像中提取出尺度不变、旋转不变、亮度不变的关键点集合,每个关键点以128维特征向量进行描述;第二阶段:匹配SIFT关键点。本文采用简单的欧氏距离作为两幅焊缝搭接区图像中关键点特征向量是否匹配的判定指标。

图5 基于SIFT算法的搭接匹配
Fig.5 Overlap matching based on SIFT algorithm

为了保证搭接匹配计算的可靠性,本文还计算了两个焊缝图像搭接区的结构相似度指数(structural similarity index,SSI)。除了SIFT关键点匹配以外,本文还把SSI作为衡量两个焊缝搭接区图像相似程度的度量。SSI是一种衡量两幅图像相似度的指标。由于人类视觉对图像的结构信息比较敏感,通常用结构信息区分图像,因此,模拟人类视觉感知,计算两幅图像结构信息的相似度就可以用来作为衡量两幅图像相似性的指标[10-11]。SSI值β的计算公式如下:

(4)

式中,μxμy分别为两幅图像xy的均值;σxσy分别为两幅图像的标准差;σxy为两幅图像的协方差;C1C2为常数。

在式(4)中,均值、标准差、方差和协方差的计算都加入了一个8×8的窗口,并且逐像素地遍历整幅图像,最终得到一个SSI映射矩阵。

4 实验结果

本文实验所采用图形工作站的CPU型号为Intel E5-2400,频率为1.8 GHz,内存为8 G。操作系统为Windows 10,编程环境为MATLAB 2017a。本文采用同一批次、同规格的焊缝图像进行了实验,实验图像共306张。在基于SIFT算法的焊缝图像搭接自动检测算法的实验中,根据图像拍照顺序(底片号)选择两个相邻的焊缝图像。根据拉东变换在两个焊缝图像中分割出搭接区域。顺序在前的焊缝图像取右侧的搭接区,顺序在后的焊缝图像取左侧的搭接区。

本文同时采用两个焊缝搭接区图像的SIFT关键点匹配点数以及SSI作为判断两个焊缝图像是否搭接的指标。其中,SIFT关键点的匹配中,本文采用简单的欧氏距离作为两幅焊缝搭接区图像中关键点特征向量是否匹配的判定指标。在一个焊缝搭接区图像中取一个关键点,计算这个关键点与另一幅焊缝搭接图像中所有关键点的欧氏距离,找到距离最近的两个关键点。如果两个关键点是匹配的关键点,首先它们之间的距离要最近,但是为了达到稳健的匹配,仅仅距离最近是不够的,还希望这个距离要足够小,显著地小于与其他特征点之间的距离,这样才能体现出正确匹配的唯一性和独特性。

本文以最近距离与次近距离的比例来衡量这种显著程度,只有当最近距离与次近距离之比小于某个比例阈值时,才接受这一匹配。本文采用的阈值是LOWE[12]推荐的比例阈值,为0.8。如果最近距离除以次近距离小于0.8,则认为该关键点与另一幅焊缝搭接图像中欧氏距离最近的那个关键点为一对匹配点。

计算两个搭接区图像的SSI值。如果SSI值大于85%且两个搭接区图像的SIFT匹配点数大于2,表示搭接匹配成功,焊缝图像可正常保存在数据库中,否则表示搭接匹配不成功,有造假的嫌疑,报警并转为人工处理。

实验结果表明,基于SIFT算法的焊缝图像搭接自动检测准确率达到87.3%。在本文实验环境下,基于SIFT算法提取焊缝搭接区图像关键点及匹配平均耗时2.11 s,基于SIFT算法的焊缝图像搭接区相似度检测平均耗时0.62 s。图6为搭接自动检测实验结果截图。

(a)有搭接匹配

(b)无搭接匹配
图6 自动搭接检测实验
Fig.6 Automatic overlap detection experiments

实验结果表明,基于SIFT算法的焊缝图像搭接自动检测准确率比较高,但由于搭接部分图像比较小,特征比较弱,可提取的关键点比较少,要达到100%的检测准确率有一定的难度。

在焊缝图像的搭接自动检测中,如果焊工没有按拍照顺序提交焊缝底片、或一个焊口的全部底片提交完毕,开始提交一个新焊口的底片时,会因为检测不到焊缝图像搭接而报警,这时需要转为人工处理。

5 结论

本文针对目前缺乏焊缝图像造假自动检测手段的情况,设计了一种焊缝无损探伤图像搭接的自动检测方法,可以检测出替换焊缝图像的造假现象。首先,基于拉东(Radon)变换在两个连续的焊缝图像中分别找到搭接定位标记,从焊缝图像中切割出搭接区图像;然后,采用尺度不变特征变换(SIFT)算法对连续的两幅焊缝图像的搭接区图像进行搭接匹配;再后,计算两个搭接区图像的结构相似度;最后,根据SIFT关键点的匹配点数和结构相似度判断两个搭接区图像是否匹配。若SIFT匹配点数和结构相似度达不到要求,则表示两幅焊缝图像没有搭接,有替换焊缝图像的造假嫌疑。实验结果表明,基于SIFT算法的焊缝图像搭接自动检测准确率达到87.3%。

参考文献

[1] 葛亮,苗瑞,葛秋原,等. 窄搭接焊缝涡流信号的特征提取与缺陷识别[J]. 中国机械工程, 2019, 30(2):225-229.

GE Liang, MIAO Rui, GE Qiuyuan,et al. Feature Extraction and Defect Identification of Eddy Current Testing Signals on Narrow Lap Weld[J]. China Mechanical Engineering, 2019, 30(2):225-229.

[2] 范力予,李志勇,杨军涛, 等. 基于线激光扫描的工业焊缝外观检测系统[J]. 焊接学报, 2017, 38(7):99-103.

FAN Liyu, LI Zhiyong, YANG Juntao, et al. Appearance Detection System of Industrial Welding Seams Based on Liner Laser Scanning[J]. Transactions of the China Welding Institution, 2017, 38(7):99-103.

[3] LI Xinde, LI Xianghui, GE Shuzhi, et al. Automatic Welding Seam Tracking and Identification[J]. IEEE Transactions on Industrial Electronics, 2017, 64(9):7261-7271.

[4] LI Xianghui, LI Xinde, KHYAM M O, et al. Robust Welding Seam Tracking and Recognition[J]. IEEE Sensors Journal, 2017, 17(17):5609-5617.

[5] MALARVEL M, SETHUMADHAVAN G, BHAGI P, et al. Anisotropic Diffusion Based Denoising on X-radiography Images to Detect Weld Defects[J]. Digital Signal Processing, 2017, 68:112-126.

[6] PIAO M, JIN C, LEE J, et al. Decision Tree Ensemble Based Wafer Map Failure Pattern Recognition Based on Radon Transform-based Features[J]. IEEE Transactions on Semiconductor Manufacturing, 2018, 32(2):250-257.

[7] 杨振良,汪俊亮,张洁,等. 数据驱动的晶圆图缺陷模式识别方法[J]. 中国机械工程, 2019, 30(2):230-236.

YANG Zhenliang,WANG Junliang,ZHANG Jie,et al. Data Driven Wafer Pattern Defect Pattern Recognition Method[J]. China Mechanical Engineering, 2019, 30(2):230-236.

[8] DOU Jianfang,QIN Qin,TU Zimei. Robust Image Matching Based on the Information of SIFT[J]. Optik, 2018, 171:850-861.

[9] ANANTRASIRUCHAI N, HAYES W, ALLINOVI M, et al. Line Detection as an Inverse Problem:Application to Lung Ultrasound Imaging[J]. IEEE Transactions on Medical Imaging, 2017, 36(10):2045-2056.

[10] HALDAR P, CHATTERJEE A. Extent of Dissolution Determines the Structural Similarity between Dealloyed Nanoporous Materials Synthesized at Unrelated Dissolution Conditions[J]. Acta Materialia, 2018, 152:186-198.

[11] YU Y, HIRA R , STIRMAN J N , et al. Mice Use Robust and Common Strategies to Discriminate Natural Scenes[J]. Scientific Reports, 2018, 8(1):1379-1792.

[12] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

Automatic Overlap Detection Method for Weld Seam Images of X-ray Inspection

ZHANG Fan1,2 ZHANG Boyan3 SHI Xiaowan1 ZHANG Xinhong4

1.Institute of Image Processing and Pattern Recognition,Henan University,Kaifeng,Henan,475004 2.Henan Key Laboratory of Big Data Analysis and Processing,Henan University,Kaifeng,Henan,475004 3.School of Mechanical,Electrical and Information Engineering,Shandong University at Weihai,Weihai,Shandong,264209 4.School of Software,Henan University,Kaifeng,Henan,475004

Abstract: In view of the phenomenon of false weld inspection images was very common in engineering, at present, it was mainly checked by manual reading, which was low efficiency and easy to miss the inspections, based on image processing a method was proposed to automatically locate, segment and compare the overlapping areas of the weld seams. An automatic detection system of weld seam flaw detection image overlap was established to detect whether the weld images were false. Based on the Radon transform, the overlap position marks were found, the overlap areas were cut from the weld images, and the overlap matching were performed using the SIFT algorithm to calculate the structural similarity of the two lap areas. Finally, according to the number of matching points of SIFT key points and structural similarity, they were judged whether the two overlap areas were matched. The experimental results show that the detection accuracy of automatic overlap detection method achieves 87.3%.

Key words: weld seam; nondestructive inspection; overlap detection; scale invariant feature transform(SIFT) algorithm; structural similarity

中图分类号TG441.3

DOI:10.3969/j.issn.1004-132X.2020.16.003

开放科学(资源服务)标识码(OSID):

收稿日期2019-07-09

基金项目国家科技支撑计划资助项目(2015BAK01B06);国家自然科学基金资助项目(61771006, U1504621);河南省自然科学基金资助项目(162300410032)

(编辑 王艳丽)

作者简介张 帆,男,1967年生,教授。研究方向为人工智能、数字图像处理。E-mail:zhangfan@henu.edu.cn。张新红(通信作者),女,1968年生,教授。研究方向为数字图像处理。E-mail:zxh@henu.edu.cn。